'

Соловьев Владимир Михайлович

Понравилась презентация – покажи это...





Слайд 0

20.12.2015 1 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Соловьев Владимир Михайлович


Слайд 1

20.12.2015 2 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети В 2009 г. будет создана полномасштабная система распределенного сбора, хранения, обработки и управления потоками научных и технологических данных национальной нанотехнологической сети (ННС). Основу масштабируемой распределенной системы данных (РСД) составят пять онлайновых центров данных (ЦД) ННС, объединенных широкополосными каналами связи. В дальнейшем к этим ЦД, для наращивания объемов хранимой информации, могут подключаться географически удаленные ЦД и серверы, реализующие grid-сервисы хранения.


Слайд 2

20.12.2015 3 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Центр данных (ЦД) - это data grid cluster, выполненный на десяти серверах, подключенных через коммутатор к ННС. Конструктив ЦД представляет собой автономную стойку, питающуюся через источник бесперебойного питания. На серверах установлена операционная система Scientific Linux CERN 4.7, поддерживающая распределенную файловую систему. Для реализации grid-сервисов хранения на серверах установлен программный комплекс gLite 3.1. Аналогичное ПО должно стоять и на отдельных серверах, реализующие grid-сервисы хранения. Кластер установленный в РНЦ «Курчатовский институт» Кластер установленный в Саратовском государственном университете


Слайд 3

20.12.2015 4 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети В наноиндустрии при проведении уникальных и дорогостоящих экспериментов требуется долговременно хранить очень большие объемы «сырых» необработанных экспериментальных данных в десятки и сотни Тбайт. Распределенному хранилищу данных соответствует многоуровневая архитектура, содержащая уровень интерфейсов пользователя для управления данными, уровень программного интерфейса для grid-сервисов сбора, обработки и управления потоками данных, и ресурсный уровень.


Слайд 4

20.12.2015 5 Ресурсный уровень хранилища данных (РСД) Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Для объединения всех элементов хранения данных (SE) в единое хранилище, используется grid-сервис DPM (Disk Pool Manager) В РСД совокупность вычислительных ресурсов (Computing Element, CE) и элементов хранения данных (Storage Elements, SE) cосредоточена на сайте (Site)


Слайд 5

20.12.2015 6 Иерархическая модель предоставления информации о grid-сервисах в РСД: CE, SE ? GRIS ? GIIS ? BDII Ресурсный уровень хранилища данных (РСД продолжение) Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Сервис поддерживается по протоколу Lightweight Directory Access Protocol (LDAP) На каждом сайте информационные провайдеры GRIS (Grid Resource Information Server) собирают информацию о grid-сервисах CE и SE. Эта информация аккумулируется в коллекторах информации сайтов GIIS (Grid Index Information System) и сервисах BDII (Berkeley Database Information Index). На самом верхнем уровне находится grid-сервис top-BDII, имеющий информацию со всех сайтов.


Слайд 6

20.12.2015 7 Ресурсный уровень хранилища данных (РСД продолжение) Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Получение данных в РСД с помощью сервиса SRM (Storage Resource Manager) LFN - Logical File Name, логическое имя файла, создаваемое пользователем для его идентификации в РСД. LFC - Large Hydron Collider Computing Grid File Catalogue, сервис определяющий местоположения файлов в РСД. GUID - Globally Unique Identifier, внутренний (машинный) идентификатор элемента данных, соответствующий LFN. ACL - Access Control List, списки управления доступом к данным. SURL - Site Uniform Resource Locator, определитель физического местоположения реплики элемента данных (SE) в РСД. TURL- Transfer Uniform Resource Locator, идентификатор транспорта, определяющий место и протокол, получения файла. Каждый сайт поддерживает сервис управления хранением данных (SRM) – общий интерфейс к устройствам хранения


Слайд 7

20.12.2015 8 организует взаимодействие с цифровой библиотекой для создания цифровых объектов, поиска данных и управления потоками данных в РСД. Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Интерфейс пользователя для управления данными ( клиент РСД) Screen shots применения клиента РСД при работе с данными Клиент реализует следующие основные сервисы: организует взаимодействие пользователя ННС с хранилищем данных по протоколу grid-ftp; организует доступ к grid-сервисам на основе цифровых сертификатов;


Слайд 8

20.12.2015 9 Клиент предназначен для организации web-доступа к РСД. В шести разработанных версиях реализованы различные возможности: от выполнения всех сервисов на стороне клиента до выполнения всех сервисов на сервере. Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Интерфейс пользователя для управления данными ( клиент РСД продолжение)


Слайд 9

20.12.2015 10 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Управление цифровыми объектами в РСД Для работы с цифровыми объектами в РСД разработана подробная инструкция для пользователей Screen shots применения клиента РСД при работе с цифровой библиотекой


Слайд 10

20.12.2015 11 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Управление цифровыми объектами в РСД (продолжение) Интеграция клиента и Web-сервисов


Слайд 11

20.12.2015 12 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Управление цифровыми объектами в РСД (продолжение) Работа с цифровой библиотекой


Слайд 12

20.12.2015 13 Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Управление цифровыми объектами в РСД (продолжение) Работа с базами данных в РСД В РСД содержится вся информация о базах данных (БД) ННС, реплики БД и условия доступа к БД. Пользователь, используя эту информацию, через ННС соединяется с нужным сервером базы данных, используя клиент БД. Первый вариант Второй вариант Хранилище данных содержит специальные «облачные» приложения (сервисы) работы с базами данных (БД) ННС, располагающимися в РСД. Цифровая библиотека играет роль «посредника» между БД и соответствующим приложением.


Слайд 13

20.12.2015 14 В результате выполнения работы пользователь получает масштабируемое прозрачное хранилище гетерогенных данных с гарантированным качеством сервиса. В полномасштабном распределенном хранилище данных обеспечивается требуемый уровень защиты, сохранность данных, необходимое количество реплик, высокая скорость доступа к данным и унифицированный механизм обмена данными разного типа (файлы, таблицы, массивы, базы данных и т.д.). Хранилище совместимо с вычислительными сервисами grid-инфраструктуры и поддерживает долговременное хранение, поиск и удобный доступ к данным. Полномасштабное распределенное хранилище управляет жизненным циклом данных, включая создание материалов, передачу, сохранение и доступ ко всем цифровым материалам. Полномасштабное распределенное хранилище данных национальной нанотехнологической сети Результаты работы


Слайд 14

20.12.2015 15 Спасибо за внимание Докладчик – Владимир Михайлович Соловьев Е-Mail: svm@sgu.ru Телефон: (8452) 210 660


×

HTML:





Ссылка: