'

ARC NorduGrid

Понравилась презентация – покажи это...





Слайд 0

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 ARC NorduGrid Макаров Алексей СПбГУ Физический Факультет Кафедра вычислительной физики email: MakarovAlexey@gmail.com


Слайд 1

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 2001-2002: часть NORDUNet2 программы, цель – создавать и развивать грид ПО (Middleware) и приложения в северных странах Middleware: EDG Приложения: HEP (ATLAS), теоретическая физика Участники: академические группы из 4 северных стран Дания: Research Center COM, DIKU, NBI Финляндия: HIP Норвегия: U. of Bergen, U. of Oslo Швеция: KTH, Stockholm U., Lund U., Uppsala U. (ATLAS groups) С конца 2002 исследовательское сообщество институтов Открытое для всех С конца 2003 вся деятельность посвящена только ПО middleware Разработка собственного грид ПО middleware: Advanced Resource Connector (ARC) 6 основных разработчиков, множество сопутствующих студенческих проектов Предоставление ПО middleware для исследовательских групп и национальных грид-проектов История NorduGrid


Слайд 2

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 История NorduGrid 2000 Сентябрь: GT-1.1.4 выпущен 2001 Январь: стартует проект EDG 2001 Ноябрь: Анонсирован GT-2.0 2002 Февраль: идея OGSA 2002 Апрель: GT-2.0 выпущен с GRAM-1.5, MDS-2.0 (отсутствуют важные части функциональности, проблемы стабильности работы) 2001 Июнь: Первая встреча разработчиков NorduGrid 2001 Сентябрь : тестовая версия грид с GT-1.1.4, переключение на GT-2.0 pre-alpha 2002 Февраль : решение разрабатывать альтернативное ПО, используя библиотеки Globus libraries. План, архитектура, философия NorduGrid 2002 Май: третий семинар NorduGrid, Helsinki демонстрация первого выпуска ПО The middleware is available


Слайд 3

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Advanced Resource Connector ПО состоит из модулей, каждый из которых отвечает за некоторую часть функциональности У каждого ресурса есть front-end ПО Аутентификация пользователей, интерпретирование задач, взаимодействие с LRMS, публикация информации, перемещение данных Каждый пользователь имеет легковесного независимого брокера Обнаружение ресурсов, установка соответствий, подписание задач и работа с ними, слежение за ходом работы задач Топология грид достигается за счет иерархического многокоренного набора сервисов индексации Мониторинг полностью основывается на информационной системе


Слайд 4

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты


Слайд 5

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Вычислительные ресурсы: Linux класетры или рабочие станции Дополнение не Linux ресурсами возможно через Linux front-ends Front-end: Специальный GridFTP сервер для передачи данных Принимает запрос задачи и подготавливает задачу для LRMS Производит практически все перемещения данных (загрузка, выгрузка), кэширование входных файлов, взаимодействует с каталогом реплик Производит все манипуляции с задачей по запросу клиента Публикует информацию о ресурсах и задачах


Слайд 6

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Клиент: легковесный пользовательский интерфейс со встроенным брокером ресурсов Набор утилит командной строки Минимализм и простота Брокер обеспечивает: поиск ресурсов, сравнение ресурсов, подписание задачи, управление задачей


Слайд 7

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Взаимодействие брокера с сервисами грид Над стрелками указаны используемые протоколы


Слайд 8

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Информационная система: базируется на измененном OpenLDAP: использует GRIS и GIIS back-ends Поддерживает жесткую структуру иерархии Много-корневая система Эффективно поддерживает псевдо-сетевую архитектуру, сходную с сетями разделения файлов (file sharing) Информация храниться только на ресурсе; обновление не реже одного раза в 30 секунд


Слайд 9

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Данные информационной системы через Ldap Browser


Слайд 10

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Элемент хранения данных: любой тип системы хранения с дисковым front-end Собственная реализация GridFTP сервера с добовляемыми модулями Обычный доступ к файловой системе Доступ базирующийся на Grid Access Control Lists (GACL) “Smart" Storage Element – базирующийся на WS сервис со встроенной поддержкой сервисов репликаций (Globus’ RC, RLS) Системы хранения на магнитных лентах не поддерживаются


Слайд 11

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Функциональность Предоставляет надежную реализацию основных грид сервисов: Стандартная безопасность: единая подпись, Grid ACLs (GACL), VOs (VOMS) Подписание задач: непосредственное или через брокер и сравнение Информационный сервис: сбор ресурсов, представление, поиск и мониторинг ресурсов Реализует основные возможности работы с данными Автоматическая загрузка/выгрузка данных Сервисы индексации данных (RLS, Fireman) Мониторинг и управление задачами Сервис регистрации прошедших задач Построен на основе стандартных решений и протоколов Globus Toolkit® pre-WS API and libraries (no services!) OpenLDAP, OpenSSL, SASL, SOAP, GridFTP, GSI


Слайд 12

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Особенности Легковесный Не навязчивый: Владельцы ресурсов имеют полный контроль над своими ресурсами Не требует специфических настроек ОС Кластер не обязательно должен быть целиком предназначен для грид Клиентская часть легко устанавливается начинающим пользователем Простая система мониторинга Специализация: ориентирован на пакетные задачи Параллельные задачи возможны, но только внутри кластера Интерактивные задачи не поддерживаются


Слайд 13

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Grid Manager Подготовка и запуск задач Обработка задач после их выполнения GridFtp Передача данных Grid Infosys Модуль информационной системы Собирает информацию о ресурсах, задачах и пользователях Связывает модули NorduGrid между собой Состоит из трех основных частей Локальные информационные сервисы Сервисы индексации Процессы регистрации Advanced Resource Connector


Слайд 14

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Грид-монитор Позволяет просматривать данные, собираемые информационной системой Данные представлены в виде регулярно обновляемой веб-страницы Клиентский модуль Включает все минимально необходимые программы для работы в грид Язык описания задачи – Extended Resource Specification Language Брокер: Поиск доступных ресурсов Выбор подходящего ресурса Передача задачи на ресурс Advanced Resource Connector


Слайд 15

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Пример общего грид-монитора


Слайд 16

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Пример грид-монитора с nordic.nw.ru


Слайд 17

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008


Слайд 18

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Сертификаты Сертификат хоста Подтверждает подлинность компьютера. Необходим на каждый front-end сервер Сертификат пользователя Подтверждает личность пользователя Необходимым любому пользователю для работы в грид


Слайд 19

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Установка ПО на front-end сервер Внешнее ПО Grid Packaging Tools (GPT) Пакеты Globus Toolkit 4 OpenSSL, OpenLDAP, Cyrus SASL, Globus Replica Catalog, Globus RLS VOMS Virtual Organization Membership Service Библиотеки libxml2, Python, MySQL ПО ARC NorduGrid


Слайд 20

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Конфигурационный файл arc.conf Единый конфигурационный файл для всех сервисов ARC.Имеет блочную структуру, каждый юлок отвечает за конфигурацию сервиса или части сервиса. [common] pbs_bin_path="/usr/local/bin" pbs_log_path="/var/spool/torque/server_logs" hostname="ap8.gridzone.ru" lrms="pbs" globus_tcp_port_range="9000,9300" globus_udp_port_range="9000,9300" x509_user_key="/etc/grid-security/hostkey.pem" x509_user_cert="/etc/grid-security/hostcert.pem" x509_cert_dir="/etc/grid-security/certificates" gridmap="/etc/grid-security/grid-mapfile" [group] name="grid" file="/etc/grid-security/local_users"


Слайд 21

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 $netstat -nap Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:2135 0.0.0.0:* LISTEN 23482/slapd tcp 0 0 0.0.0.0:15001 0.0.0.0:* LISTEN 19436/pbs_server tcp 0 0 0.0.0.0:2811 0.0.0.0:* LISTEN 19498/gridftpd tcp 0 0 195.70.213.238:15004 0.0.0.0:* LISTEN 19438/pbs_sched tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN 25976/httpsd tcp 0 0 0.0.0.0:8001 0.0.0.0:* LISTEN 25976/httpsd udp 0 0 0.0.0.0:15001 0.0.0.0:* 19436/pbs_server Запуск ARC grid-manager, gridftpd, httpsd, grid-infosys


Слайд 22

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008


Слайд 23

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Оборудование GigEthernet сегмент LAN: CiscoCatalyst 2960G Front-end сервер (ap8.gridzone.ru): Intel Pentium 4 Dual Core 3.2GHz 2 x 1024MB DDR2 ECC Вычислительные узлы (w3,w4,w7,w8): 2 x Intel Xeon Dual Core 3.0GHz 2 x 2048MB DDR ECC REG OS: ScientificLinux 4.4


Слайд 24

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Site configuration ap8.gridzone.ru Grid Manager Grid Infosys GridFTP SSE Grid Monitor LocalCA External Dependences ARC Middleware SimpleCA GPT Globus Toolkit® packages VOMS Python, MySQL, libxml2 libraries PBS Server PBS Scheduler Ganglia Cluster 32 CPU PBS Client MPICH-2.0 Gcc-4.2.0 Ganglia client Local Resource Management System and Cluster Tools installing independently from ARC. ARC Middleware installing on front-end server only.


Слайд 25

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Основные команды ngtest – тестирование ресурса с помощью встроенных тестов ngsub – подписание задачи на выполнение ngstat – получить статус задачи ngcat – получить данные из выходного потока выполняющейся задачи ngget – получить результаты работы задачи ngkill – отменить задачу ngclean – удалить из грид все данные относящиеся к задаче ngrenew – обновление прокси-сертификата ngls – просмотреть список Ваших файлов, хранящихся на ресурсе ngcp – копирование файлов в грид ngrm – удаление файлов с ресурса ngacl – изменить параметры доступа к файлу


Слайд 26

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Работа с файлами Копирование файла при помощи сервиса GridFtp $ ngcp file:///home/alex1/data.alex gsiftp://ap8.gridzone.ru:2811/topdir/data.alex Убедимся, что файл скопировался $ ngls gsiftp://ap8.gridzone.ru:2811/topdir hello.xrsl data.alex cpi Удалим файл $ ngrm gsiftp://ap8.gridzone.ru:2811/topdir/data.alex Removing gsiftp://ap8.gridzone.ru:2811/topdir/data.alex Скопируем файл с использованием сервиса SSE $ ngcp file:///home/alex1/data.alex se://ap8.gridzone.ru:8000/se?pi Удалим файл $ ngrm se://ap8.gridzone.ru:8000/se?pi Removing se://ap8.gridzone.ru:8000/se?pi


Слайд 27

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Запуск задачи $ ngsub -c ap8.gridzone.ru -f ncpi.xrls Задача запущена с ярлыком: gsiftp://ap8.gridzone.ru:2811/jobs/210911181402597440458069 $ ngstat -a Задача: gsiftp://ap8.gridzone.ru:2811/jobs/210911181402597440458069 Имя: ncpi Состояние: FINISHED $ ngget gsiftp://ap8.gridzone.ru:2811/jobs/210911181402597440458069 Результат сохранён в /home/alex1/ncpi/210911181402597440458069 Обработано задач:1, успешно получено: 1


Слайд 28

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Пример xrsl файла &(* основной исполняемый файл задачи *) (executable=/bin/echo) (* аргументы для основного исполняемого файла *) (arguments="Hello World" ) (* стандартный выходной поток будет перенаправлен в *) (stdout="hello.txt") (* стандартный поток ошибок будет перенаправлен в *) (stderr="hello.err") (* зададим задаче имя для более удобного мониторинга *) (jobname="My Hello Grid") (* дать указания кластеру, что Ваша задача должна быть помещена в очередь с соответствующим временем жизни *) (cputime=5) (* использовать только кластеры, имеющие соответствующее ПО *) (middleware>="nordugrid-arc-0.6.0")


Слайд 29

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Ссылки http://www.nordugrid.org/papers.html - документация по ARC http://www.nordugrid.org/documents/ui.pdf - "ARC User Interface: User's Manual" – updated for 0.5 and 0.6 ARC series http://www.nordugrid.org/documents/userguide.pdf - "The NorduGrid ARC User Guide" http://www.nordugrid.org/documents/xrsl.pdf - "XRSL (Extended Resource Specification Language)". O.Smirnova http://nordic.nw.ru/gridmonitor - локальный грид-монитор http://ap8.gridzone.ru – «логгер»


Слайд 30

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Job states GM.pdf


Слайд 31

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 task flow nordarch.pdf, 2002


Слайд 32

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Grid Manager architecture From P. Eerola, B. K?onya, O. Smirnova, The NorduGrid architecture and tools, 2003


×

HTML:





Ссылка: