'

Сервисно ориентированная наука: SOS или СОН

Понравилась презентация – покажи это...





Слайд 0

Сервисно ориентированная наука: SOS или СОН


Слайд 1

Общество стало другим


Слайд 2

Общество стало другим Информационное общество главные продукты производства — это информация и знание Основа капитализация компании — это знание. Основной вопрос — как накопить знание и обмениваться знанием CEO, СTO, CIO — senior information officer NSF-Knowledge management Цифровое поколение NSF- CDI, изучение базовых элементов инфраструктуры киберобщества.


Слайд 3

Наука стала другой


Слайд 4

Наука стала другой eScience — составная часть информационного общества - синтез науки и информатики роль информации и ее обработка становится доминирующей Переход на e-стадию — реальная ситуация, которая затронула много наук, оперирующих громадными объемами информации физика (эл. частицы и высоких энергий, науки о земле, погода, астрономия, социология, медицина, биология


Слайд 5

Наука стала другой eScience — глобальная коллаборация Коллаборация людей и ресурсов, необходимых для решения новых задач науки и промышленности Это технология, инфраструктура физика — Grid (Open Grid)? астрономия — VO (Virtual Observatory)? биология — биоинформатика


Слайд 6

Наука стала другой Другой «шаблон» работы в науке: коллективность, узкая специализация … Административная и финансовая научная политика: «Early Science» — «Быстрая наука» Очень много информации/данных (распределенной)?


Слайд 7

Следствие предыдущего: 60 лет назад — читали все вышедшие статьи; 40 лет назад — все статьи по теме + абстр. РЖ 20 лет назад — все абстр. по теме + нек. статьи; А что и как читают сегодня? Новый «шаблон» работы в науке Коллективность Узкая специализация Ограниченный кругозор Выписка из правил оценки научных достижений ИТЭФ: 18.5. Категории статей: 1 категория — до 100 авторов; 2 категория — от 100 до 300 авторов; 3 категория — от 300 до 500 авторов; 4 категория — от 500 авторов. Например, программисты: Системные администраторы (стандартное железо и поддержка систем); Программирование устройств; Программирование интерфейсов; Программирование БД; Численные методы; Научное моделирование; Обработка данных; … и так далее Другой пример — ученые: обработка сырых данных (человек - прибор)? создатели приборов (установок …)? экспериментаторы специалисты по статистики специалисты по статистике по написанию статей … и так далее


Слайд 8

Предложить идею Изучить данные Добиться принятия проекта «Запуск» Провести наблюдения «Сырые» данные Обработка данных ПИАР ПИАР! ПИАР2 Кто будет наблюдать? Что наблюдать? Успеть опубликовать!!! Административная и финансовая политика «Early Science»


Слайд 9

Очень много информации! (на примере астрономии)?


Слайд 10

Нейтринные телескопы: (Солнце, SN 1987A)? Гравитационные антенны (начинают работать)? Космические лучи Астрономия стала всеволновой Дипольные антенны Параболические антенны Болометры Телескопы-рефлекторы Зеркала косого падения Кодирующие маски Атмосферные черенковские телескопы, Широкие атмосферные ливни Электро- магнитное излучение Не электро- магнитное излучение


Слайд 11

Астрономия стала всеволновой


Слайд 12

Астрономия стала всеволновой


Слайд 13

Астрономия обзавелась историей Ряды наблюдений: двойной пульсар PSR1913+16 (“Нобелевский лауреат”) — 33 года некоторые переменные звезды — до 150 лет (фототека ГАИШ — первые с 1872, регулярные — с 1895)? остальные — неоднородные ряды в 10-15-20 лет в разных диапазонах


Слайд 14

Астрономия стала широкопольной (много данных с одного снимка)?


Слайд 15

Стало очень много данных !


Слайд 16

Hubble Space Telescope 15 years of operation 700,000 pictures ~ 20.000 objects 15Gb of data per night Storage – 25 Tb ~ 2 library of Congress


Слайд 17

\ Nightly data generation rate Raw pixel data: 15 Tbytes (16 bit)? Image through pipelines: 30 Tbytes raw science (32 bits) + 108 TB (32 bit) intermediate images Archived images + metadata: 15 + 1 Tbytes (32 bits compressed to 16 bits)? Catalogs (transient phenomena): 1 Tbyte (32 bits compressed to 16 bits)? Yearly data archive rate (average)? Images: 6.5 Pbytes Catalogs: 6.5 Pbyte Metadata: 0.5 Pbytes First light schedule: Spring, 2014 Primary mirror diameter: 8.40 m Pixel count: 3.2 Gpixels Whole sky survey: 3 nights Science Missions: Dark energy Solar system survey Optical transients Galactic map


Слайд 18

Size of Databases Tycho Brahe's notebooks (1570-1601) ~ 500Kb Palomar Observatory Sky Survey 1950 – 10 Gb Sloan Digital Sky Survey 2007 – 3 Tb (метаданные)? Large Synoptic Survey Telescope 2014 – 6.5 Pb per year (метаданные)?


Слайд 19

Данные всех астрономических экспериментов NASA, ESA и (частично) ESO и становятся полностью открытыми через 1 год (максимум через 2) после их получения Аналогичная политика для данных больших наземных оптических телескопов России проводится КТБТ (бывший КТШТ). Стало очень много данных (Научная политика)?


Слайд 20

Причины: Нельзя всё хранить в одном месте (слишком большой объем)? Резервирование Скорость доступа «Физические» причины Данные становятся распределенными


Слайд 21

Данные становятся распределенными «Физические» причины: SNAP


Слайд 22

SN Ia 2006X in M100


Слайд 23

Expansion of Universe More distant SN Ia, better accuracy !!! 2000 SN Ia/yr, z=2


Слайд 24

Данные становятся распределенными «Физические» причины: SNAP Параметры: Поле зрения ~7.5 градусов Размер матрицы — 600 мегапикселей Нет обработки на борту Прямая передача данных на Землю (мало памяти на борту)? Следствие: Данные сбрасываются в несколько мест.


Слайд 25

Что делать ? Старый подход «скачать все к себе на компьютер и обработать» не работает ! трудно собрать (много разных архивов)? трудно хранить (много места, сохранность данных)? трудно обработать (разные форматы , производительность)? трудно актуализировать (данные меняются)? Очень дорого (трафик, стоимость носителей)?


Слайд 26

Ограничения со стороны компьютеров и интернет


Слайд 27

Ограничения со стороны компьютеров Законы «Мура» Число транзисторов в микросхемах: удваивается за 2 года (~30 раз за 10 лет)? Объемы памяти (RАМ): удваиваются за 2 года (~30 раз за 10 лет)? Объемы дисков (HDD): удваиваются за 1.5 года (~100 за 10 лет)? Скорость передачи данных: удваиваются за 2 года (~30 раз за 10 лет)? Нет ограничений Ограничения далеко Ограничения видны!


Слайд 28

Ограничения со стороны компьютеров Законы «Мура» Число транзисторов в микросхемах: удваивается за 2 года (~30 раз за 10 лет)? Объемы памяти (RАМ): удваиваются за 2 года (~30 раз за 10 лет)? Объемы дисков (HDD): удваиваются за 1.5 года (~100 за 10 лет)? Скорость передачи данных: удваиваются за 2 года (~30 раз за 10 лет)? Выходы: Квантовый компьютер; Параллелизм: «монолитный» Grid Когда размер = размеру атома


Слайд 29

Архитектура программ Монолитные программы, Многопользовательские программы Клиент-Сервер Распределенные системы RPC (Unix) — удаленный вызов процедур RMI (Java, SUN) — удаленный вызов методов COM/DCOM (Windows, Microsoft)? CORBA — (OMG)? Проблемы со стандартизацией интерфейсов !


Слайд 30

Email:@address, text, smtp Общение и обмен данными — 70-е годы прошлого века


Слайд 31

WWW URI,HTML,HTTP TEXT Email:@address, text, smtp Общение и обмен данными — 90-е годы прошлого века URI - Universal Resource Identifier HTML - Hypertext Markup Language HTTP — Hypertext Transfer Protocol


Слайд 32

WWW URI,HTML,HTTP TEXT Semantic Web RDF,RDF(s),OWL ДАННЫЕ Email:@address, text, smtp Общение и обмен данными — начало 21 века RDF — Resource Description Framework RDF(s) — RDF Schema OWL — Web Ontology Language


Слайд 33

WWW URI,HTML,HTTP TEXT Semantic Web RDF,RDF(s),OWL ДАННЫЕ Web Services UDDI, WSDL,SOAP ПРОГРАММЫ Email:@address, text, smtp Общение и обработка данных — начало 21 века UDDI -Universal Description, Discovery and Intergration WSDL — WS Description Language SOAP — Simple Object Access Protocol


Слайд 34

Web Services Это программа, приложение Запускается через интернет Его описание доступно через интернет Как ее запускать описывается в WSDL файле, внутреннее устройство скрыто Результаты доступны как SOAP сообщение Обеспечивает межмашинное взаимодействие через сеть


Слайд 35

Web Services Веб-сервисы можно рассматривать как подпрограммы. Отличия: веб-сервис— исполняемый код веб-сервис — распределенный код унифированный интерфейс унифицированные протоколы Веб-сервисы - «кубики лего» для создания сложных веб-сервисов


Слайд 36

SOA (service-oriented architecture): сеть слабосвязанных взаимодействующих сервисов, например, web-сервисов. Макро-взгляд на компьютерные вычисления - создание новых систем используя старые системы. SOA


Слайд 37

Web Services Architecture


Слайд 38

WS composition WS WS WS WS WS WS Process Flow ORCHESTRATION BPEL4WS CHOREOGRAPHY WSCI Collaboration


Слайд 39

Использование WS Человек нужен для постановки задачи и принятия решения использовать сервис. Счастье наступит когда программа сама сможет это сделать. Нужна семантика !


Слайд 40

WWW URI,HTML,HTTP TEXT Semantic Web RDF,RDF(s),OWL ДАННЫЕ Web Services UDDI, WSDL,SOAP ПРОГРАММЫ Счастье ! ПРОГРАММЫ ДАННЫЕ WEB - unversal medium for data, information, and knowledge exchange. Email:@address, text, smtp


Слайд 41

Virtual Observatory Счастье для астронома Технология, которая призвана доставить астроному любые данные, независимо от их расположения и методов хранения Базируется на SOA + астрономические стандарты и соглашения Позволяет автоматизировать рутинные процедуры — от технологии «клик» к взаимодействию программных агентов WWT — Word Wide Telescope, телескоп, который не зависит от погоды !


Слайд 42

Виртуальная Обсерватория Где и какие серверы есть? Создание сложных сервисов Создание сложных запросов (заданий)? Учет особенностей и потребностей астрономии Описание ресурсов (каталогов, содержания БД)? Авторские права Платные ресурсы Политика доступа Real-time web-сервисы Мультиверсионность проблемы и потребности Нужен реестр Библиотеки сервисов Язык заданий: BPEL (Business Process Execution Lang.)? Стандарты UCD (Unified Content Descriptors)? Ещё не решенные проблемы . . .


Слайд 43

? (собственное движение)? Сколько у него различных обозначений? В каких единицах измеряют расстояние? сантиметры метры километры мили километры в секунду А.Е. световые секунды световые годы парсеки килопарсеки мегапарсеки . . . Виртуальная Обсерватория: UCD Зачем нужен UCD? более 300


Слайд 44

Архитектура Виртуальной Обсерватории


Слайд 45

Обучение VO


Слайд 46


Слайд 47


Слайд 48

Какие ресурсы доступны в VO ? Практически все крупные архивы данных


Слайд 49

АСТРОНЕТ.RU


Слайд 50

Астронет в картинках


Слайд 51

Астронет в картинках


Слайд 52

SAI CAS Catalogs vo.astronet.ru/cas ConeSearch Service (VOTable, CSV): USNO B1 – 1 миллиард 2MASS xsc - 1.6 миллионов 2MASS psc - 250 миллионов Tycho2 - 2.5 миллионов UCAC2 - 50 миллионов NOMAD - 1.2 миллиарда DENIS ~ 100 миллионов others ........... SDSS DR5 - 300 миллионов (2Tb)? Linux 2.6.15 SMP, HP rx1620, Dual Itanium 2 1.6 GHz, 8Gb RAM, SmartArray 64XX HP controller, MSA 20, SATA-I 6 Tb,


Слайд 53

Астронет в картинках


Слайд 54

Астронет в картинках


Слайд 55

Астронет в картинках


Слайд 56

Астронет в цифрах Всего в базе данных зарегистрировано (июль 2007 года)? 54211 документов (включая версии)? новости, статьи, книги, энциклопедии, обзоры, обсуждения, атласы 621692 индексируемых фрагментов поиск по 4,629,798 документов/1026 сайтов >4,000,000,000 объектов (6 Тб)? >1Tb - DSS архив Доступ к данным HTTP – веб-интерфейс SOAP – веб-сервисы


Слайд 57

Астронет в цифрах Всего компьютеров и рабочих станций 18 Процессоры 26/25 Ггц Память (RAM)? 30 Гб Дисковое пространство 77/21 Тб


Слайд 58

Астронет в цифрах Посещаемость (http://www.astronet.ru/stat)? все роботы исключены 181,000 уникальных IP адресов (май 2007)? 300,000 визитов в месяц 2,000,000 страниц в месяц (картинки не считаются)? Внешние оценки Индекс интернет-цитируемости – 3700 Место в каталоге Яндекс в разделе Наука – 17 из 3425 в общем – 381 из 79573


Слайд 59

Узкое место - доступ к данным не качество каналов связи не доступность архивов а совместимость информационной инфраструктуры российской науки и международного сообщества Сервисно-ориентированная архитектура дает возможность интеграции Заключение


Слайд 60

Поддерживать и пропагандировать исследования по SOA. Поддерживать практические разработки. Разрабатывать удобные инструменты работы в SOA системах. Планировать архитектуру будущих проектов, не забывать старые данные Обучать студентов !!! Что делать?


Слайд 61

Спасибо за Внимание !


×

HTML:





Ссылка: