'

DB2 Information Integrator Software Марк Ривкин IBM EE/A

Понравилась презентация – покажи это...





Слайд 0

DB2 Information Integrator Software Марк Ривкин IBM EE/A


Слайд 1

12/23/2015 2 Виды интеграции Интеграция интерфейсов - Portal Интеграция приложений - WS BI Server Интеграция данных Хранилища данных Information Integrator


Слайд 2

12/23/2015 3 Два подхода к интеграции данных Консолидация данных для локального доступа (DW) Высокая производительность и доступность (HA) при централизации данных. Нужны не самые свежие, а согласованные на данный момент времени данные Для семантической согласованности данных нужны сложные преобразования (ETL) Production applications, data warehouses, operational data stores Обычно используется ETL (Extract, Transform, and Load) или репликация Нужны исторические данные Большие объемы данных Структурированные данные Интегрированный доступ к распределенным источникам (II) Производительностью доступа и загрузки можно пожертвовать в угоду простоте и снижению цены Нужны самые свежие данные Политики безопасности, лицензирования или внутренние правила ограничивают возможность перемещения данных Смешение форматов данных, например customer ODS и контрактные документы или изображения Данные нужны редко и нет смысла их хранить в DW Наибольшие выгоды – при комбинации обоих подходов


Слайд 3

12/23/2015 4 DB2 Information Integrator - “Зонтик” Федеративный сервер данных – Работать с распределенными данными так, как будто они находятся в одном источнике данных Описать интегрированный взгляд на разнотипные распределенные данные Широкий диапазон источников данных и контента Расширяемость на любые источники данных Запросить как бы из единого источника Использовать стандартные SQL запросы и SQL выражения Использовать контекстный поиск Реализовать специализированные функции в SQL Использовать оптимизацию запросов и хэширование Работать с XML документами Комбинировать различные источники Использовать DTDs или XML схемы Единый источник, реляционное обновление Integrated SQLView DB2, Oracle, SQL Server, Sybase, Teradata, OLE DB, ODBC, Excel, XML, message queues, Web services, flat files, document repositories, content repositories, LDAP directories, WWW, email databases, and more.


Слайд 4

12/23/2015 5 Сценарии использования II Business Intelligence Расширение данных хранилища свежими данными Взгляд на все данные предприятия Непрерывное пополнение DW свежими данными Portal Единый интерфейс к разным источникам Доступ к старым данным Единые портлеты Единый поиск Migration/Coexist Слияние и приобретение Миграция между БД Синхронизация БД


Слайд 5

12/23/2015 6 Расширение Data Warehouse оперативными данными Federated Server Historical Data Data Warehouse Real-time Data Operational Data Store SQL Analysis Transformation Optimize query Cache DB2 z/OS SQL Server


Слайд 6

12/23/2015 7 Обеспечение единого взгляда на данные компании Federated Server Financial Services Retail Bank Обеспечение единого взгляда на клиентов и контракты, хранящиеся в разных системах Доступ к данным на месте хранения – не надо их копировать SQL Analysis Transformation Optimize query Cache Oracle Sybase Документы, контракты, текущая инф


Слайд 7

12/23/2015 8 Ускорение разработки портала Federated Server Account Status Reference Documents E-mail Обеспечение доступа приложениям портала к множеству структурированных и неструктурированных источников данных Упрощение разработки и сопровождения SQL Analysis Transformation Optimize query Cache Oracle Логика в одном месте


Слайд 8

12/23/2015 9 Сосуществование различных СУБД Replication Server Приложения прозрачно работают с несколькими СУБД на этапе сосуществования и миграции Consolidation Transformation Manage Copies Legacy Store Oracle, IMS Strategic Store DB2 UDB Federation Server Analysis Transformation Optimize query Cache Репликация для синхронизации данных


Слайд 9

12/23/2015 10 Information Integration IBM DB2 Information Integrator обеспечивает: Виртуализацию данных Стандартные языки доступа SQL, XQuery, Content, Search Доступ на чтение/запись к различным источникам данных и контента Расширение доступа Data placement Кэширование, извлечение и загрузка, репликация разнородной информации Преобразование данных Контроль качества данных Data analysis and mining SQL, XML, Web services Advanced search Управление метаданными Data publishing Publishing changed data events from diverse sources MQ интеграция WebSphere business integration Federate Place Transform Publish Metadata management and interchange IBM Confidential


Слайд 10

12/23/2015 11 Text Sybase Informix SQL Server Oracle DB2 Information Integrator SQL, SQL/XML Federation Engine Wrappers and functions Teradata WebSphere MQ ODBC IBM Extended Search Excel … WWW, email,… XML DB2 UDB on MVS Software AG Adabas VSAM CA-IDMS CA-Datacom IMS O D B C DB2 UDB Integrated SQL View Федеративный доступ к распределенным данным Packaged apps Web services New


Слайд 11

12/23/2015 12 Data sources accessible by IBM Lotus Extended Search: Lotus Notes, Lotus Domino.doc, Lotus Discovery Server, Lotus QuickPlace, Lotus Sametime IBM WebSphere Portal Search Engine, Microsoft Index Server, Microsoft Site Server, Microsoft Exchange, LDAP Directories, 18 Web search engines (Yahoo!, Lycos, Excite, HotBot, Google, Alta Vista, ABCNews.com, AOL.com Search, Business Wire, CNN, Canada.com, EuroSeek, FAST Search, GoTo.com, NBCi, PR Newswire WebCrawler, and Yahoo News) Documentum, FileNet, DB2 Content Manager


Слайд 12

12/23/2015 13 VSAM Sequential IMS Adabas CA-Datacom CA-IDMS Federated Sources DB2 UDB Informix Oracle Sybase Teradata Microsoft SQL Server ODBC OLE DB Excel Flat files IBM Lotus Extended Search Web search LDAP Custom-built DB2 CM Family Domino.doc Documentum FileNet Open Text Stellent Interwoven Hummingbird WebSphere FileNet Lotus Notes Microsoft Index Server IBM Lotus Extended Search Sametime QuickPlace Microsoft Exchange WebSphere BI Adaptors SAP PeopleSoft Siebel Дополнительно инструменты BP предоставляют доступ к большему кол-ву источников Content & Imaging Workflow systems Relational databases Web Other Collaboration Systems XML Web services Packaged applications Mainframe files Mainframe databases SQL Content SQL


Слайд 13

12/23/2015 14 Концепции Wrapper Server Server Nickname Nickname Nickname Wrapper: библотека, обеспечивающая доступ к отдельному классу источников данных или протоколов (Net8...). Содержит информацию о характеристиках источника Server: представляет конкретный источник данных Nickname: локальный алиас для образа данных, размещающихся на удаленном сервере (отображенных в строки и колонки) Локальные данные: Глобальный каталог Системные таблицы MQTs Пользовательские данные Global optimizer Использует инф о: Статистике источника Индексах источника Функциях источника Скорости сервера и сети


Слайд 14

12/23/2015 15 Выполняют 4 основные задачи: Моделирование данных Отображают исходную модель данных в реляционную модель данных (таблицы с строчками и столбцами) Отображают функции в SQL операции Планирование запроса Предоставляют информацию об источнике Выталкивают на источники как можно больше работы Определяют функции, отсутствующие на источнике (их компенсирует II) Обеспечивают информацию для оптимизатора (cost and cardinality) Connection and transaction management Выполнение запросов и извлечение данных Выполняют части запроса пользователя на различных источниках данных Wrappers


Слайд 15

12/23/2015 16 Nicknames, Push down and Compensation Push down обработку данных, чтоб улучшить производительность Компенсация для пропущенной функции (sort) (инф о молекуле) (результаты тестов)


Слайд 16

12/23/2015 17 Администрирование – Control Center Create nickname wizard Помогает создать nickname Выбирает/создает wrapper, server, nickname Create cache table wizard Помогает создать кэш таблицы. Выбирает/создает nickname, cache table и конфигурирует репликацию Export/ Deploy Запоминает действия control center и записывает их в скрипт. Позволяет редактировать скрипты и выполнять их в Task Center Monitoring Мониторит набор nicknames, чтобы определить изменения в схеме данных, которые могут повлиять на эти описания nickname Определяет состояние серверов (работает или недоступен) Обновляет статистику Запускает по расписанию обновление статистики для nickname Server discovery Конфигурирование II


Слайд 17

12/23/2015 18 Обработка запросов к федеративным данным Разбор и семантика Query Rewrite Трансформация запроса на основе эвристик и знаний об источнике Pushdown Анализ Анализирует как декомпозировать запрос Cost-Based Optimization Генерирует оптимальный план выполнения запроса, используя знания об источнике: database statistics, indexes, source functions, server capacity, network capacity Генерация SQL Производит эффективный для конкретного источника данных SQL (для SQL источников) Выполняет запрос над локальными и распределенными данными Выполняет компенсацию функций и virtual database view


Слайд 18

12/23/2015 19 Гетерогенное кэширование Улучшает производительность и надежность выполнения запроса Администратор описывает Materialized Query Table Заранее вычисленные или часто используемые значения Любые данные из федеративных реляционных источников Неявное или явное использование (automatic routing) Разработчик включает использование кэша Если включено – читает из кэша, пишет в источник Если выключено – работает напрямую с источником Обновление кэша: Вручную Репликация Различные стратегии обновления задаются при проектировании User Application Read Write Read


Слайд 19

12/23/2015 20 DB2 Information Integrator OmniFind Edition Быстрый ответ Сложные алгоритмы для корпоративного контента Intranet, file systems, collaboration systems, content managers, and databases Stemming, lexical analysis, anchor point analysis, dynamic summary, highlighted text Легко встраивается в приложения Java APIs Document level security Может работать с большими объемами 500K документов и более Тысячи одновременных пользователей Crawl Index Search New


Слайд 20

12/23/2015 21 OmniFind Crawlers Web content HTTP/HTTPS News groups (NNTP) WebSphere Portal web content sources Collaboration Lotus Notes databases MS Exchange public folders File systems Content management systems DB2 Content Manager Relational Data sources DB2 family (DB2, Informix, DB2 for z/OS) DB2 Information Integrator relational data sources (Oracle) New


Слайд 21

12/23/2015 22 DB2 Information Integrator 8.1 A Replication Server Реплицирует данные между реляционными СУБД DB2, Informix, Microsoft, Oracle, Sybase, Teradata Поддерживает гибкие топологии Дистрибуция: один ко многим Консолидация: многие к одному Различные режимы репликации Table-at-a-time (потабличный) для пакетной загрузки DW в ограниченное время Транзакционно-консистентный для оперативных данных Выбор характеристик задержки По расписанию, через интервал, непрерывный Применение преобразований на лету Стандартные SQL выражения или выполнение хранимых процедур


Слайд 22

12/23/2015 23 Staging tables Концепции гетерогенной репликации Log based Trigger based External application Каждая стейдж-таблица содержит изменения для одной исходной таблицы Формат стейдж-таблиы опубликован для внешнего использования


Слайд 23

12/23/2015 24 Расширение архитектуры репликации Каждое сообщение представляет транзакцию XML формат сообщения Высоко параллельный apply process Определение и разрешение конфликтов репликации Гетерогенные источники и подписчики Wizard для конфигурирования Federation Engine Log based WebSphere MQ Малая задержка, высокая пропускная способность Высокая надежность Database event publishing Parallel New


Слайд 24

12/23/2015 25 Доступ к Web Services Интегрирует SQL предложения и вызов Web Service Один оператор может работать с локальными и удаленными данными и с web services Поддержка генерации SQL функций и табличных UDFs, на основе WSDL web service description ( WebSphere Studio) Web Airline Fare Service Providers SELECT l.city, t.degreesFahr FROM location l, temperature t WHERE t.city=l.city


Слайд 25

12/23/2015 26 Использование Web Services Любой Web Service становится функцией или источником данных


Слайд 26

12/23/2015 27 DB2 Information Integrator Classic Federation for z/OS JDBC Client ODBC Client Публикация событий (или захват изменений в данных) Workflow WebSphere Business Integration Асинхронная коммуникация между слоем данных и слоем приложений New


Слайд 27

12/23/2015 28 Связь с пакетными приложениями WBI Adapter WBI Adapter WBI Adapter Генерируются связанные иерархи реляционных схем для бизнес объектов пакетных приложений. Запрос через SQL. Можно соединиться с другими приложениями и БД. Websphere MQ New


Слайд 28

12/23/2015 29 XML wrapper Доступ к XML документам без их занрузки Соединение XML с другими данными XML Extender Объектно-реляционное исполнение Хранить, извлекать, разбирать, собирать XML Оценивать по DTD или Схеме Извлекать, преобразовывать Хранение куском Разбросать по таблицам XML расширения в SQL Публиковать федеративные данные как XML документы Мост в мир XML Information Integration XML world


Слайд 29

12/23/2015 30 Интеграция с WebSphere MQ Доступ из приложений к очередям WebSphere MQ с помощью SQL Читать очередь (destructively or non-destructively) Послать сообщение Опубликовать сообщение на определенную тему Зарегистрировать интерес к определенной теме Two-phase commit integrity Insert into PENDING_ORDERS select t.msg from table(MQRECEIVEALL());


Слайд 30

12/23/2015 31 Инструментарий Фокус: Сделать DB2 Information Integrator прозрачным для средств разработки DB2 Centers ( Control Center, Development Center, etc) Поддержка для ДБА и разработчиков серверных приложений WebSphere Studio (Eclipse Platform) Web разработчики, J2EE разработчики, Data разработчики, XML разработчики и т д DB2 Microsoft Visual Studio Поддержка разработчиков приложений для DB2 Business Intelligence Tools Протестировано с. Crystal Decisions, Business Objects, MicroStrategy, Brio, Cognos…


Слайд 31

12/23/2015 32 Ценность DB2 Information Integrator Расширяет отдачу от сделанных инвестиций Работает с существующей инфраструктурой Консолидирует данные и обеспечивает доступ к распределенным данным, включая старые системы, так, как будто они находятся в одном источнике данных Объединяет существующие данные и контент Использует знакомую SQL программную модель и существующие средства разработки Построен на стандартной платформе Уменьшает время разработки сложных приложений Уменьшает ручное кодирование 40%-65% Уменьшает требования к квалификации разработчиков Наполовину сокращает время разработки


×

HTML:





Ссылка: