'

Технологии построения хранилищ данных: Oracle Data Integrator

Понравилась презентация – покажи это...





Слайд 0

Технологии построения хранилищ данных: Oracle Data Integrator Родион Константинов


Слайд 1

<Insert Picture Here> 4 Ключевых преимущества Расширенные возможности 6 шагов к внедрению Сценарии использования План презентации


Слайд 2

ИМЕЕМ… НУЖНО… Почему интеграция данных?


Слайд 3

Oracle Data Integrator Трансформация и перемещение данных из множественных источников в гетерогенной среде Скорость: Архитектура “E-LT” Гибкость: Активная интеграция Продуктивность: Декларативный дизайн Расширяемость: Модули знаний Преимущества Отличительные возможности


Слайд 4

E-LT архитектура Высокая производительность Специализированный ETL сервер Черный ящик Слабая производительность Высокая цена Преобразования внутри СУБД Использование современных возможностей Эффективность Высокая производительность Преимущества Оптимальная производительность и масштабируемость Легкость управления и низкая цена


Слайд 5

Java design-time environment Работает на любых платформах Тонкий клиент для просмотра метаданных Java runtime environment Работает на любых платформах Управляет выполнением потока задач Metadata repository Ставится на любую БД Модульность и расширяемость Архитектура: Концепция


Слайд 6

Архитектура: Компоненты


Слайд 7

Позволяет построить хранилища реального времени и хабы Можно использовать в SOA Активная интеграция Cобытийная и сервис-ориентированная интеграция Переход от пакетной загрузки к хранилищам реального времени Единообразие инструмента Интеграция на лету Преимущества


Слайд 8

Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services Reverse Engineer Metadata Используется опыт лучших наработок Легко администрировать Reverse Journalize Load Check Integrate Services CDC Sources Staging Tables Error Tables Target Tables WS WS WS SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload Type II SCD Oracle Merge Siebel EIM Schema Oracle Web Services DB2 Web Services Готовые модули знаний Преимущества Модули знаний (Knowledge Modules) Модульность, гибкость, расширяемость


Слайд 9

Готовые Knowledge Modules Generic SQL DB Oracle DB 9i Oracle DB 10g Oracle DB 10g XE IBM DB2/400 IBM DB2/UDB IBM Informix SE IBM LDAP Server MS SQL Server 2000 MS SQL Server 2005 MS SQL Server 2005 SE MS Office Access 2000 MS Office Excel 2000 MS Active Directory Sybase ASA 8.x & 9.x Sybase IQ 12.x Sonic MQ v7.0 Teradata V2R5.x Teradata V2R6.x Netezza Performance Server 2.2.1 Hyperion Essbase PostgresSQL 8.1 MySQL 4.0 MySQL 5.0 Oracle BI Suite 10g Oracle BAM 10g Oracle Internet Directory 9i OpenLDAP 2.3 Siebel CRM 7.8 JD Edwards PeopleSoft SAP R/3 Oracle EBusiness Suite Oracle AQ 10g Oracle SOA Suite Oracle ESB 10g SalesForce.com App Exchange Any JMS Standard Implementation Out-of-Box Knowledge Modules


Слайд 10

Declarative Design Продуктивность разработчиков Традиционный подход Разработчик должен определить каждый шаг сложного ETL процесса Требуются специальные ETL навыки Существенные усилия по разработке и поддержке Declarative Set-based Design Уменьшается число шагов Автоматическая генерация процедур Преимущества Существенное ускорение обучения Уменьшение сроков внедрения Облегчение понимания для не-ИТ персонала


Слайд 11

Oracle Data Integrator Расширенные возможности


Слайд 12

Расширенные возможности Master Data Management enabled Создание унифицированных форматов Автоматическое создание канонического формата и трансформаций Встроенная проверка целостности данных Real-time enabled Захват изменений Message Oriented Integration (JMS) SOA enabled Службы доступа к данным Службы трансформации Extensibility Knowledge Modules Framework Языки сценариев Open Tools


Слайд 13

MDM: Canonical Format Design Разработка и наполнение Канонического формата Использование имеющихся объектов для построения MDM приложений (entities, fields, relationships) Создание и поддержка структур эталонных данных CRM Enterprise Service Bus SCM Legacy ERP


Слайд 14

MDM: Встроенная проверка целостности данных Определение ограничений (constraints) на уровне таблиц Дизайн сценариев и проверка целостности Просмотр, очистка или повторная обработка отброшенных записей


Слайд 15

Real-time enabled: Changed Data Capture Публикация и подписка CDC Framework Database logs Triggers Third-tier solutions Поддержка целостности транзакций затрагивающих несколько таблиц Создайте или сгенерируйте сценарий Выбирите Journalized Data Only Запустите Журналирование CDC


Слайд 16

Real-time enabled: Интеграция основанная на сообщениях Подключитесь к провайдеру публикации сообщений и подписки на них (JMS) Проверьте, что целостность сообщений не нарушается Сложные трансформации Разрабатывайте сложные сценарии используя очереди, БД и приложения Используйте JMS Queues как источники и приемники CDC


Слайд 17

SOA Enabled: Data Access Services Создавайте и публикуйте службы доступа к данным Создайте службу доступа к данным Протестируйте службу Задействуйте службу доступа к данным в вашей SOA инфраструктуре SOA Infrastructure Services Data Access Transform Business Business Processes ESB


Слайд 18

SOA Enabled: Data Flow Services Представьте сценарии как Web Services Манипулируйте сценариями Публикуйте сценарии как web-сервисы в вашей SOA инфраструктуре SOA Infrastructure Services Data Access Transform Business Business Processes ESB


Слайд 19

Knowledge Modules 120+ KMs out-of-the-box Доступ к best practices Упрощение администрирования Уменьшение стоимости владения Переопределение и расширение KM Interpreter


Слайд 20

Scripting Framework Используйте языки сценариев Применяйте языки встроенные в базы данных SQL, PL/SQL, Transact SQL, etc. Используйте OS shell скрипты Win32 DOS, sh, ksh, csh, OS400 commands, JCL, etc. Используйте языки совместимые с Bean Scripting Framework Java, JavaScript, Jython (Java Python), Perl, etc.


Слайд 21

Open Tool Расширяйте ODI Добавляйте свои инструменты в палитру Определите OdiOpenToolAbstract Java интерфейс Зарегистрируйте Open Tool в Designer Используйте Open Tool в среде разработки


Слайд 22

Oracle Data Integrator 6 шагов к внедрению


Слайд 23

ODI Design-Time Environment ODI Runtime Environment 6 шагов к внедрению Получите/Создайте метаданные Разработайте трансформации Настройте сценарии выполнения Сгенерируйте сценарии Мониторинг выполнения Анализируйте влияние Development Development Servers and Applications Agent Data Flow Conductor CRM Legacy ERP Data Warehouse Production Production Servers and Applications Agent Data Flow Conductor CRM Legacy ERP Data Warehouse Operator Metadata Navigator


Слайд 24

Reverse-engineer Автоматическая Настраиваемая 40+ технологий Создание метаданных Документирование Правила для целостности данных Design-Time Environment ODI Designer Design-time Repositories Development Servers and Applications CRM Legacy ERP Data Warehouse Files / XML Получите/Создайте метаданные 1


Слайд 25

Oracle Data Integrator “Interface” Declarative Design 1 Определите Что Вы хотите Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension Разработайте трансформации 2


Слайд 26

Последовательность трансформаций ODI инструменты Data Quality Processes Files/Archives Management Send/Receive Emails Web Services Invokation Event Detection Создайте собственные инструменты Используйте Цыклы Условия Обработку ошибок 3 Настройте сценарии выполнения


Слайд 27

Скомпилируйте сценарии для выполнения Используйте управление версиями Advanced Version Management Перенесите в Production Сгенерируйте сценарии 4


Слайд 28

Просмотр выполнения сессий в ральном времени Просмотр кода Детальная статистика Перезапуск сбойных сессий 5 Мониторинг выполнения


Слайд 29

Анализируйте влияния/зависимости Поддержка большого числа сценариев в сложных проектах Основанный на Web инструмент просмотра Отследите ваши потоки данных Следуйте по пути данных Drill-down к трансформациям ? 6


Слайд 30

Сценарии использования


Слайд 31

E-LT для хранилищ данных Гетерогенные источники и цели Инкрементальная загрузка Медленно меняющиеся размерности Целостность данных Захват изменений (CDC) Анализ влияния


Слайд 32

Master Data Management (Управление основными данными) Используется как инфраструктура для создания собственного хаба Описания потоков данных Захват изменений (CDC) Очистка и согласование данных Публикация эталонных данных Расширение метаданных


Слайд 33

Миграция Массовая перегрузка данных в новое приложение Преобразование форматов Синхронизация старого и нового приложения в период совместного использования Двусторонний захват изменений (CDC)


Слайд 34

Использование в SOA Вызов внешних сервисов для интеграции Создание сервисов Публикация сервисов


Слайд 35

Oracle Data Integrator: Roadmap Focus Areas for Next Major Release Deep Integration with Fusion Middleware Runtime, Design time, Security, Administration, Events Functional Integration with Oracle Warehouse Builder Runtime Integration, Metadata Sharing, Knowledge Module Sharing Deployment of ODI for Embedded Data Integration OracleBI Enterprise Edition, Data Hubs, Application Migrations Enhanced Usability and Debuggability Wizards, New Views, User-definable Debugging Improved Support for Native Oracle Database Features Oracle OLAP


Слайд 36

Заказчики


Слайд 37

A Q &


Слайд 38


Слайд 39


Слайд 40

Преимущества Oracle Data Integrator «E-LT» архитектура Активная интеграция (Active Integration) Модули знаний (Knowledge Modules) Подход к проектированию основанный на бизнес правилах (Declarative Design)


Слайд 41

ODI расширяет возможности Oracle BI Oracle Business Intelligence Suite EE: Бизнес модель Обработка сложных вычислений Интеллектуальная генерация запросов Оптимизация доступа к данным Oracle Data Integrator: Наполнение корпоративного хранилища данных Оптимизация производительности ETL процессов


Слайд 42

ODI Enhances Oracle SOA Suite Add Bulk Data Transformation to BPEL Process Oracle SOA Suite: BPEL Process Manager for Business Process Orchestration Oracle Data Integrator: Efficient Bulk Data Processing as Part of Business Process Interact via Data Services and Transformation Services


Слайд 43

ODI Enhances Oracle SOA Suite Populate BAM Active Data Cache Efficiently Oracle SOA Suite: Business Activity Monitoring for Real-time Insight Oracle Data Integrator: High Performance Loading of BAM’s Active Data Cache Pre-built and Integrated


×

HTML:





Ссылка: