Понравилась презентация – покажи это...
Слайд 0
Технологии построения хранилищ данных: Oracle Data Integrator
Родион Константинов
Слайд 1
<Insert Picture Here>
4 Ключевых преимущества
Расширенные возможности
6 шагов к внедрению
Сценарии использования
План презентации
Слайд 2
ИМЕЕМ…
НУЖНО…
Почему интеграция данных?
Слайд 3
Oracle Data Integrator
Трансформация и перемещение данных из множественных источников в гетерогенной среде
Скорость: Архитектура “E-LT”
Гибкость: Активная интеграция
Продуктивность: Декларативный дизайн
Расширяемость: Модули знаний
Преимущества
Отличительные возможности
Слайд 4
E-LT архитектура Высокая производительность
Специализированный ETL сервер
Черный ящик
Слабая производительность
Высокая цена
Преобразования внутри СУБД
Использование современных возможностей
Эффективность
Высокая производительность
Преимущества
Оптимальная производительность и масштабируемость
Легкость управления и низкая цена
Слайд 5
Java design-time environment
Работает на любых платформах
Тонкий клиент для просмотра метаданных
Java runtime environment
Работает на любых платформах
Управляет выполнением потока задач
Metadata repository
Ставится на любую БД
Модульность и расширяемость
Архитектура: Концепция
Слайд 6
Архитектура: Компоненты
Слайд 7
Позволяет построить хранилища реального времени и хабы
Можно использовать в SOA
Активная интеграция Cобытийная и сервис-ориентированная интеграция
Переход от пакетной загрузки к хранилищам реального времени
Единообразие инструмента
Интеграция на лету
Преимущества
Слайд 8
Journalize
Read from CDC Source
Load
From Sources to Staging
Check
Constraints before Load
Integrate
Transform and Move to Targets
Service
Expose Data and Transformation Services
Reverse
Engineer Metadata
Используется опыт лучших наработок
Легко администрировать
Reverse
Journalize
Load
Check
Integrate
Services
CDC
Sources
Staging Tables
Error Tables
Target Tables
WS
WS
WS
SAP/R3
Siebel
Log Miner
DB2 Journals
SQL Server Triggers
Oracle DBLink
DB2 Exp/Imp
JMS Queues
Check MS Excel
Check Sybase
Oracle SQL*Loader
TPump/ Multiload
Type II SCD
Oracle Merge
Siebel EIM Schema
Oracle Web Services
DB2 Web Services
Готовые модули знаний
Преимущества
Модули знаний (Knowledge Modules) Модульность, гибкость, расширяемость
Слайд 9
Готовые Knowledge Modules
Generic SQL DB
Oracle DB 9i
Oracle DB 10g
Oracle DB 10g XE
IBM DB2/400
IBM DB2/UDB
IBM Informix SE
IBM LDAP Server
MS SQL Server 2000
MS SQL Server 2005
MS SQL Server 2005 SE
MS Office Access 2000
MS Office Excel 2000
MS Active Directory
Sybase ASA 8.x & 9.x
Sybase IQ 12.x
Sonic MQ v7.0
Teradata V2R5.x
Teradata V2R6.x
Netezza Performance Server 2.2.1
Hyperion Essbase
PostgresSQL 8.1
MySQL 4.0
MySQL 5.0
Oracle BI Suite 10g
Oracle BAM 10g
Oracle Internet Directory 9i
OpenLDAP 2.3
Siebel CRM 7.8
JD Edwards
PeopleSoft
SAP R/3
Oracle EBusiness Suite
Oracle AQ 10g
Oracle SOA Suite
Oracle ESB 10g
SalesForce.com App Exchange
Any JMS Standard Implementation
Out-of-Box
Knowledge
Modules
Слайд 10
Declarative Design Продуктивность разработчиков
Традиционный подход
Разработчик должен определить каждый шаг сложного ETL процесса
Требуются специальные ETL навыки
Существенные усилия по разработке и поддержке
Declarative Set-based Design
Уменьшается число шагов
Автоматическая генерация процедур
Преимущества
Существенное ускорение обучения
Уменьшение сроков внедрения
Облегчение понимания для не-ИТ персонала
Слайд 11
Oracle Data Integrator Расширенные возможности
Слайд 12
Расширенные возможности
Master Data Management enabled
Создание унифицированных форматов
Автоматическое создание канонического формата и трансформаций
Встроенная проверка целостности данных
Real-time enabled
Захват изменений
Message Oriented Integration (JMS)
SOA enabled
Службы доступа к данным
Службы трансформации
Extensibility
Knowledge Modules Framework
Языки сценариев
Open Tools
Слайд 13
MDM: Canonical Format Design
Разработка и наполнение Канонического формата
Использование имеющихся объектов для построения MDM приложений (entities, fields, relationships)
Создание и поддержка структур эталонных данных
CRM
Enterprise Service Bus
SCM
Legacy
ERP
Слайд 14
MDM: Встроенная проверка целостности данных
Определение ограничений (constraints) на уровне таблиц
Дизайн сценариев и проверка целостности
Просмотр, очистка или повторная обработка отброшенных записей
Слайд 15
Real-time enabled: Changed Data Capture
Публикация и подписка CDC Framework
Database logs
Triggers
Third-tier solutions
Поддержка целостности транзакций затрагивающих несколько таблиц
Создайте или сгенерируйте сценарий
Выбирите Journalized Data Only
Запустите Журналирование
CDC
Слайд 16
Real-time enabled: Интеграция основанная на сообщениях
Подключитесь к провайдеру публикации сообщений и подписки на них (JMS)
Проверьте, что целостность сообщений не нарушается
Сложные трансформации
Разрабатывайте сложные сценарии используя очереди, БД и приложения
Используйте JMS Queues как источники и приемники
CDC
Слайд 17
SOA Enabled: Data Access Services
Создавайте и публикуйте службы доступа к данным
Создайте службу доступа к данным
Протестируйте службу
Задействуйте службу доступа к данным в вашей SOA инфраструктуре
SOA Infrastructure
Services
Data Access
Transform
Business
Business Processes
ESB
Слайд 18
SOA Enabled: Data Flow Services
Представьте сценарии как Web Services
Манипулируйте сценариями
Публикуйте сценарии как web-сервисы в вашей SOA инфраструктуре
SOA Infrastructure
Services
Data Access
Transform
Business
Business Processes
ESB
Слайд 19
Knowledge Modules
120+ KMs out-of-the-box
Доступ к best practices
Упрощение администрирования
Уменьшение стоимости владения
Переопределение и расширение
KM
Interpreter
Слайд 20
Scripting Framework
Используйте языки сценариев
Применяйте языки встроенные в базы данных
SQL, PL/SQL, Transact SQL, etc.
Используйте OS shell скрипты
Win32 DOS, sh, ksh, csh, OS400 commands, JCL, etc.
Используйте языки совместимые с Bean Scripting Framework Java, JavaScript, Jython (Java Python), Perl, etc.
Слайд 21
Open Tool
Расширяйте ODI
Добавляйте свои инструменты в палитру
Определите OdiOpenToolAbstract Java интерфейс
Зарегистрируйте Open Tool в Designer
Используйте Open Tool в среде разработки
Слайд 22
Oracle Data Integrator 6 шагов к внедрению
Слайд 23
ODI Design-Time Environment
ODI Runtime Environment
6 шагов к внедрению
Получите/Создайте метаданные
Разработайте трансформации
Настройте сценарии выполнения
Сгенерируйте сценарии
Мониторинг выполнения
Анализируйте влияние
Development
Development Servers and Applications
Agent
Data Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Production
Production Servers and Applications
Agent
Data Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Operator
Metadata Navigator
Слайд 24
Reverse-engineer
Автоматическая
Настраиваемая
40+ технологий
Создание метаданных
Документирование
Правила для целостности данных
Design-Time Environment
ODI Designer
Design-time Repositories
Development Servers and Applications
CRM
Legacy
ERP
Data Warehouse
Files / XML
Получите/Создайте метаданные
1
Слайд 25
Oracle Data Integrator “Interface”
Declarative Design
1
Определите Что Вы хотите
Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension
Разработайте трансформации
2
Слайд 26
Последовательность трансформаций
ODI инструменты
Data Quality Processes
Files/Archives Management
Send/Receive Emails
Web Services Invokation
Event Detection
Создайте собственные инструменты
Используйте
Цыклы
Условия
Обработку ошибок
3
Настройте сценарии выполнения
Слайд 27
Скомпилируйте сценарии для выполнения
Используйте управление версиями
Advanced Version Management
Перенесите в Production
Сгенерируйте сценарии
4
Слайд 28
Просмотр выполнения сессий в ральном времени
Просмотр кода
Детальная статистика
Перезапуск сбойных сессий
5
Мониторинг выполнения
Слайд 29
Анализируйте влияния/зависимости
Поддержка большого числа сценариев в сложных проектах
Основанный на Web инструмент просмотра
Отследите ваши потоки данных
Следуйте по пути данных
Drill-down к трансформациям
?
6
Слайд 30
Сценарии использования
Слайд 31
E-LT для хранилищ данных
Гетерогенные источники и цели
Инкрементальная загрузка
Медленно меняющиеся размерности
Целостность данных
Захват изменений (CDC)
Анализ влияния
Слайд 32
Master Data Management (Управление основными данными)
Используется как инфраструктура для создания собственного хаба
Описания потоков данных
Захват изменений (CDC)
Очистка и согласование данных
Публикация эталонных данных
Расширение метаданных
Слайд 33
Миграция
Массовая перегрузка данных в новое приложение
Преобразование форматов
Синхронизация старого и нового приложения в период совместного использования
Двусторонний захват изменений (CDC)
Слайд 34
Использование в SOA
Вызов внешних сервисов для интеграции
Создание сервисов
Публикация сервисов
Слайд 35
Oracle Data Integrator: Roadmap
Focus Areas for Next Major Release
Deep Integration with Fusion Middleware
Runtime, Design time, Security, Administration, Events
Functional Integration with Oracle Warehouse Builder
Runtime Integration, Metadata Sharing, Knowledge Module Sharing
Deployment of ODI for Embedded Data Integration
OracleBI Enterprise Edition, Data Hubs, Application Migrations
Enhanced Usability and Debuggability
Wizards, New Views, User-definable Debugging
Improved Support for Native Oracle Database Features
Oracle OLAP
Слайд 36
Заказчики
Слайд 37
A
Q
&
Слайд 38
Слайд 39
Слайд 40
Преимущества Oracle Data Integrator
«E-LT» архитектура
Активная интеграция (Active Integration)
Модули знаний (Knowledge Modules)
Подход к проектированию основанный на бизнес правилах (Declarative Design)
Слайд 41
ODI расширяет возможности Oracle BI
Oracle Business Intelligence Suite EE:
Бизнес модель
Обработка сложных вычислений
Интеллектуальная генерация запросов
Оптимизация доступа к данным
Oracle Data Integrator:
Наполнение корпоративного хранилища данных
Оптимизация производительности ETL процессов
Слайд 42
ODI Enhances Oracle SOA Suite Add Bulk Data Transformation to BPEL Process
Oracle SOA Suite:
BPEL Process Manager for Business Process Orchestration
Oracle Data Integrator:
Efficient Bulk Data Processing as Part of Business Process
Interact via Data Services and Transformation Services
Слайд 43
ODI Enhances Oracle SOA Suite Populate BAM Active Data Cache Efficiently
Oracle SOA Suite:
Business Activity Monitoring for Real-time Insight
Oracle Data Integrator:
High Performance Loading of BAM’s Active Data Cache
Pre-built and Integrated
