'

IBM Dynamic Warehouse Николай Куликов Nikolay_Kulikov@ru.ibm.com

Понравилась презентация – покажи это...





Слайд 0

IBM Dynamic Warehouse Николай Куликов Nikolay_Kulikov@ru.ibm.com March 2007


Слайд 1

1 3rd Generation 2nd Generation 1st Generation Ясная, необходимая информация в Любом месте в Любое время Помощь в раскрытии преступлений -предоставление необходимой информации в момент прибытия офицеров на место происшествия Оптимизация работы полицейских Статистика преступлений


Слайд 2

2 Dynamic Warehousing A New Approach to Leveraging Information Dynamic Warehousing Традиционные Хранилища


Слайд 3

3 Dynamic warehousing Традиционные Хранилища Больше примеров Dynamic Warehousing в действии Аналитика и отчетность мошенничеству в страховании Отчетность по претензиям клиентов Анализ и отчетность по продажам за прошедший период Статистика и отчетность по преступлениям


Слайд 4

4 Вызовы стоящие перед традиционными ХД ХД должны сейчас: Адресованы к расширяющимся потребностям аналитики по запросу Использовать ВСЕ типы информации включая неструктурированную Обслуживать увеличивающиеся количество и типы приложений и пользователей с различными потребностями уровня обслуживания Увеличивающаяся Смешанная нагрузка и Постоянно изменяющиеся требования различных бизнес направлений требует более Динамичных Возможностей ХД


Слайд 5

5 IBM предоставляет больше чем хранилище Встроенная Аналитика (встроенная и как сервис) Многомерный анализ Data mining,Визуализация За границами традиционных структурированных данных Высокая компрессия Сокращение затрат на диски, лучшая утилизация дисков, повышение производительности запросов IBM DB2 Warehouse


Слайд 6

6 IBM Dynamic Warehousing Интегрированное предложение


Слайд 7

7 Решение от IBM: IBM Information Server Предоставление информации которой вы можете доверять Понимание Очистка Трансформация Доставка Параллельная обработка Широкие возможности доступа к Приложениям, Данным, и Контенту IBM Information Server Обнаружение, моделирование, управление информацией Стандартизация, объединение, и корректировка информации Объединение и реструктуризация информации для нового пользования Синхронизация, виртуализация, перемещение информации Общее Внедрение Общее управление метаданными


Слайд 8

8 IBM Information Server - Архитектура Интерфейс Аналитика Интерфейс Web Администрирования Интерфейс Разработчика ОБЩИЙ GUI ОБЩИЕ СЛУЖБЫ Службы Метаданных Службы безопасности Службы Журнала & Отчетности ОБЩИЕ МЕТАДАННЫЕ Разработка Оперативные ОБЩАЯ ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА Понимание Очистка Трансформация ОБЩИЕ ИНТЕРФЕЙСЫ ДОСТУПА Службы установки Структурированные, Неструктурированные, Приложения, Mainframe Доставка


Слайд 9

9 Где необходимая информация? Как я могу ее получить если она мне нужна? Что она означает? Могу ли я ей доверять? Когда я ее получаю в какой форме она мне нужна? Как я могу ее контролировать? Почему важно начинать с Понимания?


Слайд 10

10 Физические метаданные: IBM WebSphere Information Analyzer Основанный на данных анализ приложений, БД и файловых источников данных Безопастная, детальная профилировка полей, между полями и между источниками Создание метаданных как результатов профилирования Результаты постоянно доставляются посредством IBM Information Server Understand Анализ структур исходных данных и мониторинг их качества и соответствия правилам IBM WebSphere Information Analyzer Physical View


Слайд 11

11 Бизнес метаданные: IBM WebSphere Business Glossary Построенная на Web система для описания, управления & общего доступа к бизнес метаданным Выравнивание действий IT с целями бизнеса Предоставление бизнес контекста к информационным активам Understand Create and manage business vocabulary and relationships, while linking to physical sources IBM WebSphere Business Glossary Business View GL Account Number The ten digit account number. Sometimes referred to as the account ID. This value is of the form L-FIIIIVVVV. Database = DB2 Schema = NAACCT Table = DLYTRANS Column = ACCT_NO data type = char(11) Technical Business


Слайд 12

12 Очистка данных: IBM WebSphere QualityStage Специализированные функции очистки данных прозрачно интегрированы с DataStage Визуальные инструменты для определения комплексных отображений и логики сохранения полей Проверка очистки, стандартизации, де-дубликации информации Единая версия правды Cleanse Standardize and correct source data fields, and match records together across sources to create a single view IBM WebSphere QualityStage™ Visual Match Rule Design


Слайд 13

13 Что важно в трансформации и доставке данных? Трансформация это ключ для предоставления информации для использования ее в новых бизнес контекстах – это требует что бы эта информация была основанная на метаданных Разработана для использования экспертами по информации и управляется посредством метаданных Трансформация и доставка может быть использована множеством механизмов Перемещение больших объемов заданиями(batch) Ответ на событие в реальном времени SOA Федеративные запросы Data Analysts Data Architects DBAs Subject Matter Experts Logic Reuse Query


Слайд 14

14 Трансформация & Перемещение: IBM WebSphere DataStage Визуальная разработка потоков данных с сотнями встроенных трансформаций Оптимизированное использование объектов интеграционных Возможность параллельной обработки без необходимости изменять процессы обработки Возможность работы как с batch так real-time операциями Transform Трансформация и агрегация любых объемов информации IBM WebSphere DataStage® Deliver


Слайд 15

15 Федеративные данные: IBM WebSphere Federation Server Доступ к распределенной информации без ее перемещения Лучшая в индустрии оптимизация запросов с поддержкой SSO, функции компенсации Поддержка транзакций между распределенными источниками Deliver


Слайд 16

16 Федеративные запросы делают интеграцию простой как SQL SELECT parameters_return_billto_key as BILL_TO_KEY, billto_company_name, parameters_return_shipto_key as SHIP_TO_KEY, CASES_SHIPPED, GROSS_SALES, URL FROM GETKEYSSOAP_GETKEYSREALTIME_NN, GLOBAL_SALES_TRAN_NN, BILLTO_DIMENSION, URL_INVOICES WHERE getkeysrealtime_ship_to_number = '13546' and getkeysrealtime_ship_to_number = URL_INVOICES.shipno and ltrim(rtrim(translate(ship_to_number, ' ', x'0a'))) = getkeysrealtime_ship_to_number and parameters_return_billto_key = billto_key and ltrim(rtrim(translate(sales_order_number, ' ', x'0a'))) = URL_INVOICES.orderno; ? XML Documents Data Warehouse Unstructured Data ? Web Service Один запрос SQL :


Слайд 17

17 Интегрированный набор инструментов для Dynamic Warehousing


Слайд 18

18 Интегрированный набор инструментов для Dynamic Warehousing


Слайд 19

19 Introducing IBM Balanced WarehouseTM A fast track to warehousing Простота Предопределенная конфигурация для упрощения комплекса Один номер для поддержки решения Гибкость при росте Простое Добавление BCUs для увеличивающихся потребностей Надежно, возможность повторного использования для других задач Оптимизирован для Производительности Преконфигурирован и сертифицирован для предоставления гарантированной производительности Основан на лучших практиках для уменьшения риска Balanced Configuration Unit (BCU) Преконфигурированный, Претестрированный, масштабируемый набор Программного и Аппаратного Обеспечения Просто Гибко Оптимально


Слайд 20

20 Гибридное партиционирование 999 Machines HASH RANGE 32K Partitions MDC


Слайд 21

21 Компрессия строк Общая последовательность заменяется на 12 байт Страница с компрессией SOCKS BLUE DALLAS TEXAS x’01C’ Без Компресии С Компрессией Страница без Компрессии


Слайд 22

22 DB2 - More Compression Ratios (Customer Data) Compression Type 32KB Page Count Space Required on Disk No compression 5893888 179.9GB Row compression 1392446 42.5GB % Pages Saved: 76.4%


Слайд 23

23 BDW (Banking Data Warehouse) Финансовые Рынки (Financial Markets Data Warehouse) Заявки Medical management Управление сетью Продажи, маркетинг and membership Финансы Прибыльность Маркетинг Управление рисками Управление активами пассивами Соответствие Требованиям Управление Рисками Управление активами пассивами Соответствие требованиям Управление Здоровьем (Health Plan Data Warehouse) Клиенты Заявки Прибыльность Соответствия требованиям Управления рисками Розница (Retail Data Warehouse) Клиенты Управление закупками Оптимизация складов Управление цепочкой Соответствие требованиям Телекоммуникации (Telecommunications Data Warehouse) Управление оттоком Управление взаимоотношениями Продажи и маркетинг Качество обслуживания Профайл пользователя Страхование (Insurance Information Warehouse) Индустриальные Модели данных


Слайд 24

24 IBM Industry Data Models: Ключевые компоненты Модель данных для терминов Словарь бизнес определений для единых определений в рамках организации и индустрии Модель EDW Эта модель определяет как множество источников могут быть консолидированы в единую логическую структуру Проектные представления Логическое подмножество EDW и BSTs для решения конкретной задачи Шаблоны бизнес решений (BST) Набор Key Performance Indicators для создания OLAP кубов, витрин, шаблонов отчетности


Слайд 25

25 Фаза планирования Создание стандартов на данные и их управление Бизнес планирование и развития IT Стабильность проектов


Слайд 26

26 Фаза анализа RDA (Enterprise Model Extender) Выявление Бизнес требований Структурированная по области проблем Определяет область для реализации IT реализации Дополнение Information Analyzer Предоставление необходимого анализа данных Information Analyzer Analyze Source Data Business Solution Templates


Слайд 27

27 Создание дизайна RDA (plus Enterprise Model Extender) Генерация ХД, витрин/кубов Инкрементальная, проектная, корпоративная разработка Трассировка бизнес требований до уровня кода Сравнение, объединение моделей Rational Data Architect Enterprise Data Warehouse Model Business Solution Templates Create Database Schema Create OLAP or Data Marts With EM Extender


Слайд 28

28 Фаза реализации Определение целевых структур Общий глоссарий Инкрементальная разработка без переписывания Business Glossary Enterprise Data Warehouse and Data Marts Analytical Application Information Server Trusted Data


Слайд 29

29 Анализ требований


Слайд 30

30 Call Taker: James Date: Aug. 30, 2002 Duration: 10 min. CustomerID: ADC00123 D: Complained about rejected claim for antibiotics; form req’d more information Unstructured data Structured Data Original Data Обширные интерфейсы для объединения структурированных и не структурированных данных Объединение поиска и текстовой аналитики Unstructured analytics framework Analysis tools Introducing IBM OmniFind Analytics Edition Linguistic analysis Extended Insight


Слайд 31

31 Alphablox Data Warehouse Data Mart Relational Database Systems IE, Netscape Web Application Server Intranet/ Extranet Client Browser App Server Alphablox Data Mart


Слайд 32

32


Слайд 33

Thank You


×

HTML:





Ссылка: