'

Обзор технологий и продуктов Oracle для создания аналитических систем и хранилищ данных

Понравилась презентация – покажи это...





Слайд 0

Обзор технологий и продуктов Oracle для создания аналитических систем и хранилищ данных Ольга Горчинская


Слайд 1

План доклада 1. Аналитическая обработка данных и средства Oracle Express 2. Технология построения корпоративного хранилища данных 3. Опыт применения


Слайд 2

Аналитическая обработка данных и средства Oracle Express


Слайд 3

Рассматриваемые вопросы Аналитическая обработка данных и OLAP -технология Инструментальные средства Oracle Express Технология создания Express-приложений


Слайд 4

Задачи информационного анализа Оценка общего состояния области Прогнозирование перспектив Выявление тенденций Оценка влияния параметров Выявление взаимосвязей ...


Слайд 5

Многомерная модель БД Потребители Время Энергосистемы 123 432 193 874 9876 979 34 475 555 Тариф на электроэнергию


Слайд 6

Логические представления данных конечному пользователю Энергосистемы Потребители Время Потребители Энергосистемы Время


Слайд 7

Многомерные и реляционные информационные модели Сумма Продукт Регион Время Цена Показатели и размерности Сущности и атрибуты Заказ Клиент Продукт


Слайд 8

Сравнение моделей данных Реляционная модель данных Многомерная модель данных Потребитель Регион Время 100000 01.01.98 02.01.98 Центр Восток Население С/x Промышл. 66000 34000 80000 48000 980000


Слайд 9

Сравнение моделей данных 1 2 Потребит. Население С/x Промышл. 1 2 3 100000 66000 34000 980000 80000 48000 (1,1,1) (1,1,2) (1,1,3) (1,2,1) (1,2,1) (1,2,1) (2,1,1) (2,1,1) 130000 85000 Реляционная модель Многомерная модель


Слайд 10

Продукты Oracle Express Express Server ( многомерная СУБД ) Express Tools ( средства разработки OLAP-приложений ) Express Applications (специализированные OLAP-приложения)


Слайд 11

Oracle Express Server Многомерная модель данных Эффективные структуры хранения данных для многомерных запросов Развитые средства многомерного анализа


Слайд 12

Развитые средства многомерного анализа Oracle Express Server Поддержка аналитических запросов Встроенные статистические, финансовые функции, анализ временных рядов Гибкое определение производных данных Моделирование Прогнозирование


Слайд 13

Размерности Время, Типы налога, Территории Переменные В_федер._бюджет , Тип ории) В_ремя, Тип налога, Территории) Формулы Поступление = В_федер._бюджет + В_террит_бюджет Объекты базы данных Express Стоимость=Отпуск * Тариф 01.98 02.98 03.98 04.98 Время Тариф


Слайд 14

Объекты базы данных Express Отношения Потребители Type DEM FRF Собственные USD RUR UAH Внешние Иерархии Регион BANK TFXL TFXI ACCT FXMN ACCR FUTR FDLP DGRT


Слайд 15

Продукты Oracle Express Sales Analyzer Financial Analyzer Express Analyzer Express Objects Express Web Publisher Express Web Agent Oracle Express Server Third Party FET Relational Access Manager Реляционные базы данных Оперативные БД и внешние источники


Слайд 16

Oracle Express Analyzer Объектно-ориентированный инструмент конечного пользователя Графический интуитивный интерфейс (drag-and-drop) Динамическое формирование запросов, отчетов, диаграмм Визуализация многомерных операций (поворот, срез) Поддержка “что, если” - анализа Брифинги c многомерными таблицами и графиками, кнопками и встроенными OLE-объектами Возможность распространения брифингов по E-mail


Слайд 17

Oracle Express Objects Объектно-оринтированная среда разработки OLAP-приложений Базовые и определяемые пользователем библиотеки классов Средства визуального программирования + Express Basic (Visual Basic-совместимый язык разработки ) Поддержка OLE Приложения могут выполняться под управлением Oracle Express Analyzer


Слайд 18

Приложения Oracle Express Oracle Sales Analyzer Средство анализа данных продаж, информационного обеспечения маркетинга и других подобных задач Интеграция с RDBMS с помощью механизма SQL*Bridge и использование для анализа информации в Хранилищах Данных (Data Warehouse) Oracle Financial Analyzer Распределенное приложение для финансового планирования, бюджетинга, прогнозирования и анализа финансовой информации Интерфейс с Oracle GL, Excel, различными RDBMS


Слайд 19

Технология создания OLAP Определение информационных потребностей пользователей Проектирование и реализация многомерной базы данных Разработка процедур загрузки данных из источников Создание рабочих мест конечных пользователей


Слайд 20

Технология построения корпоративного хранилища данных


Слайд 21

Рассматриваемые вопросы Архитектура корпоративного хранилища данных Проектирование и поддержка хранилища данных Согласование и загрузка данных из разных источников Доступ к данным хранилища и витрин


Слайд 22

23 Любые данные Любой доступ Любые источники Общий подход к созданию систем поддержки принятия решений


Слайд 23

Технология Oracle для создания систем поддержки принятия решений Согласование данных Многомерные витрины Реляционное Хранилище данных Реляционные витрины Средства анализа Средства анализа Оперативные системы Внешние источники


Слайд 24

Хранилище данных: серверы и рабочие места Витрины данных Операционные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Designer/2000 OEM Discoverer Express Analyzer Внешние данные Метаданные Oracle Reports


Слайд 25

Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин


Слайд 26

Финансы Oracle Designer для проектирования и поддержки хранилища данных Витрины данных Продажи Маркетинг Оперативные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Oracle Designer OEM Discoverer Express Analyzer Внешние данные


Слайд 27

Инструментальные средства проектирования хранилища Oracle Designer (Oracle Data Mart Designer) Хранение в репозитарии метаданных о локальных данных источников; структуре и объектах хранилища Спецификация информационных требований (информационная модель) Средства анализа существующих источников данных Средства визуального проектирования объектов хранилища Генерация скриптов создания хранилища Поддержка и сопровождение


Слайд 28

Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин


Слайд 29

Финансы Data Mart Builder для согласования и загрузки данных Витрины данных Продажи Маркетинг Оперативные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Oracle Designer OEM Discoverer Express Analyzer Внешние данные


Слайд 30

Согласование и очистка данных Согласование однотипных данных из разнородных источников Согласование и очистка исторических данных из одного источника Примеры согласования Нестандартный формат дат Различная степень детализации Согласование данных по времени Различные способы идентификации


Слайд 31

Инструментальные средства согласования и загрузки данных Oracle Data Mart Builder Связь с различными источниками Формирование общего логического метапредставления данных (MetaView) Построение плана загрузки с использованием визуальных графических средств и техники “drag and drop” Выполнение плана загрузки


Слайд 32

Связь с источниками Прямая связь с Oracle, Sybase, SQL Server и др. Связь через ODBC с базами данных Использование шлюзов (Transparent Gateway)


Слайд 33

Создание представления об источниках


Слайд 34

Создание общего метаописания исходных данных Создание метапредставлений (MetaView) Метапредставление состоит из категорий и атрибутов (аналог сущности в ER модели) При спецификации атрибута указывается связь со столбцами таблиц источника непосредственно имя столбца или формула вычисления атрибута (для вычислимых атрибутов) При создании метапредставлений частично решается задача согласования данных


Слайд 35

Формирование плана загрузки План загрузки -- блок-схема процесса извлечения, преобразования и загрузки данных План представляет собой диаграмму потока данных, которые преобразуются с помощью стандартных блоков преобразования -- трансформеров Удобный графический интерфейс формирования и выполнения планов Использование техники “drag and drop”


Слайд 36

Библиотека трансформеров


Слайд 37

Трансформеры плана загрузки Трансформер определяет тип преобразования и имеет определенные параметры настройки Более 20 типов предопределенных трансформеров Примеры: извлечение данных (SQL Query); фильтры; загрузка в таблицу (Batch Loader, SaveToTable) Программирование и включение в состав общей библиотеки пользовательских трансформеров


Слайд 38

Библиотека трансформеров Извлечение из источника (SQL Query, чтение из текстовых файлов) Операции над столбцами (отбор столбцов) Операции над строками (фильтры) Действия с потоком (расщепление, условное расщепление, объединение, соединение) Загрузка в таблицу Трансформеры согласования : генерация таблицы дат; генерация основных ключей; подстановка ключей при загрузке фактических таблиц


Слайд 39

Генерация таблицы дат


Слайд 40

Генерация ключей для справочника


Слайд 41

Выполнение плана загрузки


Слайд 42

Выполнение плана загрузки Непосредственный вызов плана с помощью специальной кнопки Формирование расписания выполнения планов загрузки


Слайд 43

Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин


Слайд 44

Создание витрин данных Проектирование структуры и объектов витрины Разработка процедур загрузки данных из хранилища Технология и регламент пополнения и обновления витрин


Слайд 45

Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин


Слайд 46

Финансы Доступ к данным хранилища и витрин Витрины данных Продажи Маркетинг Оперативные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Oracle Designer OEM Discoverer Express Analyzer Внешние данные


Слайд 47

Доступ к данным хранилища и витрин Oracle Server Регламентированные отчеты Многомерный анализ Сложный анализ данных Discoverer Express Analyzer Oracle Reports Произвольные запросы Data Mining ... Express Objects Oracle Server Express Server


Слайд 48

Oracle Reports для хранилищ данных Режим “клиент-сервер” Пакетный режим обновление отчетов по расписанию адресная рассылка электронных документов Работа с выделенным сервером через Web централизованное администрирование простота получения отчетов ограничение нагрузки на сервер баз данных Документы в формате HTML и PDF


Слайд 49

Доступ к данным хранилища и витрин Oracle Server Регламентированные отчеты Многомерный анализ Аналитические приложения Discoverer Express Analyzer Oracle Reports Произвольные запросы Data Mining ... Express Objects Oracle Server Express Server


Слайд 50

Oracle Discoverer Произвольные запросы к реляционным данным Создание бизнес-представлений данных (End User Layer) для конечных пользователей Для конечного пользователя: Визуальные средства формирования запросов в терминах бизнес-области Динамическое агрегирование, сортировка и группировка данных Цветовое кодирование Использование многомерных представлений данных


Слайд 51

Дополнительные возможности Вычисление предполагаемого времени запроса (по стандартной статистике Oracle) Возможность для конечного пользователя выполнить запрос; отменить выполнение; назначить выполнение по расписанию в пакетном режиме Оптимизация схемы данных (индексы, промежуточные таблицы)


Слайд 52

Доступ к данным хранилища и витрин Oracle Server Регламентированные отчеты Многомерный анализ Аналитические приложения Discoverer Express Analyzer Oracle Reports Произвольные запросы Data Mining ... Express Objects Oracle Server Express Server


Слайд 53

54 Партнеры Oracle в области Data Mining DataMind Information Discovery NeoVista Thinking Machines ISL - Clementine Data Distilleries SPSS


Слайд 54

Доступ к данным хранилища и витрин Oracle Server Регламентированные отчеты Многомерный анализ Аналитические приложения Discoverer Express Analyzer Oracle Reports Произвольные запросы Data Mining ... Express Objects Oracle Server Express Server


Слайд 55

Опыт использования технологий Oracle для создания хранилищ и витрин данных


Слайд 56

Опыт применения технологии хранилищ данных и OLAP Налогообложение Анализ задолженников (Госналогслужба) Аналитические приложения для налоговых инспекций Банки и финансы Прогнозирование балансов многофилиального банка Анализ рынка государственных ценных бумаг (ЦБ) Анализ состояния кредитно-депозитной деятельности в республике Узбекистан (ЦБ Узбекистана) Анализ открытой валютной позиции банка


Слайд 57

Опыт применения технологии хранилищ данных и OLAP Энергетика Анализ полезного отпуска электро- и теплоэнергии Анализ данных по абонентской плате Другие области Анализ статистики преступности (по Москве) Анализ демографических данных (Вологодская обл.) Маркетинговый анализа продаж на рынке нефтепродуктов


×

HTML:





Ссылка: