'

Тенденции развития коммерческих СУБД Конференция “Корпоративные базы данных ”, 24 апреля 2008 г Марк Ривкин Российское представительство Oracle Mark.Rivkin@oracle.com

Понравилась презентация – покажи это...





Слайд 0

Тенденции развития коммерческих СУБД Конференция “Корпоративные базы данных ”, 24 апреля 2008 г Марк Ривкин Российское представительство Oracle Mark.Rivkin@oracle.com


Слайд 1

Как предсказать тенденции Жесткая конкуренция в большой тройке, нельзя не реализовать осн. функции IBM и MS догоняют Oracle Политка лабораторий в Торонто Функции последних версий MS SQL Возможно, представители MS и IBM добавят Поэтому берем за основу Oracle 11g + конкурентов => предсказание на основе анализа рынка СУБД (практической реализации), а не теоретических предложений (Лоуэллский отчет)


Слайд 2

Оговорки Субъективно Не все, а наиболее важные тенденции Разные по значимости Список не полон (чертова дюжина) Терминология !!!!! – извините Прогноз только на ближайшие годы (2-3 версии) 2 группы: тенденции развития СУБД тенденции развития систем на основе СУБД, влияющие на функции СУБД


Слайд 3

Чертова дюжина Виртуализация ресурсов и GRID-технологии ILM (Information LifeCycle Management) в СУБД Самоуправление, самодиагностика, самолечение Real Application Testing – механизмы промышленного тестирования версий и изменений Совершенствование архитектур макс доступности (разные режимы Standby, Active standby, Snapshot standby, минимизация времени плановых простоев, модификация приложений и версий СУБД, online redefinition) Включение измерения времени в СУБД Новые типы данных (XML, RFID, Semantic Web, геном, медицина, быстрые LOB и т.д.) Умные механизмы сжатия и устранения избыточности Совершенствование защиты данных (Data Vault, Audit Vault, Access&Identity)


Слайд 4

Тенденции развития систем на основе СУБД, влияющие на функции СУБД Искажение данных In-memory СУБД реального времени как кэш для коммерческих СУБД Интеграция данных, универсальные и специализированные подходы (динамические DW, BDW – Banking Data Warehouse), MDM Включение баз данных в пространство поиска поисковых систем


Слайд 5

1. Виртуализация и Grid Computing Кластеры серверов приложений Кластеры баз данных Сетевые устр. хранения Storage Grid Database Grid Application Grid Grid Control Grid Control


Слайд 6

GRID Виртуализация ресурсов и простота управления Неограниченная мощность на основе дешевых элементов Добавление/удаление на лету, клонирование, патчирование Гибкость перераспределения ресурсов Динамическая адаптация к изменению условий эксплуатации на основе политик Независимость от места выполнения программ Надежность Более эффективное использование ресурсов Вычислительный ресурс как коммунальная услуга Без спец программирования Автоматические балансировка, зеркалирование, перераспределение ресурсов


Слайд 7

Подтверждение Бизнес – привлекательность Refferences (Аmazon, e-bay Латинской Америки - Mercado Libre, EDS – ABNAMRO … ) Oracle 11.2 (Динам настройка на среду, AS+HTTP+DB+ASM – делят ресурсы (VM), scaledown – VM, виртуализация БД и файлов) Sybase ASE Cluster Edition IBM Grid, Globus toolkit


Слайд 8

2. Цикл жизни данных Быстрые диски Дешевые диски Online архив Активные Менее активные Исторические Offline архив Цикл жизни данных Offline архив


Слайд 9

Устройства хранения Partitioning – идеальное средство для ILM Классы данных Области хранения Политики хранения/удаления /архивирования/сжатия Понимание бизнес данных Независимо от Hardware Прозрачно для приложений Дешево – Можно использо-вать ASM для управления множеством областей хранения (storage tiers) Активные Менее активные Исторические


Слайд 10

ILM Assistant


Слайд 11

3. Самоуправление, самодиагностика, самолечение Сбор, анализ статистики и проактивное реагирование Выявляет причины, а не следствия Память, ввод/вывод, структуры данных Проблемы с безопасностью, производительностью, пространством в БД, нарушение правил, отклонение от стандартов поведения Периодическая проверка структур блоков, словаря, контр сумм и т д Автоматическая реализация опыта и best practice Автонастройка на меняющиеся условия эксплуатации Отработка выхода из строя элементов инфраструктуры, советы по восстановлению БД (reparing adviser) Автоматические backup/restore


Слайд 12

Самоуправление, самодиагностика, самолечение Автонастройка тяжелого SQL Совершенствование оптимизатора (учет взаимовлияния кардинальности, утверждение планов запроса, profiles, детальное тестирование решений и т д) Уменьшение числа ручек Задание бизнес параметров (время простоя, уровень сервиса, время отклика и т д) Принятие решения с учетом всех элементов инфраструктуры Контактирует с тех поддержкой при ошибках, критические патчи Остается и ручное управление для Guru DBA не умрет


Слайд 13

Изменения в ПО и оборудовании факт нашей жизни. Заказчики хотят оценить влияние изменений прежде, чем их осуществлять. Полноценное тестирование требует времени и денег. Результат может оказаться плохим несмотря на дорогое тестирование Много проблем оказались не выявленными Изменения негативно сказались на производительности и доступности системы Основная причина неудачного тестирования - Неспособность воспроизвести реальную нагрузку RAT позволяет провести полноценное тестирование с РЕАЛЬНОЙ нагрузкой. 4. RAT – механизмы промышленного тестирования версий и изменений


Слайд 14

Захват и воспроизведение нагрузки СУБД - Database Replay Захват инфо о нагрузке Записывает информацию о нагрузке СУБД, включая важную информацию об одновременности нагрузки Database Replay - проигрывание Воспроизводит нагрузку в реальном времени (workload with actual timing) Анализ и отчетность Отчеты об ошибках Изменение данных Изменение производительности Использование ADDM для дальнейшего анализа производительности Rec Анализ и отчетность Запиши и проиграй Beta


Слайд 15

Захват и воспроизведение нагрузки SQL – SQL Replay Фокус на проблемы с нагрузкой при выполнении SQL операторов Детальный анализ производительности отдельного SQL оператора Захват информации про SQL Workload в эксплуатационной системе Захватывает текст SQL, планы, bind variables, статистику выполнения За указанный период времени Можно захватить информацию для SQL в Oracle Database 10g Release 2 Воспроизведение SQL Workload в тестовой среде Тестовое выполнение SQL в тестовой среде Выявляет SQL с изменившимися планами выполнения и SQL с ухудшившейся производительностью Для ухудшившегося SQL можно провести настройку с помощью SQL Tuning Advisor (10g) Производит анализ и отчеты Beta


Слайд 16

SQL Replay: анализ производительности


Слайд 17

Физический Standby Эксплуатационная БД Логический Standby Удобное переключение (обе) Пульт управления (обе) Отложенные изменения и изменения без потерь (обе) Постоянно открыта Применение SQL Дополнительные индексы и Materialized Views 5. Совершенствование архитек- тур максимальной доступности Защита от катастрофических сбоев (много разных режимов)


Слайд 18

Выполняйте тестирование изменений, печать отчетов, backup, read-only приложения на резервной базе данных Активная резервная БД разгрузит производственную БД Запросы в реальном времени Standby БД Производственная база данных


Слайд 19

Совершенствование архитектур макс доступности минимизация времени плановых простоев online redefinition структуры БД Online патчи Rolling Upgrade SW и HW Изменение параметров модификация версий СУБД модификация приложений СУБД Версионность таблиц Версионность процедур, функций, views Cосуществование старой и новой версии приложений, работающих с одними и теми же данными


Слайд 20

6. Включение измерения времени в СУБД Flashback - Исправление Ошибок человека Восстановление на всех уровнях к заданному моменту времени Уровень БД Flashback Database восстанавливает БД целиком Использует Flashback Logs Уровень таблиц Flashback Table восстанавливает записи в наборе таблиц Использует UNDO в БД Flashback Drop восстанавливает удаленные таблицы и индексы Использует Recycle bin Уровень записи Восстановление конкретных записей Использование Flashback Query New: Откат транзакций Order Database Customer


Слайд 21

Исследование проблем с помощью движения по времени Flashback Query Запросить все данные на определенный момент времени Tx 1 Tx 2 Tx 3 select * from Emp AS OF ‘2:00 P.M.’ where … select * from Emp VERSIONS BETWEEN ‘2:00 PM’ and ‘3:00 PM’ where … select * from FLASHBACK_TRANSACTION_QUERY where xid = ‘000200030000002D’; Flashback Transaction Query Посмотреть все изменения, сделанные транзакцией Flashback Version Query Посмотреть все версии строк в заданном интервале времени Посмотреть транзакции, которые изменили строку


Слайд 22

Flashback Data Archive – опция RECALL Измерение времени в БД Долговременное хранение - годы Автоматически сохраняет все изменения для выбранных таблиц в Flashback Data Archive Архив не может быть изменен Старые данные удаляются в соответствии с политикой сохранения Можно посмотреть содержимое таблицы на любой момент времени с помощью Flashback SQL Используется для Отслеживания изменений ILM Долговременной истории изменений Аудита Соответствия законадательству (Compliance) ORDERS User Tablespaces Flashback Data Archive Archive Tables Oracle Database Изменения Полный возврат Select * from orders AS OF ‘Midnight 31-Dec-2004’


Слайд 23

7. Новые типы данных RFID Semantic Web, геном Life Science (медицина, биология, химия, биохимия, иммунология, генетика, экология ....), алгоритм BLAST быстрые LOB XML и т д Специальные способы хранения, индексирования, оптимизации Набор стандартных операций


Слайд 24

Семантические сети Oracle Database 11g – первая промышленная открытая, масштабируемая, безопасная и надежная СЕМАНТИЧЕСКАЯ СУБД со встроенной поддержкой стандартов RDF и OWL. Она может работать с наборами данных, превышающими по размеру в десятки раз объемы данных специализированных RDF и OWL СУБД. Oracle обеспечивает более продвинутые и точные средства запроса и позволяет легко расширить функционал существующих SQL приложений за счет подключения семантического поиска и семантических запросов.


Слайд 25

Богатый набор механизмов сжатия Сжатие структурированных/реляционных данных Сжатие неструктурированных данных Сжатие для backup Сжатие сетевого трафика Сжатие для Data Pump (на 75%) Сжатие для Data Guard (gap resolution в 2 раза быстрее) Мин влияние на производительность OLTP и DSS Разные алгоритмы для разных данных Redo logs Backups Standby 8. Умные механизмы сжатия и устранения избыточности


Слайд 26

Автоматически определяет, что SecureFile можно сжать Не выполняет сжатие для уже сжатых данных Не выполняет сжатие, если экономия места будет минимальной или нулевой Два уровня сжатия Уровни сжатия: MEDIUM (default), HIGH Чем выше степень сжатия, тем больше задержка и нагрузка на CPU Сжатие SecureFiles независимо от сжатия таблиц и индексов Сжатие выполняется на сервере При работе с частями файлов, разжимаются только необходимые блоки Может быть задано на уровне partition SecureFiles - Cжатие


Слайд 27

OLTP Table Compression Overhead Free Space Uncompressed Compressed Inserts are uncompressed Block usage reaches PCTFREE – triggers Compression Inserts are again uncompressed Block usage reaches PCTFREE – triggers Compression Адаптивное, непрерывное сжатие Сжатие запускается автоматически, когда достигается % заполнения блока PCTFREE Сжатие исключает дырки, возникающие при удалении записей и максимизирует размер непрерывного свободного пространства в блоке


Слайд 28

9. Совершенствование защиты данных Audit Vault – DW всей аудит информации предприятия Много источников Защищено, не удаляется Стандартные отчеты, DataMining Access&Identity Management – вынесение механизмов аутентификации, авторизации, управления привилегиями и контроля доступа из СУБД Более строгие механизмы Workflow Гибкие политики Single Sign On LDAP Directory Централизация Data Vault


Слайд 29

Oracle® Database Vault Функциональные элементы Отчеты Защищенные области Многофакторная авторизация Разграничение по служебным обязанностям Динамическая настройка правил безопасности Аудит


Слайд 30

10. Искажение данных При выдаче результата – подмена данных (военные, медицина ....) Передача БД для тестирования и разработки в другую компанию Data Masking Pack Замена на случайные значения, константы, перемешивание, значения из списка, использование пользовательских процедур Маски, проверка и сохранение формата и ограничений Ссылочная целостность базы и логики приложений Библиотека стандартных форматов (имена, телефоны ....) Уникальность Быстро, в пакетном режиме


Слайд 31

11. In-memory СУБД реального времени как кэш для коммерческих СУБД Подтверждение – IBM купил Solid TimesTen – in-Memory СУБД Быстрый КЭШ над дисковой СУБД Обработка данных в режиме реального времени Без сброса на диск, надежность за счет репликации Можно отключить журналирование


Слайд 32

Основные достоинства TimesTen In Memory Database (> 1 Tb) Время ответа – микросекунды (вместо миллисекунд)! Специальная архитектура и способы индексации Предсказуемое и постоянное время ответа Пропускная способность 100,000 TPS и выше Знакомая реляционная модель – разработчикам не нужно переучиваться (ODBC API) Вмешательство DBA - минимально


Слайд 33

Кэширование данных Oracle Database Cache groups Независимые или связанные таблицы Вся таблица или подмножество строк и колонок Поддержка отношения таблиц parent-child Read-only or updatable Двунаправленные обновления Из TimesTen в Oracle Из Oracle вTimesTen Несколько кэшей для одной Oracle DB


Слайд 34

Почему TimesTen быстрее: Дисковая СУБД Buffer Pool Приложение SQL Копирование записей в Private Buffer Data Page Предположим, что страница уже в памяти... Пересылка буфера в приложение (via IPC) Table#Page# Query Optimiser /Executor Определение адреса искомой страницы на диске Вычисление указателя на адрес страницы (Page Pointer) с использованием хэширования и линейного поиска IPC


Слайд 35

Почему TimesTen быстрее: TimesTen Memory-Resident Database Приложение SQL Вся БД загружена с диска в память до начала работы Memory Address Query Optimiser / Executor Data Store Вычисление прямого адреса в памяти для искомой записи Копирование данных в буфера приложения


Слайд 36

12. Интеграция данных, модели данных DW, Виртуальный DW, смешанная модель, RT DW Когда это лучше чем DW? Нужна свежая информация Небольшую часть данных лучше брать из online систем, нужны редко Real Time Decision, IBM Dynamic DW, Sibel Server Структурированная и неструктурированная информация в DW Политики безопасности запрещают перемещать данные Единая интегрированная модель данных с точки зрения приложений Запросы преобразуются в запросы к источникам Это накладывает доп требования на СУБД, реализующую такой подход (IBM II) Оптимизация с учетом источников, хар-к сети Выполнение функций, не поддерживаемых источником, выталкивание обработки Кэширование, федеративная СУБД Единый язык запросов Преобразование запросов и данных Wrappers Отображение нереляционных объектов в реляционную модель и т д


Слайд 37

Модели данных для DW Универсальные индустриальные модели, как заготовка для модели данных DW (BDW, TDW, RDW, Sibel и т д Best practice, многое учтено, правильные структуры, постепенное наращивание, упрощен GAP анализ Нужны простые средства бизнес-редактирования и генерации оптимальных структур для конкретной СУБД Другое направление – MDM (Meta Data Modelling) – единые справочники (пользователи, продукты и т д)


Слайд 38

13. Включение баз данных в пространство поиска поисковых систем Большинство поисковых систем ищет по сайтам и текстам Над искать и по БД С учетом прав доступа к информации Единый поисковый запрос к разнородной информации (архив док, СУБД, mail, Web …) mapping полей Свои правила определения релевантности Удобно реализовать в виде Web Service со стандартным интерфейсом


Слайд 39

Вопросы


Слайд 40

Как нас найти... Телефон в Москве +(7 495) 641-14-00 www.oracle.com/ru www.oracle.ru Email Mark.Rivkin@oracle.com


×

HTML:





Ссылка: