'

Яндекс

Понравилась презентация – покажи это...





Слайд 0

От Статистики до Статистики Яндекс Докладчик: Юхно Олег руководитель группы администрирования email: olegu@yandex-team.ru 11


Слайд 1

О чем я хочу рассказать? Развитии системы статистики 2 Проблемах и их решении


Слайд 2

Зачем нужна система расчета статистики 3


Слайд 3

Почему нужна система расчета статистики 4 Много проектов Много данных Потребовалось считать статистику регулярно и единообразно


Слайд 4

5


Слайд 5

6 Сначала данных и проектов было мало < 10Gb в сутки


Слайд 6

Исходная архитектура 7 в СУБД складываем только необходимые фрагменты строк из лога СУБД резервируем считаем возможности экстенсивного роста неограниченными Проблема: конструкция не масштабируется.


Слайд 7

8


Слайд 8

9 Данных и проектов еще было мало < 100Gb в сутки


Слайд 9

Первая попытка масштабирования кластеризация считающих машин("парсеров")? кластеризация СУБД SAN с использование iscsi Проблема: все пропало, сеть не может обеспечить нужную производительность :(       10


Слайд 10

11


Слайд 11

Когда данных стало 200-300Гб в сутки 12


Слайд 12

Вторая попытка масштабирования 13 Пределы экстенсивного роста Научились эффективно балансировать нагрузку на сеть (а именно TCP сессии iscsi)? Учли особенности работы с кластеризованной СУБД Проблема: монолитность системы      


Слайд 13

Вторая попытка масштабирования 14 Пределы экстенсивного роста


Слайд 14

Финальное решение


Слайд 15

16


Слайд 16

17


Слайд 17

18 Сейчас ежесуточно статистика обрабатывает 2-3Тб данных


Слайд 18

19


Слайд 19

    "оптимальность инструмента"? расчетов разделение монолитной системы на обособленные функциональному признаку подсистемы 11 Пересмотр архитектуры


Слайд 20

А будет еще больше… 21 Рост в 3-4 раза каждый год!


Слайд 21

Пересмотр архитектуры: почему? Недостатки старой архитектуры: - сложности масштабирования - монолитность системы Достоинства старой архитектуры: - единая точка входа - SQL-интерфейс - ну и то что она как-то работает :) 22


Слайд 22

Пересмотр архитектуры: почему? 23 Недостатки новой архитектуры: Необходимость локализации расчетов Достоинства новой архитектуры Масштабируемость Надежность Большая емкость вычислительных и сетевых ресурсов


Слайд 23

Итог: 24 Нерешаемые проблемы решаются просто Децентрализация системы сильно упрощает ее обслуживание. Децентрализация системы повышает ее надежность. (возможно этот слайд нафиг не нужен)?


Слайд 24

Итог: 25 Децентрализация системы Специализация компонентов Автономность компонентов «Простота» компонентов Отказоустойчивость Производительность Простота в обслуживании и высокая эффективность


Слайд 25

Спасибо! Юхно Олег руководитель группы администрирования email: olegu@yandex-team.ru 26


×

HTML:





Ссылка: