'

Обработка статистики в системе управления баннерной рекламой

Понравилась презентация – покажи это...





Слайд 0

Обработка статистики в системе управления баннерной рекламой Артём Вольфтруб


Слайд 1

2 Общая архитектура системы


Слайд 2

3 Размеры рекламной сети Более 200 000 рекламных площадок Более 20 000 рекламодателей Более 450 000 000 регистрируемых событий ежедневно 3


Слайд 3

4 Нагрузка на систему 15 000 запросов к баннерным машинам в секунду Около 500 запросов к порталу в секунду 4


Слайд 4

5 ? Число регистрируемых событий 5


Слайд 5

6 Распределение нагрузки Балансирвка запросов с помощью аппаратного LB Повышение отказоустойчивости Взаимозаменяемость баннерных машин Дублирование ключевых компонентов системы


Слайд 6

7 Особенности бизнес модели Качество сервиса определяется количеством участников Отсутствует комиссия за показы Площадки заинтересованы в эффективном размещении Вовлёченность в процесс 7


Слайд 7

8 ? Что регистрируем Показы Клики Транзакции 8


Слайд 8

9 Комиссия за клики и транзакции


Слайд 9

10 ? Основные проблемы Очень много данных Очень мало времени на обработку Система должна работать непрерывно 10


Слайд 10

11 ? Способы уменьшения объема данных Предварительная группировка Проверка кликов 11


Слайд 11

12 Способы ускорения обработки Ускорение загрузки там, где это возможно Задачи не должны блокировать друг друга Запуск процессов по расписанию Взаимосвязанность задач – это хорошо


Слайд 12

13 ? Этапы обработки статистики Загрузка логов с баннерных серверов Предварительная группировка данных Проверка кликов Загрузка данных в БД Расчет статистики 13


Слайд 13

14 Проблемы базы данных Гигантский объем таблиц с показами и кликами Необходимо блокировать загрузку на время расчета статистики


Слайд 14

15 Предварительное заполнение БД 15


Слайд 15

16 Денормализация данных 16


Слайд 16

17 Отображение статистики 17


Слайд 17

18 Почему мы кэшируем данные Запросы часто повторяются Статистика обновляется по расписанию. Если нет новых данных, зачем обращатся к БД? Сортировка средствами БД работает медленнее 18


Слайд 18

19 ? Контроль работоспособности Остановка системы приводит к лавинообразному накоплению необработанной информации Клиенты хотят видеть свои данные Обработка статистики используется для биллинга 19


Слайд 19

20 Основные индикаторы Число необработанных файлов на сервере Задержка загрузки файлов с баннер сервера Задержка обработки статистики


Слайд 20

21 ? Что мы контролируем Баннерные сервера Сервер обработки статистики База данных 21


Слайд 21

22 ? Как мы контролируем Готовые решения для контроля на аппаратном уровне (Nagios) Собственные разработки для контроля на уровне приложения 22


Слайд 22

23 ? Как защититься от сбоев Раньше знаешь, больше спишь Проблему нужно предвидеть С проблемой нужно научиться бороться 23


Слайд 23

? Вопросы? Email: artem@gramant.ru


×

HTML:





Ссылка: