'

Организация доставки видеоконтента пользователям

Понравилась презентация – покажи это...





Слайд 0

Организация доставки видеоконтента пользователям Андрей Смирнов (НетСтрим)


Слайд 1

Содержание Видео: организация файлового хранилища. Вещания: ретрансляция. Географическая распределенность: подход. Географически распределенные видеофайлы и вещания.


Слайд 2

Видеофайлы Объем хранения: на хранение 1 секунды видео требуется ~ 250 Кб (FLV, оригинал, 3GP, …); средняя длительность видео ~ 4 минут; для 1 млн. видео необходимо 60 Тб. Одно видео = 5 файлов + 15 картинок.


Слайд 3

Файловый сервер Файловый сервер (2-4 Тб, RAID) просмотр видео, HTTP-streaming «Морда» / Сервер кодирования WebDAV удаление, создание, копирование файлов и т.п.


Слайд 4

Кластер файловых серверов Какой сервер выбрать? diskfree нагрузка случайно Файловый сервер №1 Файловый сервер №2 Файловый сервер №n …


Слайд 5

Файловый сервер Отдача контента (статика): FLV-streaming (lighttpd, nginx); Оригинал, 3GP, MPEG-4 – любой HTTP-сервер. Управление файлами (WebDAV): Apache, nginx, … Доступ к файлам: Любой WebDAV-клиент (PHP, Python, …)


Слайд 6

Бэкап данных Объем данных не позволяет использовать традиционные схемы. Решение - кросс-бэкап: Бэкап 2 Файлы 1 Бэкап 1 Файлы 2 1 2


Слайд 7

Кросс-бэкап Основа – rsync. Проблема вычисления свободного места: периодичность выполнения бэкапа.


Слайд 8

Вещания Клиент: Adobe Flash Player; Сервер: Adobe FMS, pyFMS, …; Протокол: RTMP; Проблема – «мультиплицирование» потока на количество зрителей вещания.


Слайд 9

Ретрансляция вещаний


Слайд 10

Геораспределенность Контент должен быть «близко» к потребителю: региональное развитие (РФ); международные рынки. Проблемы: сетевые каналы (пропускная способность); разница в стоимости локального и внешнего трафика.


Слайд 11

Посетитель IP-адрес Посетитель Географическое положение: - страна; - регион; - город. БД GeoIP


Слайд 12

Ресурс Ресурс Сервер Географическое положение 1 Копии ресурса Зеркалирующие сервера Географическое положение 2 Географическое положение 3


Слайд 13

Вычисление расстояний Москва Киев Харьков Хьюстон Таллин Пермь Находка 20 5 15 40 30 5 10 20 15


Слайд 14

Вычисление расстояний Поиск кратчайшего пути во взвешенном орграфе. Фиксированное количество концов пути: расположение серверов. Слабосвязанный граф, кеширование вычисленных расстояний.


Слайд 15

Выбор копии ресурса Из мест расположения ресурса и его копий выбираем ближайший к пользователю; Если таких мест несколько – выбираем случайно (в соответствие с весом).


Слайд 16

Начисление бонусов Всем местам, где ресурс отсутствует сегодня, начисляем бонус: где k – коэффициент, определяющий скорость копирования ресурсов.


Слайд 17

Копирование ресурса Как только бонус ресурса относительно места превышает некоторый предел: выполняется копирование ресурса на любой из серверов, расположенных в данном географическом месте.


Слайд 18

Гео: видеофайлы Ресурс – видеофайл; Первичная копия ресурса – файл, расположенный на файловом сервере; Копии ресурса – копии файла, расположенные на зеркалирующих файловых серверах; Обращение к ресурсу – просмотр видео, скачивание; Копирование ресурса – копирование файла на зеркалирующий файловый сервер.


Слайд 19

Гео: вещания Ресурс – вещание; Первичная копия ресурса – вещание на сервере, к которому подключен автор вещания; Копии ресурса – ретрансляция вещания; Обращение к ресурсу – «вход» в вещание; Копирование ресурса – создание нового источника ретрансляции.


Слайд 20

Заключение Результат: контент надежно хранится; хранилище масштабируется; контент «приближается» к пользователю по мере необходимости. Альтернативы: CDN; распределенные файловые системы.


Слайд 21

Спасибо! Вопросы?


×

HTML:





Ссылка: