'

Время Ресурсы Реальная нагрузка Добавили лишних ресурсов Нужно добавить ресурсы Облако Дата-центр.

Понравилась презентация – покажи это...





Слайд 0


Слайд 1

ARC208 Подходы облачного проектирования в Windows Azure Гайдар Магдануров Руководитель направления веб-технологий Microsoft


Слайд 2

Содержание Облачные платформы Предпосылки появления и возможности Windows Azure Краткий обзор основных компонентов Типовая архитектура … приложений в облаке Важные моменты … при проектировании облачных приложений


Слайд 3

Облачные платформы


Слайд 4

Предпосылки появления облачных платформ Рост нагрузки на частные дата-центры Увеличение количества пользователей Распространение мобильных решений Одновременная совместная работа Повышение ожиданий от приложений Непредсказуемые пики нагрузки Высокие расходы на дата-центы Ресурсы: электричество, охлаждение, сети, персонал Проблемы масштабирования: большие первоначальные инвестиции, необходимость платить «деньги вперед» за непредсказуемую нагрузку


Слайд 5

Возможности облачных платформ Масштабирование системы по необходимости Высокая доступность и отказоустойчивость Эффективное управление расходами Возможность фокусироваться на создании и обслуживании продукта, а не на инфраструктуры Быстрая публикация решений любого масштаба


Слайд 6

Классический дата-центр и облако Время Ресурсы Реальная нагрузка Добавили лишних ресурсов Нужно добавить ресурсы Облако Дата-центр


Слайд 7

Эффективные облачные сценарии нагрузки Периодическое включение (выборы) Рост нагрузки (социальная сеть) Периодическая нагрузка (рабочий инструмент) Пиковая нагрузка (промо-акция) Ресурсы Время Ресурсы Время Ресурсы Время Ресурсы Время


Слайд 8

Технологическая реализация облака Хранилище состояния Механизм очередей Хранилище данных Общая база данных Общая файловая система Балансировка нагрузки «Внешние» серверы (веб) «Внутренние» серверы (фон)


Слайд 9

Windows Azure


Слайд 10

Windows Azure Хранилище состояния Механизм очередей Хранилище данных Общая база данных Общая файловая система AppFabric Caching Queue Service Хранилище данных SQL Azure Table Service Blob Service


Слайд 11

Windows Azure Windows Azure Platform – окружение, управляющее облаком и набор сервисов (.NET, identity, storage). Набор виртуальных машин (web role, worker role) SQL Azure – распределенная реляционная база данных Table Service – не-реляционное хранилище сущностей (1 Мб, (255 – 3) свойства у каждой сущности) Blob Service – хранилище двоичных данных, может быть подключено как общий сетевой диск (1 Тб в page blob, 200 Гб в block blob) Queues – квази-транзакционная очередь (8Кб сообщение)


Слайд 12

Windows Azure AppFabric Service Bus - связь между распределенными приложениями на основе сообщений Access Control – управление доступом Distributed Caching – распределенный кэш в памяти Хранение состояния Кеширование данных Одинаковая модель программирования для приложений, размещаемых в облаке и частном дата-центре


Слайд 13

Требования к облачной архитектуре


Слайд 14

Требования к архитектуре в облаке Слабая связанность Автономные компоненты, общающиеся сообщениями Масштабируемость Независимое дублирование компонентов Отказоустойчивость Независимая работа компонентов Параллелизм Асинхронная обработка задач Сохранение целостности данных Валидация данных и сообщений


Слайд 15

Типовая сценарии использования облака Они же – возможный путь миграции существующего приложения в облако. Размещение данных в облаке Размещение фоновой обработки в облаке Размещение приложения в облаке


Слайд 16

Данные в облаке


Слайд 17

Данные в облаке Данные Приложение Хранилище данных Сервисный слой


Слайд 18

Проектирование: данные в облаке Разбиение данных Горизонтальное Вертикальное Требуемый эффект Уменьшение объемов данных Уменьшение количества транзакций Уменьшение стоимости эксплуатации хранилища Повышение эластичности в период пиковых нагрузок


Слайд 19

Горизонтальное разбиение Данные «размазаны» между несколькими нодами Возможно масштабирование Дешевые запросы внутри одной партиции Дорогие запросы между разными партициями


Слайд 20

Горизонтальное разбиение - Table Storage Партиции автоматически балансируются Нет необходимости разбивать на равномерные части «Горячие» активные партиции могут быть масштабируемы Windows Azure может выделить больше ресурсов более загруженным партициям Partition Key и Row Key = уникальный ID PartitionKey должен быть указан для Create, Update, Delete Выборки между партициями выполняются последовательно Данные могут быть возвращены несколькими страницами (continuation tokens)


Слайд 21

Горизонтальное разбиение – SQL Azure Партиции – разные базы данных в SQL Azure Необходимо для объемов данных более > 50GB Большая транзакционная нагрузка (возможны сбои) Логика разбиения полностью на разработчике Нет автоматической балансировки партиций Необходимо равномерно распрелелять нагрузку Размер партиции не играет роли, важна нагрузка Партиции стоят денег Оптимизация расходов за счет создания дополнительных партиций под высокую нагрузку и удаление после заверешия высокой нагрузки


Слайд 22

Вертикальное разбиение Распределение данных между хранилищами Часто используемые данные хранятся в «дорогом» индексированном хранилище Большие объемы данных в «дешевом» бинарном хранилище Получение всей строки требует более одного запроса


Слайд 23

Цели вертикального разбиения Баланс производительности и стоимости SQL Azure Индексируемое Нет платы за транзакцию Фиксированная плата за объем хранилища Windows Azure Storage Ограниченные возможности индексирования Оплата за запрос Плата зависит от объемов передаваемых данных


Слайд 24

Пример вертикального разбиения Данные с возможностью поиска в Table Storage или SQL Azure Индексация (SQL Azure) Нет оплаты за запрос (SQL Azure) Ниже расходы на объем хранилища (Windows Azure Table Storage) Небольшие изображения в Table Storage Двоичное содержимое менее 64кб Групповые выборки позволяют экономить на транзакциях Полные изображения в Blob Storage Большие объемы данных Есть возможность отдавать изображения напрямую по HTTP и CDN


Слайд 25

Гибридное разбиение


Слайд 26

Фоновая обработка в облаке


Слайд 27

Фоновая обработка в облаке Данные Приложение Worker Role Очередь Хранилище данных Сервисный слой Сервисный слой


Слайд 28

Асинхронная обработка в облаке Приложение Обработчики Очередь Задача 1 Задача 2 Задача 3 Задача N


Слайд 29

Проектирование: очереди в облаке Основные проблемы обработки в очереди Повторная обработка сообщения Многократные попытки обработать сообщения, вызывающие сбои обработки Простой ресурсов обработчиков сообщений Большие объемы данных, подлежащих обработке


Слайд 30

Повторная обработка сообщений Проблема: сообщение обработано Worker, результат записан, однако Worker не удалил сообщение из очереди. Решение: ведение лога со статусом обработки сообщений. Уникальный идентификатор транзакции Запись результата в рамках одной транзакции с обновлением лога обработки сообщения. В SQL Azure – транзакции уровня базы данных В Table Storage - Entity Group Transaction в рамках одной партиции


Слайд 31

Сообщение, вызывающее ошибки Проблема: сообщение вызывает сбой при обработке, «выбивая» по очереди Worker из пула. Решение: проверка значения счетчика количества попыток обработать сообщение (DequeueCount) и установка лимитов на количество попыток. Проверка DequeueCount должна быть первой операцией! «Проблемные сообщения» можно записывать в отдельную очередь или лог для последующего анализа. В случае, если «проблемное сообщение» может быть исправлено, его можно вернуть в основную очередь (например, снова доступны необходимые ресурсы).


Слайд 32

Простой ресурсов обработчиков сообщений Проблема: есть несколько типов обработчиков сообщений, часть из которых не загружена на 100%. Решение: использование общей очереди сообщений для разных типов задач с указанием типа задачи в самом сообщении. Динамическая загрузка сборки под каждую конкретную задачу. Загрузки сборки в новый AppDomain, чтобы не нарушать работу всего Worker в случае сбоя обработки. Новые типы задач можно добавлять загружая новые сборки в Blob Storage, соответственно при изменении кода одной сборки не нужно обновлять все решение.


Слайд 33

Большие объемы данных Проблема: задача требует обработки слишком большого объема данных. Решение: разбиение всего объема данных на части. Паттерн MapReduce Разбиение на части с уникальными идентификаторами Финальная стадия – объединение результатов обработки. В этом случае обработка происходит асинхронно, то есть подходит только для тех задач, которые могут быть разбиты на независимые компоненты.


Слайд 34

Приложение в облаке


Слайд 35

Приложение в облаке Данные Web Role Worker Role Очередь Хранилище данных Сервисный слой


Слайд 36

Проектирование: приложение в облаке Карусельная диспечеризация запросов Не гарантируется, что последовательные запросы приходят одной машине Каждый элемент страницы может быть получен из разных источников (включая Ajax обновления) У всех Web Roles должен быть один Machine Key для хеширования View State Обеспечивается Windows Azure Fabric Мульти-тенантность


Слайд 37

Общее владение состоянием AppFabric Caching Microsoft.Web.DistributedCache SQL Azure Два обращения в базу (чтение и запись) на каждый запрос Постоянное хранилище, нет оплаты за запрос Table Storage Требуется написание соответствующего провайдера Требуется оплата за транзакции Cookies Избыточная нагрузка (на каждый запрос отправляется cookie, к статическим ресурсам в том числе)


Слайд 38

Мульти-тенантность Проблема: несколько клиентов используют один сервис, требуется обеспечить разные базы данных. Решение: привязка базы данных к DNS имени. Вариант 1: набор А-записей Вариант 2: CNAME для *.domain


Слайд 39

Загрузка файлов в ASP.NET Проблема: ASP.NET буферизует загружаемые файлы во временную директорию, в Windows Azure для веб-роли доступно не более 100 Мб локального хранилища. Решение: создать собственный механизм загрузки. Вариант 1: IHttpHandler для буферизации загружаемого файла в Storage или на подключенный диск Вариант 2: загружать непосредственно в Blob Storage со стороны клиента (например, используя контрол на Silverlight)


Слайд 40

Заключение – требования к архитектуре Слабая связанность Автономные компоненты, общающиеся сообщениями Масштабируемость Независимое дублирование компонентов Отказоустойчивость Независимая работа компонентов Параллелизм Асинхронная обработка задач Сохранение целостности данных Валидация данных и сообщений


Слайд 41

Полезные ссылки Документация по Windows Azure http://msdn.microsoft.com/en-us/library/windowsazure/ Azure Design Patterns http://azuredesignpatterns.com/ Пример архитектуры для Azure http://cloudsample.codeplex.com/


Слайд 42

Обратная связь Уважаемые участники! Ваше мнение очень важно для нас! В блокноте, который находится в инфопаке участника, вы найдете анкету для оценки докладов Пожалуйста, оцените доклад и сдайте анкету при выходе из зала модератору Для участия в конкурсе заполненных анкет, отметьте в анкете номер, который указан на вашем бейдже Спасибо!


Слайд 43

Вопросы ARC208 Гайдар Магдануров Руководитель направления веб-технологий gaidarma@microsoft.com www.radiag.ru Вы сможете задать вопросы докладчику в зоне Microsoft в зале №17 в течение часа после завершения этой сессии


Слайд 44


×

HTML:





Ссылка: