'

Проектирование современных решений охлаждения ЦОД.

Понравилась презентация – покажи это...





Слайд 0

Проектирование современных решений охлаждения ЦОД. Михаил Балкаров Системный Инженер APC by Schneider Electric


Слайд 1

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Заключение: выводы и рекомендации


Слайд 2

Динамика роста тепловой плотности ИТ-продуктах (прогноз 1999г.)


Слайд 3

Динамика роста тепловой плотности в ИТ-продуктах (прогноз 2005г.)


Слайд 4

Реалии сегодняшнего дня 10...12 кВт для 1-2 RU серверов (“pizza”) 15…20 кВт для blade-серверов


Слайд 5

HPC (High Performance Computing) Полигон «Formula 1» для многих технологий Наиболее «горячие» серверы


Слайд 6

Энергопотребление 1 PFlop/s компьютера www.top500.org Энергопотребление компьютера с производительностью 1 Pflop/s = 2.5 … 15 MВт Энергопотребление 19” стойки с серверами CRAY XT5 (#2): 32…43 кВт SGI Pleiades (#4): 21 кВт T60 (#82): 33 кВт


Слайд 7

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 70 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации


Слайд 8

Проект Т-500 Заказчик: МГУ им. М.В.Ломоносова Генеральный контрактор: Т-Платформы Расчетная производительность 500 ТФлоп/с Энергопотребление вычислителя: до 2.4 МВт, общее потребление площадки около 4 МВт Горячие серверные стойки 65...70 кВт (!!), конфигурация рассчитана на теплосъем до 75 кВт со стойки


Слайд 9


Слайд 10

(фото с площадки)


Слайд 11


Слайд 12

T-500: энергетика 60 стоек с нагрузкой, 40 внутрирядных кондиционеров Средняя нагрузка ~40 кВт/стойку с активным оборудованием В каждом «островке» 8 горячих стоек, по 62...65 кВт тепловыделения


Слайд 13

T-500 APC InRow RC, 600mm, Chilled Water, 380-415V, 50Hz Штатная производительность по холоду 37 кВт 37кВт х 10 = 370кВт Тепловыделение одного «островка» = 540...620 кВт В чем же фокус?...


Слайд 14

Программа Обзор текущего положения дел с энергопотреблением. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для суперкомпьютерных приложений. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации


Слайд 15

Контейнеризация горячего коридора


Слайд 16

Контейнеризация холодного коридора


Слайд 17

Горячий коридор Производительность кондиционера ~ ?T = 35?C


Слайд 18

Холодный коридор Производительность кондиционера ~ ?T = 20…25?C


Слайд 19

Холодный или горячий? Выигрыш в производительности кондиционера в 1.5 раза (в данном примере; выигрыш может быть существеннее) Пример: APC InRow CW ACRC501: 44 кВт при ?T = 22?C; 11 кондиционеров для 500 кВт тепла 71 кВт при ?T = 35?C; 7 кондиционеров для 500 кВт тепла В 1.5 раза меньше кондиционеров для отвода того же количества тепла Экономия площади, денег, энергопотребления


Слайд 20

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации


Слайд 21

Ограничения фреоновых систем охлаждения Ограничение по температуре входного воздуха: не выше 30?С, со склонностью к «эффекту домино». Требование к избытку воздуха, с ростом потребления вентиляторов Реализация бесперебойного охлаждения В данном проекте дополнительная мощность на выходе ИБП для реализации непрерывного охлаждения составила 120 кВт (кондиционеры, циркуляционные насосы), или 5% от мощности нагрузки Реализация непрерывного охлаждения с фреоновыми кондиционерами потребовала бы ~1.6 МВт дополнительной мощности ИБП для поддержки ВСЕЙ системы кондиционирования


Слайд 22

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации


Слайд 23

Фальшпол Большое перемешивание Следовательно вынужденное занижение выходной температуры и завышение объема воздуха Следовательно низкая эффективность кондиционера и высокое потребление вентиляторов Неравномерность подачи


Слайд 24

Фальшпол + контейнеризация Высокое сопротивление систем трубопроводов Следовательно вынужденное завышение давления подачи воздуха Следовательно высокое потребление вентиляторов Неравномерность подачи


Слайд 25

Серверы с прямым водяным охлаждением 75 кВт на стойку => при ?Т сервера = 20?С => скорость воздуха 2.4 м/с на входе стойки IBM, Supermicro, Sun Microsystems, ... выводят на рынок серверы с прямым водяным охлаждением


Слайд 26

IBM Aquasar (BladeCenter with water cooling) 2009


Слайд 27


Слайд 28

IBM Bluefire 2008


Слайд 29


Слайд 30

Скиф-Аврора (Скиф ряд 4) ИПС РАН, 2009


Слайд 31


Слайд 32


Слайд 33

Прямое водяное охлаждение серверов На ближайшие ~10 лет – ТОЛЬКО для HPC (высокопроизводительные вычисления) Почему? Представьте себе установку 1 (одного) нового сервера с водяным охлаждением в существующей серверной... Представьте себе сервер(ы) с водяным охлаждением в hosting/co-lo ЦОДе... Доказано: 40 и даже 60 кВт/стойку снимаются воздухом


Слайд 34

Выводы и рекомендации Глобальное потепление продолжается 10...15...20 кВт/стойку, далее?.. In-row (внутрирядное) кондиционирование доказало свою применимость для решения широкого круга задач Герметизация горячего коридора, кондиционеры на чиллерной воде – составляющие рецепта Самое важное: использованы ИСКЛЮЧИТЕЛЬНО серийные компоненты без какой-либо доработки


Слайд 35

Сервера с прямым водяным охлаждением Применимость в обозримом будущем – лишь HPC-приложения


Слайд 36

Текущая отметка 65 кВт/стойку, среднее тепловыделение 40 кВт/стойку Что дальше?


×

HTML:





Ссылка: