В уже уходящем 2012 году социальная сеть Facebook преодолела важный психологический рубеж, достигнув 1 миллиарда активных пользователей, при этом среднее количество просмотров страниц этой социальной сети превысило не менее фантастическое число – 1 триллион в месяц. Несомненно, для компании такого масштаба просто жизненно необходимо иметь собственный дата-центр – первым из которых для Facebook и стал центр обработки данных (ЦОД) в штате Орегон.
В процессе стремительного роста пользовательской базы количество подобных центров постепенно было увеличено компанией до четырех. На данный момент ЦОДы этой социальной сети объединены в один гигантский распределенный кластер, который не только балансирует нагрузку между всеми узлами, но и выполняет функции ускорения доставки контента пользователям из различных географических регионов.
Я предлагаю совершить виртуальное путешествие в центральный дата центр Facebook в штате Орегон, под катом подробности его устройства и множество фотографий (трафик!).
Следует сразу отметить, что, несмотря на впечатляющий рост собственных вычислительных мощностей, Facebook пока не видит возможным отказаться от аренды мощностей сторонних ЦОДов. До сих пор компания достаточно сильно зависит от внешних мощностей, предоставляемых частными дата-центрами в Силиконовой долине и Северной Вирджинии (в частности, это такие крупные операторы, как Digital Realty и DuPont Fabros).
Отчасти это связано с бешеным ростом внутреннего трафика в рамках упомянутого выше кластера: в среднем он удваивается каждые 7 месяцев, кроме того, он демонстрирует дальнейшую тенденцию к росту:
Внешний трафик тоже нарастает, но не такими стремительными темпами
Возможно, причина столь сильной диспропорции в логической схеме организации ЦОДов, где скрывается первое отличие, характерное именно для Facebook, – сильная ролевая централизованность и несимметричность такого кластера.
Только один дата-центр из четырех выполняет роль центрального, принимая на себя ”всю запись” и обрабатывая значительный поток входящих данных, тогда как три других “отгружают” пользователям уже готовый или изначально статичный контент. Фактически, они выступают в роли собственной CDN, попутно выполняя роль резервирования всей транзитной информации.
Вторая интересная особенность заключена в том, что весь кластер сосредоточен исключительно на территории США, в уже упомянутых собственных 4 дата-центрах на территории штатов Калифорния, Вирджиния, Орегон и Северная Каролина.
Только относительно недавно Facebook приняла кардинальное решение начать свою экспансию за пределы Америки путем построения собственных ЦОД в Европе, тогда как до недавних пор ограничивалась лишь арендой чужих вычислительных площадей в этом крупном регионе. Сигналом к началу подобных серьёзных “внешних инвестиций” послужила статистика пользователей этой социальной сети – впервые, начиная с 2010 года, количество пользователей за пределами США превысило их количество на территории Америки. Как выразился в связи с этим высокопоставленный топ-менеджер Facebook Том Ферлонг – «Настало время расширяться в Европу».
И вот ровно год назад в Швеции был запущен новый дата-центр Facebook, который открылся на самом севере этой страны – в городе Лулео. Удачное географическое место позволит восемь месяцев в году охлаждать этот северный ЦОД исключительно за счет наружного воздуха, что делает его дешевле в обслуживании в среднем на 40% по сравнению с аналогичным дата-центром в США. Немаловажным фактором для инвестиций Facebook также стало то, что для строительства своего дата-центра американская компания получила субсидии от Евросоюза в размере 10 миллионов фунтов, кроме того, именно здесь были предложены наименьшие цены на электричество среди всей Европы.
Вторым вектором внешней экспансии Facebook выбран Тайвань, где идёт подготовка к строительству новейшего дата-центра, который, как планируется, станет крупнейшим в Азии. Чтобы оценить масштабы подготавливаемой стройки и заодно подчеркнуть приоритетность азиатского направления для Facebook, добавлю, что площадь будущей серверной станции составит площадь эквивалентную по размерам 180 баскетбольным площадкам.
Внимание к деталям
Да, подобные дата-центры огромны по площади, здесь просто так не возьмешь запасной блок сервера и не принесёшь его к месту назначения. В случае с Facebook используются собственные специализированные электрокары для перевозки по территории ЦОД сервисной аппаратуры или запасных компонентов.
Впрочем, не везде по этой обширной территории можно передвигаться свободно.
В специальных “закрытых зонах” установлены сервера, выделенные для обслуживания финансовых транзакций и чувствительных операций с личными данными. Сюда доступ закрыт большинству персонала, такие зоны находятся за решеткой и под круглосуточным видео-мониторингом, все выполняемые операции над такими серверами журналируются независимыми внешними системами.
Огромное внимание уделяется также и мелочам. К примеру, при доставке оборудования в свой самый северный городок Лулео из-за низкой внешней температуры и большой влажности резкий перепад температур при загрузке из теплых складов приводит к конденсации, что может негативно сказаться на электронике. В связи с этим обеспечивается специальный температурный режим при доставке оборудования, а также цикл его сушки при разгрузке.
Специальная термическая сушильная камера для электроники
Есть и свой собственный цех утилизации вышедших из строя винчестеров, которых за месяц, кстати, накапливается более 1000 штук.
Самое узкое место: электроснабжение
Чтобы осознать масштаб проблемы, давайте начнем с цифр и сравнений. Далеко не самый крупный дата-центр Facebook в Орегоне (округ Крук) сейчас потребляет мощность эквивалентную 40 мегаваттам. Для сравнения всё население и промышленность округа Круг все вместе потребляют в час пик около 30 мегаватт.
Если же говорить о суммарной потребляемой мощности всех 4 американских дата-центров этой ведущей мировой социальной сети, то это будет примерно 900 миллионов киловатт-часов в год, что составляет примерно одну четвертую от генерируемых мощностей одной из крупнейших американских и мировых гидроэлектростанций – Плотины Гувера (кстати говоря, эта дамба официально признана самым массивным искусственным сооружением, возведенным за всю историю современной цивилизации).
Здесь есть множество необычных решений, назовем некоторые из них. Во-первых, сервера Facebook содержат адаптированные блоки питания (производство американской компании Power One), которые позволяют работать на нестандартных 277-300 вольтах, взамен более традиционных 210-220 вольт.
Дело в том, что питание подаётся в здание ЦОД сразу с промышленно-транспортным напряжением примерно в 300 вольт, и подобные блоки питания позволяют избежать необходимость промежуточного понижения напряжения и создания традиционного блока распределенного питания. За счет исключения не нужных нескольких трансформаторных станций удается сократить потери энергии на пути от электрической подстанции к серверной ферме со стандартных 11-17 процентов до 2 процентов.
Вторая особенность – это повальное использование архитектуры и спецификаций Open Compute Project (OCP) при развертывании своих серверов и сетевых систем. Напомним, что инициатором создания Open Compute Project является сама Facebook, и главная цель этого открытого проекта — это разработка и документирование общепризнанных спецификаций при проектировании высоконагруженных аппаратных систем, где фиксируются наиболее интересные находки с точки зрения производительности, масштабирования, стоимости и особенно требований в области экологии и потребления электроэнергии.
Подобная открытость является беспрецедентной для такого крупного интернет-бизнеса как Facebook, поскольку компания отвечает за безопасность сотен миллионов своих пользователей по всему миру. Для сравнения Microsoft запрещает даже фотографировать в своих дата-центрах, не то, что публиковать подробные детали устройства своего оборудования. В частности Орех Compute Project агрессивно продвигает столь любимый в Facebook форм-фактор – 21-дюймовые серверные слоты и стандарт Open Rack вместо традиционного 19-дюймового аналога.
Такая стойка в “упакованном состоянии” и в полном сборе выглядит вот так:
Cервера Facebook разработаны изначально так, чтобы упростить к ним доступ, для чего используются клипы и плунжерные крепления вместо традиционных винтов. Кроме того, серверы по спецификации Open Compute Project установлены не на базе стеллажей, а на базе полок, таким образом они могут как вдвигаться, так и выдвигаться.
В качестве третьей особенности я бы выделил очень высокую эффективность (КПД) энергообеспечения, которой Facebook справедливо гордится, а также приверженность компании к экологически чистым источникам питания. Впрочем, будем откровенны: несмотря на повсеместно расставленные солнечные панели и ветряки на территории дата-центра, конечно, их вклад в необходимую для работы ЦОДа электроэнергию – мизерный.
Насколько я понимаю, это больше имиджевый шаг, сделанный после долгого преследования экологами конкретно Facebook за так называемый ”углеводородный след” – неизбежную плату любых крупных энергетических комплексов. Впрочем, известный писатель Брюс Стерлинг уже давно емко описал этот негативный эффект от масштабной вычислительной деятельности человечества: «Всякий раз, когда мы нажимает на кнопку Enter, нам следовало бы представлять облачко дыма, поднимающееся над монитором».
Давайте сосредоточимся на заявленных достижениях Facebook, тем более они у него действительно впечатляют. И здесь главный параметр – PUE (Power usage effectiveness) – стандартный показатель энергоэффективности для дата-центра. В общем виде он определяется как соотношение общей суммы потребляемой электроэнергии к объему электроэнергии, расходуемой в чистом виде исключительно на саму сетевую инфраструктуру (чем ниже значение, тем лучше, соответственно PUE=1,0 является минимально возможным). В дата-центрах компании Facebook этот показатель колеблется в диапазоне от 1,05 до 1,18.
Даже освещение в ЦОД полностью реализовано на основе LED-технологий:
Экономия здесь проявляется в каждой мелочи, вот, например, достаточно массивные кулеры, которые монтируются вместо штатных заводских поменьше:
Подбор наиболее оптимального форм-фактора кулеров был осуществлен путем тестирования типичных режимов работы серверов на специальной воздушной машине:
Чтобы лучше оценить итоговые результаты с PUE я приведу такой пример: агентство по охране окружающей среды США в качестве эталонного жесткого ориентира рекомендует всем крупным потребителям электричества укладываться в пределы 1,5, тогда как среднее мировое значение PUE у ведущих мировых дата-центров колеблется между 2.0-2.3. Как видим Facebook смог наладить электропотребление близкое к идеальному по своей эффективности.
Другой важный показатель – WUE (эффективности использования водных ресурсов) у компании составляет 0,22 л/кВт*ч, что также чрезвычайно хороший показатель. Завершу череду этих цифр говорящим фактом: Facebook единственная компания-владелец крупных дата-центров, которая регулярно (раз в полгода) по собственной инициативе публикует свои текущие параметры PUE и WUE, другие же известные компании по каким-то причинам скрывают эти значения от широкой публики.
Я не зря привел параметр WUE, который напрямик характеризует эффективность систем охлаждения, так как Facebook в своих дата-центрах использует относительно распространенную систему испарительного охлаждения. Её главные плюсы, что она не имеет никаких механических охлаждающих устройств, требующих дополнительного электричества, при этом она потребляет небольшое количество воды.
Элемент системы охлаждения – распыление дистиллированной воды
Выше показана камера очистки и охлаждения воздуха, обратите внимание на специальные фильтры воздуха слева, они показаны ниже более крупно:
Верхняя крышка серверной стойки, как видно на фотографии внизу, – идеально чистая, – после тщательной очистки всего входящего воздуха среда здесь практически стерильная, так что пыль можно не протирать.
С обратной стороны цикла отработанный нагретый воздух собирается под крышей.
Воздухоотвод на крыше дата-центра – здесь всегда очень жарко
Вместо подробного описания уже стандартных систем охлаждения, я предлагаю сосредоточиться на ближайшем будущем, ведь это так интересно – заглянуть в завтра.
Главное слабое место традиционных схем охлаждения – их большая собственная энергоемкость. В связи с этим большое внимание сейчас приковано к альтернативным системам охлаждения, одним из лидеров которых является небезызвестная Intel, которая уже производит пока экспериментальные, но уже вполне рабочие образцы на основе минеральных (нефтяных) масел. При таком подходе серверное оборудование буквально “с головой” погружается в стойки-бассейны, наполненные специальным маслом. При этом само оборудование для столь экстремального купания требует минимальной доработки, существенная часть которой сводится к изоляции жестких дисков и герметизация сокетов процессора. Оборудование такой ванны обеспечивает непрерывную циркуляцию минерального масла в емкости по принципу аналогичному обдуву в воздушных системах, за единственным и существенным исключением: теплоемкость такого масла примерно в 1300 раз выше, чем у воздуха.
Как известно, минеральное или силиконовое масло являются почти идеальными жидкими диэлектриками, а значит, возможность короткого замыкания в системе исключена (такие системы даже безопаснее, чем традиционно размещенные в воздухе). Использование различных добавок позволяет динамически изменять свойства такой среды, увеличивая теплоотдачу, или наоборот – уменьшая её.
Несмотря на некоторую экзотичность подобного охлаждения и кажущиеся сложности, Intel совместно со стартапом Green Revolution Cooling уже завершили испытания подобной системы и сейчас совместно налаживают её промышленное производство. Очень многие дата-центры мира уже высказали заинтересованность в использовании подобных систем охлаждения, среди них – Facebook. Ведь при сравнительной дешевизне они резко поднимают эффективность охлаждения.
Увидеть в динамике эту экспериментальную установку можно на этом интересном видео:
Впрочем, пока масляные системы охлаждения только-только начинают делать свои первые шаги в промышленном секторе, подобное охлаждение уже давно используется военными в особо мощных радарных установках, для которых требуется непрерывное сильное охлаждение, где уже зарекомендовало себя как замечательное средство.
Виртуализация
Второе общепризнанное направление борьбы за снижение потребления электроэнергии – это грамотное применение виртуализации. Стоит отметить, что виртуализация физических серверов – это не только внутренняя специфика Facebook, это мировой тренд развития среди ведущих мировых дата-центров. Кроме снижения потребления энергии, второй плюс такого подхода – это больший процент утилизации вычислительных мощностей оборудования, достигающий идеальных 90-100% от доступных мощностей.
В деле виртуализации применяются и последние сетевые решения, в частности в Facebook очень хорошо себя зарекомендовал новейший серверный адаптер от Intel 10 Gigabit Ethernet Server Adapter X520, позволяющий пропускать весь трафик ЦОД по общему кабелю, что в том числе даёт удобную возможность создавать виртуализированные мини дата-центры путём соединения большого количества сетевых хранилищ в единую сеть стандарта 10 GbE (поддержка технологии Open FCoE).
Провода здесь везде – и под полом (энергокабели), и под потолком (коммуникационно-сетевые)
В качестве самого яркого примера этого тренда можно привести British Telecom, которая в течение двух лет совершила миграцию на полностью виртуальную серверную инфраструктуру, при этом компания смогла избавиться от более чем 75 тонн оборудования, освободив при этом полезную площадь размером эквивалентную футбольному полю. В данном случае более 3500 обычных серверов были равнозначно заменены виртуальными машинами, физически размещенными на 200 серверах. Это позволило добиться уже на следующий год 40%-ой экономии энергопотребления и 30%-ой экономии операционных расходов, при этом создана современная и очень гибкая среда для дальнейшего роста дата-центра. Впрочем, конкретно у Facebook виртуализация используется не так активно в силу масштабов и узкой специфики своих задач, как это делают более традиционные дата-центры.
Резервирование данных
Также хочется остановиться на необычном подходе к резервированию данных. В полностью отдельном здании, напротив дата-центра в штате Орегон, построен мини дата-центр, полностью специализирующийся на резервировании и хранении бэкапов. Этот проект назван Sub-Zero (это неофициальное название, так как на территории США это торговая марка стороннего производителя) и, по мнению Facebook, представляет из себя наиболее оптимальную систему аварийного резервирования данных в мире.
Главная суть проекта сводится к использованию внешне укрепленных стен ангара. Специальным электростатическим покрытием это хранилище полностью изолировано от внешней среды, и в нем будут храниться исключительно накопительные устройства, которые отличаются небольшой мощностью потребления. Эти устройства подключаются к сети лишь на короткое время и только в момент синхронизации с ними данных, при этом питание осуществляется полностью от автономных электросистем. Все остальное время накопители остаются обесточенными и защищенными в специальных пыленепроницаемых и ударопрочных контейнерах, которые хранятся при пониженной температуре, обеспечивающей максимальный срок хранения для магнитных носителей.
Каждый цикл включения/выключения таких устройств сопровождается расчетом и сверкой текущей и последней сохраненных контрольных сумм, что гарантирует целостность хранимых данных на них. Все данные наблюдений о здоровье и наполненности всего массива устройств централизованно собирается в одной базе данных проекта Sub-Zero. Такой подход не только делает хранение “долгих данных” в таких условиях более безопасным, но также существенно снижает расход электроэнергии по сравнению с обычными серверами.
В заключение хочется сказать, что благодаря целому ряду ярких нововведений в области создания сверхэффективных дата-центров, частично перечисленных в этой статье, компания Facebook в этом году стала обладателем почетной награды Green Enterprise IT Awards, которая выбирает раз в год единственного мирового ИТ-лидера проводящего политику наиболее жесткого соблюдения экологических стандартов.
В уже уходящем 2012 году социальная сеть Facebook преодолела важный психологический рубеж, достигнув 1 миллиарда активных пользователей, при этом среднее количество просмотров страниц этой социальной сети превысило не менее фантастическое число – 1 триллион в месяц. Несомненно, для компании такого масштаба просто жизненно необходимо иметь собственный дата-центр – первым из которых для Facebook и стал центр обработки данных (ЦОД) в штате Орегон.
В процессе стремительного роста пользовательской базы количество подобных центров постепенно было увеличено компанией до четырех. На данный момент ЦОДы этой социальной сети объединены в один гигантский распределенный кластер, который не только балансирует нагрузку между всеми узлами, но и выполняет функции ускорения доставки контента пользователям из различных географических регионов.
Я предлагаю совершить виртуальное путешествие в центральный дата центр Facebook в штате Орегон, под катом подробности его устройства и множество фотографий (трафик!).
Внешний трафик тоже нарастает, но не такими стремительными темпами
Возможно, причина столь сильной диспропорции в логической схеме организации ЦОДов, где скрывается первое отличие, характерное именно для Facebook, – сильная ролевая централизованность и несимметричность такого кластера.
Только один дата-центр из четырех выполняет роль центрального, принимая на себя ”всю запись” и обрабатывая значительный поток входящих данных, тогда как три других “отгружают” пользователям уже готовый или изначально статичный контент. Фактически, они выступают в роли собственной CDN, попутно выполняя роль резервирования всей транзитной информации.
Вторая интересная особенность заключена в том, что весь кластер сосредоточен исключительно на территории США, в уже упомянутых собственных 4 дата-центрах на территории штатов Калифорния, Вирджиния, Орегон и Северная Каролина.
Только относительно недавно Facebook приняла кардинальное решение начать свою экспансию за пределы Америки путем построения собственных ЦОД в Европе, тогда как до недавних пор ограничивалась лишь арендой чужих вычислительных площадей в этом крупном регионе. Сигналом к началу подобных серьёзных “внешних инвестиций” послужила статистика пользователей этой социальной сети – впервые, начиная с 2010 года, количество пользователей за пределами США превысило их количество на территории Америки. Как выразился в связи с этим высокопоставленный топ-менеджер Facebook Том Ферлонг – «Настало время расширяться в Европу».
И вот ровно год назад в Швеции был запущен новый дата-центр Facebook, который открылся на самом севере этой страны – в городе Лулео. Удачное географическое место позволит восемь месяцев в году охлаждать этот северный ЦОД исключительно за счет наружного воздуха, что делает его дешевле в обслуживании в среднем на 40% по сравнению с аналогичным дата-центром в США. Немаловажным фактором для инвестиций Facebook также стало то, что для строительства своего дата-центра американская компания получила субсидии от Евросоюза в размере 10 миллионов фунтов, кроме того, именно здесь были предложены наименьшие цены на электричество среди всей Европы.
Вторым вектором внешней экспансии Facebook выбран Тайвань, где идёт подготовка к строительству новейшего дата-центра, который, как планируется, станет крупнейшим в Азии. Чтобы оценить масштабы подготавливаемой стройки и заодно подчеркнуть приоритетность азиатского направления для Facebook, добавлю, что площадь будущей серверной станции составит площадь эквивалентную по размерам 180 баскетбольным площадкам.
Впрочем, не везде по этой обширной территории можно передвигаться свободно.
В специальных “закрытых зонах” установлены сервера, выделенные для обслуживания финансовых транзакций и чувствительных операций с личными данными. Сюда доступ закрыт большинству персонала, такие зоны находятся за решеткой и под круглосуточным видео-мониторингом, все выполняемые операции над такими серверами журналируются независимыми внешними системами.
Огромное внимание уделяется также и мелочам. К примеру, при доставке оборудования в свой самый северный городок Лулео из-за низкой внешней температуры и большой влажности резкий перепад температур при загрузке из теплых складов приводит к конденсации, что может негативно сказаться на электронике. В связи с этим обеспечивается специальный температурный режим при доставке оборудования, а также цикл его сушки при разгрузке.
Специальная термическая сушильная камера для электроники
Есть и свой собственный цех утилизации вышедших из строя винчестеров, которых за месяц, кстати, накапливается более 1000 штук.
Здесь есть множество необычных решений, назовем некоторые из них. Во-первых, сервера Facebook содержат адаптированные блоки питания (производство американской компании Power One), которые позволяют работать на нестандартных 277-300 вольтах, взамен более традиционных 210-220 вольт.
Дело в том, что питание подаётся в здание ЦОД сразу с промышленно-транспортным напряжением примерно в 300 вольт, и подобные блоки питания позволяют избежать необходимость промежуточного понижения напряжения и создания традиционного блока распределенного питания. За счет исключения не нужных нескольких трансформаторных станций удается сократить потери энергии на пути от электрической подстанции к серверной ферме со стандартных 11-17 процентов до 2 процентов.
Вторая особенность – это повальное использование архитектуры и спецификаций Open Compute Project (OCP) при развертывании своих серверов и сетевых систем. Напомним, что инициатором создания Open Compute Project является сама Facebook, и главная цель этого открытого проекта — это разработка и документирование общепризнанных спецификаций при проектировании высоконагруженных аппаратных систем, где фиксируются наиболее интересные находки с точки зрения производительности, масштабирования, стоимости и особенно требований в области экологии и потребления электроэнергии.
Подобная открытость является беспрецедентной для такого крупного интернет-бизнеса как Facebook, поскольку компания отвечает за безопасность сотен миллионов своих пользователей по всему миру. Для сравнения Microsoft запрещает даже фотографировать в своих дата-центрах, не то, что публиковать подробные детали устройства своего оборудования. В частности Орех Compute Project агрессивно продвигает столь любимый в Facebook форм-фактор – 21-дюймовые серверные слоты и стандарт Open Rack вместо традиционного 19-дюймового аналога.
Такая стойка в “упакованном состоянии” и в полном сборе выглядит вот так:
Cервера Facebook разработаны изначально так, чтобы упростить к ним доступ, для чего используются клипы и плунжерные крепления вместо традиционных винтов. Кроме того, серверы по спецификации Open Compute Project установлены не на базе стеллажей, а на базе полок, таким образом они могут как вдвигаться, так и выдвигаться.
В качестве третьей особенности я бы выделил очень высокую эффективность (КПД) энергообеспечения, которой Facebook справедливо гордится, а также приверженность компании к экологически чистым источникам питания. Впрочем, будем откровенны: несмотря на повсеместно расставленные солнечные панели и ветряки на территории дата-центра, конечно, их вклад в необходимую для работы ЦОДа электроэнергию – мизерный.
Насколько я понимаю, это больше имиджевый шаг, сделанный после долгого преследования экологами конкретно Facebook за так называемый ”углеводородный след” – неизбежную плату любых крупных энергетических комплексов. Впрочем, известный писатель Брюс Стерлинг уже давно емко описал этот негативный эффект от масштабной вычислительной деятельности человечества: «Всякий раз, когда мы нажимает на кнопку Enter, нам следовало бы представлять облачко дыма, поднимающееся над монитором».
Давайте сосредоточимся на заявленных достижениях Facebook, тем более они у него действительно впечатляют. И здесь главный параметр – PUE (Power usage effectiveness) – стандартный показатель энергоэффективности для дата-центра. В общем виде он определяется как соотношение общей суммы потребляемой электроэнергии к объему электроэнергии, расходуемой в чистом виде исключительно на саму сетевую инфраструктуру (чем ниже значение, тем лучше, соответственно PUE=1,0 является минимально возможным). В дата-центрах компании Facebook этот показатель колеблется в диапазоне от 1,05 до 1,18.
Даже освещение в ЦОД полностью реализовано на основе LED-технологий:
Экономия здесь проявляется в каждой мелочи, вот, например, достаточно массивные кулеры, которые монтируются вместо штатных заводских поменьше:
Подбор наиболее оптимального форм-фактора кулеров был осуществлен путем тестирования типичных режимов работы серверов на специальной воздушной машине:
Чтобы лучше оценить итоговые результаты с PUE я приведу такой пример: агентство по охране окружающей среды США в качестве эталонного жесткого ориентира рекомендует всем крупным потребителям электричества укладываться в пределы 1,5, тогда как среднее мировое значение PUE у ведущих мировых дата-центров колеблется между 2.0-2.3. Как видим Facebook смог наладить электропотребление близкое к идеальному по своей эффективности.
Другой важный показатель – WUE (эффективности использования водных ресурсов) у компании составляет 0,22 л/кВт*ч, что также чрезвычайно хороший показатель. Завершу череду этих цифр говорящим фактом: Facebook единственная компания-владелец крупных дата-центров, которая регулярно (раз в полгода) по собственной инициативе публикует свои текущие параметры PUE и WUE, другие же известные компании по каким-то причинам скрывают эти значения от широкой публики.
Я не зря привел параметр WUE, который напрямик характеризует эффективность систем охлаждения, так как Facebook в своих дата-центрах использует относительно распространенную систему испарительного охлаждения. Её главные плюсы, что она не имеет никаких механических охлаждающих устройств, требующих дополнительного электричества, при этом она потребляет небольшое количество воды.
Элемент системы охлаждения – распыление дистиллированной воды
Выше показана камера очистки и охлаждения воздуха, обратите внимание на специальные фильтры воздуха слева, они показаны ниже более крупно:
Верхняя крышка серверной стойки, как видно на фотографии внизу, – идеально чистая, – после тщательной очистки всего входящего воздуха среда здесь практически стерильная, так что пыль можно не протирать.
С обратной стороны цикла отработанный нагретый воздух собирается под крышей.
Воздухоотвод на крыше дата-центра – здесь всегда очень жарко
Вместо подробного описания уже стандартных систем охлаждения, я предлагаю сосредоточиться на ближайшем будущем, ведь это так интересно – заглянуть в завтра.
Главное слабое место традиционных схем охлаждения – их большая собственная энергоемкость. В связи с этим большое внимание сейчас приковано к альтернативным системам охлаждения, одним из лидеров которых является небезызвестная Intel, которая уже производит пока экспериментальные, но уже вполне рабочие образцы на основе минеральных (нефтяных) масел. При таком подходе серверное оборудование буквально “с головой” погружается в стойки-бассейны, наполненные специальным маслом. При этом само оборудование для столь экстремального купания требует минимальной доработки, существенная часть которой сводится к изоляции жестких дисков и герметизация сокетов процессора. Оборудование такой ванны обеспечивает непрерывную циркуляцию минерального масла в емкости по принципу аналогичному обдуву в воздушных системах, за единственным и существенным исключением: теплоемкость такого масла примерно в 1300 раз выше, чем у воздуха.
Как известно, минеральное или силиконовое масло являются почти идеальными жидкими диэлектриками, а значит, возможность короткого замыкания в системе исключена (такие системы даже безопаснее, чем традиционно размещенные в воздухе). Использование различных добавок позволяет динамически изменять свойства такой среды, увеличивая теплоотдачу, или наоборот – уменьшая её.
Несмотря на некоторую экзотичность подобного охлаждения и кажущиеся сложности, Intel совместно со стартапом Green Revolution Cooling уже завершили испытания подобной системы и сейчас совместно налаживают её промышленное производство. Очень многие дата-центры мира уже высказали заинтересованность в использовании подобных систем охлаждения, среди них – Facebook. Ведь при сравнительной дешевизне они резко поднимают эффективность охлаждения.
Увидеть в динамике эту экспериментальную установку можно на этом интересном видео:
Впрочем, пока масляные системы охлаждения только-только начинают делать свои первые шаги в промышленном секторе, подобное охлаждение уже давно используется военными в особо мощных радарных установках, для которых требуется непрерывное сильное охлаждение, где уже зарекомендовало себя как замечательное средство.
Провода здесь везде – и под полом (энергокабели), и под потолком (коммуникационно-сетевые)
В качестве самого яркого примера этого тренда можно привести British Telecom, которая в течение двух лет совершила миграцию на полностью виртуальную серверную инфраструктуру, при этом компания смогла избавиться от более чем 75 тонн оборудования, освободив при этом полезную площадь размером эквивалентную футбольному полю. В данном случае более 3500 обычных серверов были равнозначно заменены виртуальными машинами, физически размещенными на 200 серверах. Это позволило добиться уже на следующий год 40%-ой экономии энергопотребления и 30%-ой экономии операционных расходов, при этом создана современная и очень гибкая среда для дальнейшего роста дата-центра. Впрочем, конкретно у Facebook виртуализация используется не так активно в силу масштабов и узкой специфики своих задач, как это делают более традиционные дата-центры.
Главная суть проекта сводится к использованию внешне укрепленных стен ангара. Специальным электростатическим покрытием это хранилище полностью изолировано от внешней среды, и в нем будут храниться исключительно накопительные устройства, которые отличаются небольшой мощностью потребления. Эти устройства подключаются к сети лишь на короткое время и только в момент синхронизации с ними данных, при этом питание осуществляется полностью от автономных электросистем. Все остальное время накопители остаются обесточенными и защищенными в специальных пыленепроницаемых и ударопрочных контейнерах, которые хранятся при пониженной температуре, обеспечивающей максимальный срок хранения для магнитных носителей.
Каждый цикл включения/выключения таких устройств сопровождается расчетом и сверкой текущей и последней сохраненных контрольных сумм, что гарантирует целостность хранимых данных на них. Все данные наблюдений о здоровье и наполненности всего массива устройств централизованно собирается в одной базе данных проекта Sub-Zero. Такой подход не только делает хранение “долгих данных” в таких условиях более безопасным, но также существенно снижает расход электроэнергии по сравнению с обычными серверами.
В заключение хочется сказать, что благодаря целому ряду ярких нововведений в области создания сверхэффективных дата-центров, частично перечисленных в этой статье, компания Facebook в этом году стала обладателем почетной награды Green Enterprise IT Awards, которая выбирает раз в год единственного мирового ИТ-лидера проводящего политику наиболее жесткого соблюдения экологических стандартов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.