Отдел новостей 30 октября 2017, 15:14

Эффект от каждого гигагерца. Как создавался и работает дата-центр мощностью в целый микрорайон

Открывшийся в Минске дата-центр velcom класса Tier III обещает вывести цифровой рынок Беларуси на мировой уровень. Комплекс размером с пять футбольных полей и мощностью в целый микрорайон включает несколько контуров безопасности и не боится стихийных бедствий. Заместитель директора по ИКТ дата-центра velcom Дмитрий Николайчик рассказал dev.by, как устроен высокотехнологичный объект.

Это обычная серверная, только побольше?

Дата-центр в чём-то схож с обычной серверной: оба объекта состоят из серверного и сетевого оборудования, систем хранения данных и дисковых накопителей. Однако если серверная может занимать небольшое помещение, то дата-центр — это целое здание и комплекс инженерных систем, роль которых заключается в поддержании работы ИТ-оборудования в определённых климатических условиях. А ещё они обеспечивают безотказное энергоснабжение и постоянное интернет-соединение.

Чем крупнее компания, тем выше требования к дата-центрам. Как провести границу между корпоративным (собственным) ЦОДом и профессиональным дата-центром? По степени критичности к обеспечению непрерывности процессов и готовности вкладывать средства в развитие инфраструктуры. Далеко не все готовы постоянно вкладывать деньги в модернизацию оборудования, а угнаться за возможностями облачных провайдеров и вовсе могут лишь «гиганты».

В какой-то момент компания начинает искать способны снизить затраты и избавиться от непрофильных активов, которыми и выступает ИT-оборудование. И вот тогда и приходят на помощь дата-центры, построенные по современным стандартам. Недавно открытый комплекс velcom — самый крупный из них.

Чем дата-центры отличаются друг от друга? Эволюция классов Tier

Признанным авторитетом в сертификации дата-центров выступает американский Uptime Institute, который выделяет четыре класса — от Tier I до Tier IV. Все они отличаются множеством параметров, но основных всего два:

резервирование основных элементов инфраструктуры центра
непрерывность протекающих в нём процессов

Теперь о каждом классе в отдельности. Tier I включает базовую инфраструктуру без резервирования, Tier II — инфраструктуру с резервными мощностями. Tier III предполагает наличие резервируемой инфраструктуры с возможностью проведения параллельного ремонта (профилактические работы не влияют на доступность сервиса), а для Tier IV необходима полностью отказоустойчивая инфраструктура с ещё большей избыточностью.

В зависимости от класса отличаются и подходы к подключению к сетям электроснабжения и наличию резервных каналов питания. Так, для первого класса ЦОДов необходим лишь один источник электропитания. Чем выше уровень, тем больше требуется элементов, которые дублируют или резервируют друг друга.

«Дата-центр velcom соответствует классу Tier III. Это означает, что в нём все системы дублируют друг друга по принципу не менее «n+1». Внутри организовано два независимых ввода в энергосистемы: помимо подключения к линии электропередач, предусмотрено три дизель-генераторные установки, что даже выше требований класса Tier III, — объясняет Дмитрий Николайчик. — Мы «зарезервированы» по охлаждению и линиям передач данных. В частности, предусмотрено два независимых маршрута оптических линий связи, по которым дата-центр подключен к основной транспортной сети velcom. Также есть по два канала, ведущих к клиентскому оборудованию в самом центре».

Кроме того, предусмотрено два источника бесперебойного питания, от которых идут шинопроводы с двумя независимыми вводами в серверные стойки. Система пожаротушения также дублируется: если одно плечо не справляется, используется второе, а само здание разбито на группы помещений, что позволяет более эффективно бороться с огнём.

Изнутри: как работает дата-центр

Мы уже касались внутреннего устройства дата-центра в репортаже с его открытия. В целом дата-центр velcom состоит из семи основных инженерных систем:

Бесперебойное электропитание с распределительной подстанцией, трансформаторами, дизель-генераторными установками, источниками бесперебойного питания, аккумуляторными батареями;
Холодоснабжение, которое позволяет поддерживать определенную температуру в местах размещения клиентского оборудования;
Вентиляция, которая создает циркуляцию воздуха и система дымоудаления, которая убирает воздух или газы из помещения;
Автоматическая система диспетчеризации и управления. Отвечает за контроль и управление инженерных систем, установленных датчиков температуры, влажности, воды, дыма, открытия дверей;
Безопасность, которая обеспечивается видеонаблюдением, интеллектуальной системой контроля доступа и датчиками безопасности;
Пожаротушение. В случае пожара подаётся газ Хладон-227(FM200), вытесняющий весь кислород и не дающий огню разрастаться;
Структурированная Кабельная Система, с помощью которой все информационные системы связаны между собой.

Дата-центр обладает системами водоснабжения, отопления и канализации. На его территории установлены резервуары для пожаротушения, автономные ёмкости топлива, которые позволят обеспечить круглосуточную работу дата-центра. Комплекс может пережить даже стихийные бедствия, вроде урагана. Не боится он и массового отключения электроэнергии – так называемого «блэкаута».

Почему строили монолитным способом?

В мире существует два основных способа возведения дата-центров — монолитный и модульный. Первый предполагает строительство здания, которое по мере необходимости наполняют клиентским или собственным оборудованием. А модульный метод состоит в строительстве отдельных блоков, которые собирают и испытывают на заводе, затем перевозят и возводят уже на месте. velcom пошёл по пути строительства полноценного дата-центра. Дмитрий Николайчик поясняет, почему:

«Когда разрабатывался дизайн, проводили сравнение инвестиций на одно стойко-место. Наши расчёты показали, что инвестиции будут более эффективны при строительстве большого здания, способного вместить сразу большое количество ИТ-оборудования, нежели строить дата-центр с помощью контейнеров с предустановленными инженерными системами. Здание, построенное «на вырост», в перспективе будет более эффективным».

Возврат энергии: почему пустующий ЦОД менее энергоэффективен?

Основной вопрос — энергоэффективность всего объекта. Чем больше оборудования установлено, тем эффективнее оно работает. То есть затраты дата-центра на поддержание рабочих процессов (климат, электропитание и т.п.) при пустующем ЦОДе будут выше, чем у дата-центра, заполненного клиентским оборудованием. Для оценки применяют коэффициент эффективности используемой энергии, или Power Usage Effectiveness (PUE).

«Наш дата-центр спроектирован на PUE 1,47 — к этому показателю мы будем стремиться. Он означает, что на 1 единицу энергии для ИT-оборудования мы ещё тратим 0,47 единиц на обеспечение энергопитанием, охлаждение и работу других систем. Вначале мы не выйдем на это показатель, он будет 1,6-1,7. В идеале он стремится к 1. Для сравнения, высоким показателем в мире считается 1,1-1,2. Не все к этому могут приблизиться, да и не всегда имеет смысл это делать, иначе затраты на обеспечение энергоэффективности могут превысить прибыль от экономии», — объясняет эксперт.

В velcom даже рассмотрели возможность рекуперации и использования тепла, «производимого» работающим дата-центром. Решили ввести эту систему после запуска комплекса и выхода на определённую мощность, когда будет виден объём отводимого от стоек тепла.

«Кроме рекуперации, есть ещё технология экономии электроэнергии по принципу Free Сooling. Он применяется в системах холодоснабжения и позволяет экономить электроэнергию, — добавляет представитель velcom. — Системы холодоснабжения перестают использовать высокомощные компрессоры для охлаждения хладоносителя при определённой температуре окружающей среды. Наша система имеет такой функционал и позволяет при температуре ниже 9 градусов экономить электроэнергию».