В ЦОД применены множество инновационных решений, например высокоэффективная экономичная система климатического контроля; модульные системы обеспечения бесперебойного питания, использование которых не только гарантирует высокую надежность энергосистем, но и позволяет снизить капитальные затраты и повышать их мощность по мере необходимости; система распределения питания на базе шинопроводов; и т. д. О его технической «начинке» рассказывает Игорь Романов, заместитель директора по ИТ Сибирского филиала «МегаФона».
— Какова специфика ЦОД сотового оператора и каковы были начальные условия, предшествующие строительству нового объекта?
Специфика вычислительных систем оператора заключается в том, что они должны работать в режиме 24 x 7 x 365 — перерывы в предоставлении сервисов по причине аварий оборудования исключаются. Центры обработки данных в нашем филиале «эволюционировали» вместе с основным бизнесом компании. В 2003 году это была небольшая серверная на 14 шкафов. Но уже через два года возникла потребность расширить вычислительные мощности и обеспечить резервирование основных сервисов на разных площадках. Начиная с 2005 года компания придерживается принципов построения геораспределенных отказоустойчивых систем, разнесенных по двум площадкам. Решение о строительстве нового ЦОД стало логичным следствием роста компании, увеличения числа абонентов и предоставляемых сервисов.
— Вы сказали, что услуги должны предоставляться в режиме 24 x 7 x 365. Как известно, максимальную отказоустойчивость обеспечивает уровень Tier 4. Соответствует ли ваш ЦОД этому уровню?
Когда проектировалось здание и системы, учитывались требования и рекомендации стандарта TIA 942 по типу Tier 4 (кстати, ЦОД, запущенный в эксплуатацию в 2005 году, строился по Tier 3). Если говорить строго, то в новом ЦОД есть отклонения от Tier 4: например, мы не стали делать резерв топлива для дизель-генератора из расчета 96 часов непрерывной работы. Иначе потребовались бы дополнительные площади под резервуары, плюс у топлива есть срок годности. Мы поступили так: заключили договор с топливной компанией на доставку топлива в случае необходимости в устраивающие нас сроки. Есть и еще ряд отступлений. Но основные электропитающие системы, климатические системы, кабельная разводка выполнены в соответствии с требованиям к данному уровню.
— В сообщении компании говорилось о том, что в новом ЦОД максимальная мощность может достигать 70 кВт на шкаф. Как охлаждаются такие стойки?
Это теоретическая мощность. Проверить ее на практике пока нет возможности, поскольку отсутствует такое теплоемкое оборудование. В ЦОД создано два выделенных ряда для оборудования со сверхвысокой (по сегодняшним меркам) плотностью тепловыделения. Самое энергоемкое оборудование в нашем ЦОД – это blade-системы, одна корзина, применяемых нами серверов, может потреблять до 8 кВт; в данный момент в шкаф мы устанавливаем по четыре корзины. Тепло утилизируется с применением технологии изоляции горячего и холодного потоков, конкретно используется решение RACS компании APC by Schneider Electric. Это небольшая навесная конструкция, она устанавливается на стандартный монтажный шкаф и создает свободное пространство порядка 300 мм перед оборудованием и столько же сзади него. Между шкафами с оборудованием встраиваются межрядные водяные кондиционеры. Их количество определяет максимально возможное энергопотребление на шкаф, а также обеспечивает необходимый уровень резервирования. За счет замкнутости цикла теплообмена достигается высокий градиент температур на выходе и входе кондиционера, что повышает его КПД. В такой схеме отсутствует непродуктивное перемешивание холодных и горячих воздушных потоков.
Мощность 70 кВт рассчитана исходя из возможностей встроенных кондиционеров, с учетом резервирования. Практические испытания показали, что установленные в один шкаф четыре корзины работают в штатном режиме и не перегреваются. При этом кондиционеры задействуются в среднем на треть мощности.
Какие «зеленые» решения применены в ЦОД? Осуществляете ли вы мониторинг энергопотребления разных систем, оцениваете ли энергоэффективность, например PUE?
Применяется высокоэффективная система охлаждения. Мощность каждого кондиционера (скорость вращения его вентиляторов, а также объем пропускаемой через кондиционер холодной воды) определяется датчиками температуры, установленными непосредственно в зоне влияния данного кондиционера. Если тепловыделение отсутствует – кондиционер останавливается, если тепловыделение повышается – кондиционер ускоряет вращение вентиляторов и сильнее открывает клапан подачи холодной воды. Такая система позволяет свободно наращивать мощности ЦОД, например, устанавливать новое оборудование (в заданном диапазоне энергопотребления). Ночью, когда снижается вычислительная активность и падает энергопотребление, кондиционеры подстраиваются и снижают обороты вентиляторов, что позволяет экономить электроэнергию.
Помимо этого, в чиллерах используется режим freecooling: охлаждение хладоносителя происходит за счет окружающей среды. Когда температура на улице опускается ниже +4 градусов Цельсия, каждый чиллер вместо 120 кВт потребляет всего около 20 кВт.
Что касается мониторинга, то отслеживается буквально все — начиная от параметров вводного напряжения, качества работы дизель-генераторов, нагрузки на разных уровнях (от общей на объект до нагрузки на каждый шкаф) и заканчивая всеми параметрами систем климатики (температура/влажность в автозалах, температура хладоносителей, давление в трубах и т.д.). Отдельных исследований по PUE не проводилось, но эффективность использования электроэнергии стоит во главе всего проекта.
— Что еще поучительного показал ваш опыт создания ЦОД?
При проектировании и строительстве данного объекта нашло применение большое число красивых инженерных решений, которые, надеюсь, обеспечат надежную и долговечную эксплуатацию ЦОД. Например, при капитальном ремонте здания по всей территории ЦОД был сделан туннель глубиной около 1 м от уровня основного пола. В этот туннель уложены все трубопроводы системы охлаждения – трубы удобно обслуживать, они не мешают. Кроме того, туннель является трассой для аварийного сброса воды в случае протечки. Все автозалы имеют уклон основного пола на 0,5% в сторону туннеля. Сам туннель тоже имеет непрерывный уклон в сторону сливного отверстия.
В разных автозалах высота стоек фальшпола неодинаковая; там, где применяется охлаждение из-под фальшпола, пространство под фальшполом имеет высоту 1 м, а там, где межрядная схема охлаждения, – 0,5 м. При этом фальшпол во всех помещениях ЦОД находится на одном уровне, без перепадов и порогов, что позволяет свободно осуществлять такелажные работы.
Во всех технологических зонах между кровлей и фальшпотолком смонтирована водоотводящая мембрана. Она установлена с уклоном в одну сторону, в случае протечки кровли вода будет стекать в специальный желоб, оборудованный датчиками воды. Эти датчики, так же как и сотни других, включены в единую систему управления и мониторинга ЦОД. Таким образом, течь не навредит оборудованию и будет сразу же замечена дежурной сменой.
Система распределения питания построена на базе шинопровода – жесткой конструкции, которую легко монтировать и обслуживать. При высоких передаваемых мощностях этот вариант предпочтительнее. Альтернатива – протяжка большого числа толстых проводов, влекущая за собой множество болтовых соединений, которые необходимо регулярно обслуживать.
— Каковы перспективы развития этого ЦОД? Как решаются задачи катастрофоустойчивости — связь между удаленными ЦОД?
Наш ЦОД предназначен в первую очередь для удовлетворения потребностей компании в вычислительных системах и оборудовании связи. При этом мы рассматриваем возможность размещения оборудования сторонних организаций – для этого у нас предусмотрена высокая степень защищенности и безопасности объекта. Помимо контроля доступа по территории, видеодокументирования и прочих привычных средств, у нас применяется, в частности, контроль доступа в каждый шкаф при помощи электронной прокси-карты.
Возможность расширения объекта рассчитана до 2014 года. Бизнес сотового оператора очень технологичен, постоянно появляются новые услуги, новые сервисы. Неуклонно растет количество абонентов, пользующихся сетью. Данная площадка обеспечивает нас возможностью предоставлять современный, непрерывный и качественный сервис. Задач для данной площадки – множество. На ней планируются размещаться биллинговые системы, оборудование для внутренних нужд оператора, узел магистральной мультисервисной сети IP-MPLS, оборудование DWDM, коммутационное оборудование и многое другое.
Что касается геораспределенных решений, то между двумя ЦОД созданы независимые распределенные транспортные магистрали, обеспечивающие передачу данных со скоростью более 400 Гбит/с. Этого достаточно для полноценной синхронизации данных на дисковых массивах, синхронной обработки данных и быстрого переключения сервисов между ЦОД.
.jpg)