«МИР ЦОД – 2015»: под знаком «М»

В современных условиях быстро меняющегося рынка уже мало кто готов ждать несколько лет, которые обычно уходят на возведение ЦОДа по старинке, со строительством нового или капитальной реконструкцией имеющегося здания. За это время ситуация может серьезно поменяться, закладываемые на момент проектирования требования — стать неактуальными, а планируемые технические решения — морально устареть. Не случайно поэтому модульные решения оказались в центре внимания инженерного потока форума «МИР ЦОД – 2015».

Интерес заказчиков к новым моделям построения ЦОДов, связанным с использованием модульных и предсобранных на заводе решений, легко объясним. По оценке OSP Data, в этом случае на реализацию проекта — от постановки задачи до сдачи ЦОДа в эксплуатацию — уходит в среднем полгода, что в два-три раза меньше, чем при традиционном подходе к строительству ЦОДа.

И дело не только в сокращении сроков реализации ЦОДа: модульные решения имеют гибкую, хорошо масштабируемую инженерную инфраструктуру, которую легко адаптировать к изменяющимся условиям. Такие решения обеспечивают возможность развития ЦОДа путем согласованного наращивания числа стоек, мощности систем электропитания и охлаждения с соответствующим распределением капитальных затрат по времени.

Как отметил, выступая на форуме, Андрей Ивашов, руководитель по развитию бизнеса Schneider Electric IT Business, при модернизации ИТ-систем, то есть через каждые два-три года, часто приходится перестраивать и инженерные системы, а это большие затраты, существенно повышающие совокупную стоимость владения (TCO). Чтобы их избежать, необходимо изначально предусмотреть достаточно гибкую инженерную инфраструктуру, чтобы ее можно было подстраивать под изменяющиеся требования со стороны ИТ-систем. Модульные решения предоставляют такую гибкость.

ПРИ ВСЕМ МНОГООБРАЗИИ…

На данный момент на рынке имеется множество предложений модульных ЦОДов — как от зарубежных производителей, так и от отечественных интеграторов (подробнее см. статью «Модульный ЦОД: обзор решений» в апрельском номере «Журнала сетевых решений/LAN» за 2015 год). При этом такие ЦОДы базируются на различных конструктивах, включая стандартные ISO-контейнеры, специализированные (оптимизированные под ИТ-оборудование) контейнеры, модульные помещения, собираемые на месте конструкции и т. д.

На форуме «МИР ЦОД – 2015» свои модульные решения представили сразу несколько компаний, включая CommScope, GreenMDC, Huawei и Schneider Electric. Первые две можно отнести к молодым игрокам на этом рынке, которые, критикуя недостатки стандартных ISO-контейнеров, рекомендуют заказчикам новые (оптимизированные под ИТ-оборудование) варианты конструктивов.

Так, CommScope предлагает возводить ЦОДы из предварительно собранных на производстве модулей высокой степени готовности — ее решение называется «ЦОД по требованию» (Data Center On Demand, DCoD). В основе модулей DCoD — специальные конструктивы, оптимизированные для установки ИТ-оборудования и сопутствующих инженерных систем (см. рис. 1). Базовые модули решения DCoD рассчитаны на установку 1, 4, 10, 20 или 30 стоек с ИТ-оборудованием. Модули можно состыковывать, что позволяет увеличить емкость ЦОДа, причем такое наращивание производится без прерывания обслуживания. В огороженных модулями вестибюлях размещаются инженерные системы электропитания, охлаждения, пожаротушения и прочие вспомогательные компоненты.

Рис. 1. В основе модулей CommScope Data Center On Demand (DCoD) — специальные конструктивы, оптимизированные для установки ИТ-оборудования и сопутствующих инженерных систем

Модули GreenMDC также представляют собой специальные конструктивы, в которые устанавливаются ИТ-оборудование (модуль Telecom), системы охлаждения (модуль Cooling) и электропитания (модуль Energy). Все модули изготавливаются на производстве GreenMDC в Санкт-Петербурге, перед отправкой заказчику МЦОД собирается на тестовой площадке, где осуществляется полное тестирование. Затем МЦОД разбирается и модули транспортируются до места назначения. При стыковке отдельных модулей образуется единый ЦОД (см. рис. 2). Помимо такого масштабируемого решения (Scalable MDC), этот российский производитель предлагает также решения фиксированного размера (FixedSized MDC) и модульные помещения (FixedSized MDC).

Рис. 2. Модули GreenMDC также представляют собой специальные конструктивы, в которые устанавливается ИТ-оборудование (модуль Telecom), системы охлаждения (модуль Cooling) и электропитания (модуль Energy)

Поскольку ни CommScope, ни GreenMDC не являются производителями систем бесперебойного электропитания и кондиционирования, их решения могут комплектоваться инженерными системами разных вендоров (и, естественно, разных типов). При выборе систем охлаждения предпочтение отдается наиболее энергоэффективным технологиям, в том числе с прямым фрикулингом. CommScope дополняет систему фрикулинга блоками адиабатического охлаждения, что в некоторых проектах позволяет обойтись без компрессорных систем. Там, где фрикулинг с адиабатикой «не справляются», решения дополнительно оснащаются кондиционерными блоками на воде или фреоне.

Schneider Electric и Huawei относятся к поставщикам модульных ЦОДов с более богатым опытом, более того, эти компании поставляют весь спектр инженерных систем, включая ИБП и кондиционеры для ЦОДов. Обе они предлагают решения на основе как стандартных ISO-контейнеров, так и других вариантов конструктивов. У Schneider спектр предложений в области модульных ЦОДов, пожалуй, самый широкий. В частности, она выпускает решения на основе специализированных контейнеров, которые стыкуются, образуя единый конструктив. Она также предлагает ЦОДы на основе модульных помещений физической защиты (DCMR), а также микроЦОДы Smart Bunker, обеспечивающие максимальную защиту ИТ-оборудования от воды, огня, взлома, землетрясения и пр. Кроме того, этот производитель выпускает широкий спектр модульных систем охлаждения и бесперебойного электропитания.

Как и Schneider Electric, компания Huawei располагает полным набором решений в области инженерной инфраструктуры ЦОДов, включая ИБП, кондиционеры и системы мониторинга. ЦОДы на основе контейнеров (IDS 1000) она производит с 2009 года. Huawei также предлагает модульные ЦОДы IDS2000 и IDS5000, в которых каждый модуль представляет собой оборудованный всеми необходимыми инженерными системами блок, рассчитанный на 4–18 стоек с ИТ-оборудованием (см. рис. 3). Такой блок имеет встроенные ИБП, а для охлаждения ИТ-оборудования в нем установлены внутрирядные кондиционеры.

Рис. 3. Каждый модуль Huawei IDS2000 представляет собой оснащенный всеми необходимыми инженерными системами блок, рассчитанный на 4–18 стоек с ИТ-оборудованием

МОДУЛИ МАЛЕНЬКИЕ…

Решения Rittal тоже можно отнести к категории модульных ЦОДов, причем в компании предпочитают говорить об ИТ-модулях как о законченных решениях.

На форуме «МИР ЦОД – 2015» эта компания акцентировала внимание на компактных ЦОДах, рассчитанных на несколько стоек. Rittal предлагает два варианта микроЦОДов на одну-две стойки, которые отличаются типом дверей. В одном используется так называемая обзорная дверь, при наличии которой система охлаждения устанавливается в самом шкафу, в другом ­— вентилируемая дверь (площадь перфорации составляет 85%). Второй вариант предназначен для тех случаев, когда применяются системы охлаждения уровня помещения, скажем, комнатные или рядные кондиционеры. Вариантов охлаждения для таких микроЦОДов много. Например, внутренний фреоновый блок охлаждения (LCP-DX) обеспечивает отвод до 12 кВт на серверный шкаф; при установке одного блока на два шкафа — соответственно до 6 кВт на шкаф (см. рис. 4). Такой же кондиционер, но в модификации Inline может применяться для охлаждения коридора.

Рис. 4. Используемый в микроЦОДе Rittal фреоновый блок охлаждения (LCP-DX) обеспечивает отвод до 12 кВт на серверный шкаф (до 6 кВт на шкаф при установке одного блока на два шкафа)

Решения для микроЦОДов Rittal отличаются удобством монтажа: крепление всех профильных шин осуществляется на зажимах, без использования инструмента, при этом статическая нагрузочная способность шкафа составляет 1500 кг; также без инструмента крепятся и блоки распределения питания (PDU). Модульные ИБП можно установить как в самом шкафу с ИТ-оборудованием, так и в отдельном шкафу, разместив там же и аккумуляторные батареи. Например, предлагаемые Rittal ИБП PMC 40 наращиваются модулями по 10 или 20 кВт. В одной стандартной стойке можно разместить три модуля по 20 кВт, что позволяет получить систему бесперебойного питания мощностью 60 кВт без резервирования или 40 кВт с резервированием N+1.

Кроме того, Rittal предлагает мини-ЦОДы, выполненные в виде модульного сейфа: стойка высотой 42 или 47U в оболочке, полностью защищающей от пожара, коррозийных газов, воды, взлома и пыли. В единый ЦОД можно соединить до трех таких модульных сейфов. Имеется и вариант микроЦОДа — сейф со стойкой всего на 15U. Для защиты от внутренних возгораний закрытые (герметичные) серверные шкафы и сейфы могут оснащаться компактной системой пожарообнаружения и тушения DET-AC Plus, выполненной в виде модуля высотой 1U. Обнаружение возгорания на ранней стадии производится с помощью объемного газоанализа, а для его тушения используется безопасное средство Novec 1230.

… И БОЛЬШИЕ

Модульные решения все чаще применяются не только в малых и средних по размеру ИТ-комплексах, но и в мегаЦОДах. Пример — новый ЦОД компании DataPro в Москве (на Авиамоторной улице): его общая площадь составляет 16 тыс. м2 (до 3 тыс. стоек), а установленная мощность превышает 20 МВт. На этом объекте впервые в России применены инновационные модульные системы охлаждения EcoBreeze компании Schneider Electric.

Система EcoBreeze предусматривает непрямой фрикулинг (наружный и внутренний воздух не перемешиваются) с дополнительным орошением теплообменника «воздух — воздух»: испаряясь, вода дополнительно остужает наружный воздух, который, в свою очередь, охлаждает трубки, по которым передается воздух внутреннего контура. При температуре свыше +27°С (этот параметр можно менять) дополнительно активируется фреоновый контур. Таким образом, при низких температурах система обходится и без воды, и без фреона, работая только от окружающего воздуха. При повышении уличной температуры задействуется орошение, а если и этого оказывается недостаточно, то для обеспечения заданного температурного режима применяются компрессоры. Охлаждающие модули системы EcoBreeze могут добавляться постепенно, по мере роста нагрузки (каждый модуль размером 1,1x2,6x2,9 м обеспечивает мощность охлаждения 50 кВт).

Модульным свой подход к построению и развитию ЦОДов считают и эксперты компании Yandex, которые представили на форуме инновационный способ построения системы охлаждения. Модуль в их терминологии — минимальная единица структуры ЦОДа, объединенная общей системой вентиляции и питания. В новом ЦОДе Yandex в Мансала (Финляндия) один модуль рассчитан на 144 стойки, расчетная мощность ИТ-нагрузки — 2 МВт.

В этом ЦОДе компания практикует прямой фрикулинг без использования какого-либо холодильного оборудования. Правда, на первых трех модулях этого ЦОДа применяются вспомогательные блоки адиабатического охлаждения, которые позволяют дополнительно охладить наружный воздух на 3–4°С. Но в последующих модулях, по словам Михаила Деева, менеджера отдела проектирования инженерных систем Yandex, не будет и адиабатики — только фрикулинг. Исключительно на фрикулинге будет работать и новый, проектируемый сейчас ЦОД Yandex во Владимире.

Отказ в ЦОДах от компрессорных систем охлаждения во многом стал возможен благодаря тому, что компания Yandex использует серверное оборудование, специально разработанное под ее задачи. В ЦОДы компании поставляются целиком собранные стойки, где для всех установленных в них серверов используются общие блоки питания и вентиляторы. Самое главное — эти серверы могут работать при температуре входного воздуха 40–42°C. Это и позволяет обходиться одним фрикулингом. Примечательно, что выделяемое в ЦОДе тепло компания продает для обогрева помещений близлежащего поселка Мансала, что еще больше повышает экономическую эффективность ЦОДа.

Очевидно, что опыт Yandex невозможно тиражировать на типовые коммерческие и корпоративные ЦОДы, но все же используемые этой компанией технологические инновации, например бескомпрессорное охлаждение и высокотемпературные серверы, могут определить будущее отрасли ЦОДов. Правда, системы охлаждения, подобные той, что использована в ЦОДе Yandex в Масала, по сути, требуют изначально проектировать здание как большую систему воздуховодов. А в России «большие стройки» пока приостановлены.

КРИЗИС СТРОИТЕЛЬСТВА?

По оценке Александра Брюзгина, регионального менеджера Panduit в России, СНГ и странах Восточной Европы, падение курса рубля (35%) совместно с «логистическими и налоговыми новациями» (15%) привело к тому, что ИТ-бюджеты «съежились» наполовину. Он считает, что в таких условиях, фактически за полцены, новый ЦОД невозможно построить, поэтому основной задачей на ближайшее время становится модернизация уже построенных комплексов. Более 60% эксплуатируемых ЦОДов имеют возраст от 5 до 10 лет и во многом морально устарели: они построены в соответствии с трехуровневой сетевой архитектурой, не предусматривают изоляции коридоров, не имеют современных систем мониторинга и пр.

Рис. 5. Как утверждают специалисты Panduit, недорогое приспособление Cool Boot, служащее для герметизации кабельных вводов и устранения утечек воздуха, поможет сэкономить до 4% электроэнергии в ЦОДе

В качестве важнейших мер такой модернизации может стать изоляция воздушных потоков и ликвидация паразитных утечек охлаждающего воздуха. Одно из решений от Panduit — универсальный изолированный коридор (Universal Aisle Containment, UAC), который может устанавливаться в серверном зале, где используются различные шкафы. Кроме того, Александр Брюзгин обращает внимание на небольшое и недорогое приспособление Cool Boot, служащее для герметизации кабельных вводов и устранения утечек воздуха в ненужном направлении (см. рис. 5). «Применение этих копеечных «носков» поможет сэкономить 4% электроэнергии, — утверждает он, — что, в свою очередь, даст возможность поменять серверы на новые без необходимости покупки дополнительной электроэнергии».

Константин Кандоба, менеджер по развитию бизнеса Minkels (входит в группу компаний Legrand) считает, что разделение воздушных потоков, исключающее перемешивание охлаждающего и нагретого воздуха, — одно из основных средств повышения эффективности ЦОДа. Minkels пока не слишком хорошо известна российским специалистам в области ЦОДов, однако эта компания предлагает широкий спектр решения для инженерной инфраструктуры, включая климатическое оборудование, системы электропитания (в том числе ИБП и шинопроводы) и измерительные средства. А с учетом продуктов других компаний группы (от трансформаторных подстанций до кабельных систем) Legrand сегодня располагает едва ли не самым полным набором решений для ЦОДов.

На форуме «МИР ЦОД» представители Minkels акцентировали внимание на решениях для размещения ИТ-оборудования в контексте повышения эффективности охлаждения. Константин Кандоба указывает на ту большую пользу, которую может принести простое улучшение изоляции шкафов: закрытие конструктивных отверстий, щелей по периметру и между слотами. По его данным, обычные заглушки неиспользуемых юнитов (1U) оставляют щели шириной миллиметр. Minkels разработала улучшенные заглушки, которые при той же стоимости, что и обычные, полностью закрывают щели. Использование таких заглушек сокращает потери охлаждающего воздуха и, по расчетам компании, дает экономию около 100 евро в год на каждой стойке.

Рис. 6. В стойках Minkels используются простые  аксессуары, которые позволяют перенаправить поток охлаждающего воздуха в нужном направлении

При организации воздушных потоков следует обратить внимание на особенности активного оборудования. Если серверы обычно забирают холодный воздух спереди и выбрасывают нагретый назад, то сетевое оборудование с портами на лицевой панели зачастую использует другую схему охлаждения — справа налево. В стойках Minkels используются простые аксессуары, которые позволяют перенаправить поток охлаждающего воздуха в нужном направлении (см. рис. 6). Иногда возникают и более сложные задачи. Специалист Minkels приводит пример очень мощного коммутатора (27 кВт) сразу с несколькими схемами охлаждения: блоки питания охлаждаются фронтально, а сетевые модули — справа налево. Установка такого коммутатора в стандартную стойку приведет к быстрому перегреву, так что устройство может выйти из строя. Minkels предлагает специальные решения для размещения и такого оборудования.

Специалистам уже не надо доказывать эффективность использования решений для изоляции холодных или горячих коридоров. Такие решения есть у многих производителей. Но у продуктов Minkels есть ряд интересных особенностей. Так, например, компания предлагает комплексы изоляции холодных коридоров с поворотными крышами (см. рис. 7), которые позволяют использовать единый комплекс пожаротушения. Кроме того, ее решения для холодных коридоров интегрируются с шинопроводами (для них сделаны специальные конструкции шинопроводов и распределительных коробок). Одна из новинок компании — холодный коридор, который можно смонтировать с заглушками вместо шкафов с оборудованием. По мере необходимости заглушки убираются и вместо них устанавливаются шкафы, причем это могут быть шкафы разного размера, от разных производителей.

Рис. 7. Minkels предлагает комплексы изоляции холодных коридоров с поворотными крышами, которые позволяют использовать единый комплекс пожаротушения в помещении

УПРАВЛЕНИЕ ПО ПРОВОДАМ И БЕЗ НИХ

Безусловно, прежде чем приступать к модернизации ЦОДа, необходимо иметь четкие данные относительно текущего распределения температуры в машинном зале и энергопотребления установленного ИТ-оборудования, понимать, где и что нужно и можно улучшить. А для этого необходимы системы мониторинга.

После нескольких лет шумихи вокруг комплексных систем управления DCIM отрасль ЦОДов перешла к практической стадии внедрения систем мониторинга, к которым далеко не всегда «лепят» модный лейбл DCIM. Ряд таких систем были представлены и на форуме «МИР ЦОД – 2015». Так, компания Rittal показала уже третье поколение своих систем мониторинга CMC (CMC III): сегодня это, по сути, коробочный продукт, развертываемый по принципу Plug&Play.

CMC III — это микрокомпьютерная система для мониторинга и контроля важнейших параметров инфраструктуры ЦОДов. С помощью разнообразных датчиков она обеспечивает контроль микроклимата в стойках и помещении ЦОДа (температура, влажность), электропитания (напряжение, ток, частота и др.), утечек (для систем жидкостного охлаждения), доступа в помещение ЦОДа и стойки, а также фиксирование фактов вандализма, взлома и т. д. К контроллеру системы может быть подключено до 32 внешних датчиков по шине CAN-Bus, для чего используется плоский медный кабель с разъемами RJ 45. Сами контроллеры могут подключаться по Ethernet к сети передачи данных и конфигурироваться с помощью Web.

Рис. 8. Для контроля наличия и местоположения оборудования в стойке, Rittal предлагает на профиль стойки монтировать антенну RFID, которая может считывать и идентифицировать RFID-ярлыки, прикрепляемые к 19-дюймовым компонентам. Учет позиции установленных компонентов осуществляется с точностью до 1/3 юнита — для этого на каждую единицу высоты приходится по три антенных элемента

В составе CMC III предусмотрены средства удаленного контроля наличия и местоположения оборудования в стойке. Для этого сбоку на профиль стойки TS IT монтируется антенна RFID, которая может считывать и идентифицировать RFID-ярлыки, крепящиеся к 19-дюймовым компонентам. Учет позиции установленных компонентов осуществляется с точностью до 1/3 юнита (ЕВ), для этого на каждую единицу высоты приходится по три антенных элемента (см. рис. 8). Данное решение позволяет правильно определить положение компонентов даже в том случае, когда они установлены не точно на отметке ЕВ.

Компания Panduit представила на форуме «МИР ЦОД» беспроводную систему мониторинга SynapSense (одноименная компания была приобретена Panduit в 2014 году). Входящие в ее состав различные датчики и управляющие ими шлюзы взаимодействуют по беспроводным соединениям, при этом сеть строится по схеме «каждый с каждым» (mesh), чем достигается высокий уровень отказо-

устойчивости. Система наделена функциями активного контроля (Active Control), что позволяет ей на основании собранных данных, например о температуре в стойках и/или давлении воздуха под полом, оптимизировать работу систем охлаждения — скажем, регулировать скорость вращения лопастей вентиляторов.

Как полагает Александр Брюзгин, постоянно действующая система мониторинга нужна далеко не во всех ЦОДах. Однако собираемые такими системами данные чрезвычайно важны, например, при модернизации старых ЦОДов. В качестве одного из сценариев использования SynapSense он предлагает задействовать ее временно: благодаря своей беспроводной природе, такая система быстро развертывается, с ее помощью собираются данные по ситуации в машинном зале, на основе этих данных производится оптимизация инженерной инфраструктуры, после чего система SynapSense может быть демонтирована и перевезена в другой ЦОД.

В целом, форум «МИР ЦОД – 2015» показал, что российская отрасль ЦОДостроения находится в стадии «оптимизации», поиска альтернативных подходов при создании новых объектов и «выжимания» максимально возможного из уже эксплуатируемых. Несмотря на экономические сложности в стране, есть все основания полагать, что рынок ЦОДов продолжит, хотя и небольшой, но рост.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru