В последнее время центры обработки данных все чаще разделяют на зоны, каждая из которых рассчитана на установку оборудования с примерно одинаковой плотностью энергопотребления. Например, одна (как правило, большая) часть площадей выделяется под оборудование с типовым потреблением 3–5 кВт на стойку — отвод тепла от таких стоек и их охлаждение осуществляются классическим способом (с помощью кондиционеров машинного зала, подающих холодный воздух под фальшпол), а другая — под системы, потребляющие в несколько раз больше (в расчете на стойку).
В зоне высокой плотности устанавливается мощное оборудование, в частности модульные серверы, что дает возможность в полной мере воспользоваться преимуществами технологий виртуализации, значительно повысив коэффициент загрузки вычислительной техники. Размещаться стойки с высокоплотным оборудованием могут как в отдельном помещении, так и в основном зале (где установлены стойки стандартной плотности), а для съема тепла с них часто задействуют системы локального жидкостного охлаждения.
Именно такой подход выбрал наш вымышленный заказчик (далее Заказчик) для строительства коммерческого ЦОД. В основном зале он планирует установить:
- 60 стоек с энергопотреблением по 5 кВт (всего 300 кВт) — все элементы (ИБП, подводящие кабели и пр.), необходимые для электропитания этих стоек, должны быть установлены сразу;
- 16 стоек с энергопотреблением по 20 кВт (всего 320 кВт) — для этих стоек некоторые элементы СГБП (например, кабели системы распределения) желательно предусмотреть с самого начала, а другие (в частности ИБП) — наращивать по мере установки высокоплотного оборудования.
Проектировщикам следовало учесть, что здание будущего ЦОД имеет два ввода от независимых трансформаторных подстанций, а сеть распределения до будущей нагрузки предполагается сформировать из двух «плеч» (2N) — соответственно, серверы планируется приобретать с двумя блоками питания. Кроме того, Заказчик выразил желание установить интеллектуальные блоки распределения питания (PDU) с целью удаленного мониторинга реального энергопотребления и отключения/включения электропитания.
ПРИ ВСЕМ БОГАТСТВЕ ВЫБОРА...
Прекрасно понимая, что, скорее всего, в проектах будут предложены классические решения на базе ДГУ, ИБП переменного тока и аккумуляторных батарей (АКБ), Заказчик не хотел изначально ограничивать возможности выбора и включил в свое техническое задание вопрос о целесообразности применения альтернативных вариантов, в частности, ИБП на базе постоянного тока или динамических ИБП (без аккумуляторов). Ответы большинства экспертов свелись к тому, что для указанной в задании мощности и типовой нагрузки альтернативные варианты окажутся значительно дороже классического.
Прошедший год ознаменовался значительным повышением интереса к динамическим дизель-роторным ИБП, производимым такими компаниями, как бельгийская Euro-Diesel и голландская Hitec Power Protection. Но для обсуждаемого ЦОД эти решения действительно «великоваты». Как говорится в ответе, подготовленном совместно экспертами компании Hitec и ее российского партнера «Трансфер Эквипмент Восток» (ТЭВ), объект Заказчика относится к категории малых ЦОД, а динамические ИБП Hitec наиболее экономически эффективны в средних (от 1 МВА) и крупных центрах обработки данных. Преимущества и ограничения таких решений будут подробно рассмотрены в одном из ближайших номеров «Журнала сетевых решений/LAN».
Что касается ИБП постоянного тока (DC), то целесообразность их применения во многом определяется наличием в оконечном оборудовании блоков питания 48 В. По мнению Андрея Вотановского из компании Emerson Network Power, несмотря на более высокий КПД систем электропитания постоянного тока и меньшее количество преобразований электроэнергии при использовании таких систем, реализация решений DC мощностью более 200 кВт представляет ряд сложностей. Основная проблема заключается в системе распределения питания, которая с ростом мощности теряет гибкость и может характеризоваться значительным повышением потерь при передаче. Для внедрения подобных решений требуется децентрализация системы, что не всегда соотносится с архитектурой классического ЦОД. Специалист компании Emerson напоминает также о более высокой стоимости активного оборудования с возможностью питания от DC, в то время как в ЦОД практически всегда имеется оборудование, требующее «классического» (AC) бесперебойного питания. Он считает, что перечисленные факторы ограничивают широкое применение решений DC мощностью 100–200 кВт; более «тяжелые» решения существуют, но в сравнении с системами AC оказываются более дорогими и специфичными.
Несмотря на сдержанное отношение большинства компаний к системам DC, Заказчик все-таки получил предложение, спроектированное на базе таких систем (см. врезку «DC для DC»). Оно поступило от компании Eaton наряду с проектами, предусматривающими использование ИБП переменного тока.
ЧИСЛО ПОМЕЩЕНИЙ
Место для установки ИБП (в рядах стоек основного зала или в отдельном помещении) надо выбрать как можно раньше — на этапе проектирования здания или его подготовки к капитальному ремонту. (Заметим, что вопросы размещения ИБП и выбора структуры системы бесперебойного питания — централизованная или распределенная — тесно связаны.) В данном случае суммарная мощность нагрузки (620 кВт) такова, что возможны оба варианта установки. Очевидно, что у каждого из них есть свои плюсы и минусы.
Как отмечает Сергей Щербаков, руководитель группы системных инженеров компании APC by Schneider Electric, расположение ИБП рядом с основным оборудованием позволяет упростить задачу их охлаждения (мощность системы охлаждения достаточно рассчитать с некоторым запасом), а также часто дает возможность совместить систему распределения питания с ИБП, в результате чего она получается более компактной и надежной. Если для ИБП предоставляется отдельное помещение, то, скорее всего, в нем придется устанавливать свою систему охлаждения. Существенный плюс этого варианта заключается в экономии: стоимость квадратного метра технического помещения (для ИБП) ниже стоимости квадратного метра основного зала, где необходимо предусмотреть ряд специальных мер (например, прецизионное кондиционирование, особое качество отделки стен и пр.), которые не имеют никакого значения для работы ИБП.
Специалисты АРС оставили решение вопроса о выборе места установки ИБП на усмотрение Заказчика, предложив в качестве основного варианта два ИБП из нового модельного ряда Symmetra PX 250–500 кВт (см. Таблицу 1). Устройства могут размещаться как в основном зале в рядах с серверными стойками (они имеют одинаковый дизайн и форм-фактор), так и в отдельном техническом помещении (доступ к задней панели для сервисного обслуживания не нужен, поэтому их можно ставить вплотную к стене). Системы Symmetra PX имеют модульную конструкцию — шаг наращивания составляет 25 кВт (см. Рисунок 1) — и, как считают в АРС, идеально подходят для решения поставленной задачи. В качестве альтернативы компания предложила классический вариант параллельной системы из моноблочных ИБП, выбрав для этой цели три устройства MGE Galaxy 7000 по 400 кВт. В этом случае Заказчику придется отказаться от возможности установки ИБП в ряды стоек.
При выборе места установки ИБП, помимо всего прочего, необходимо учитывать, кто будет заниматься их технической поддержкой: служба главного энергетика или отдел ИТ. По словам Владислава Яковенко, начальника отдела инфраструктурных проектов компании «Комплит», ИБП APC MGE Galaxy 7000 (именно эти устройства предложены для нашего проекта) обычно находятся под опекой службы главного энергетика, а не отдела ИТ (как бывает, например, в случае применения модульных систем типа Symmetra). Анализируя результаты эксплуатации построенных центров обработки данных, специалист «Комплит» советует выделить отдельное помещение для систем бесперебойного питания в том числе в связи с особенностями функционирования АКБ. Несмотря на то что современные батареи не выделяют вредных газов и могут устанавливаться в основном зале ЦОД, оптимальная температура, необходимая для их работы, заметно ниже, чем для серверов. Кроме того, если время автономного питания от АКБ окажется выше стандартных 7–10 мин, это потребует увеличения числа АКБ, а значит, вполне возможно, укрепления перекрытий, что опять-таки проще сделать в отдельном помещении.
Петр Вашкевич, главный инженер департамента интеллектуальных зданий компании «Крок», однозначно высказался за выделение отдельного помещения под ИБП. Кроме того, он советует отдельно устанавливать и АКБ. Основная причина заключается в том, что ИБП и АКБ нуждаются в принципиально разном подходе к обеспечению микроклимата: первые выделяют много тепла и в то же время достаточно терпимы к перепадам температуры, а вторые тепла практически не выделяют, но более требовательны к параметрам микроклимата. В помещении, где находятся АКБ, температуру можно контролировать с помощью точной климатической установки малой мощности, а комнату, предоставленную для ИБП, охлаждать при помощи мощной, но менее точной системы (например, обеспечить приток наружного воздуха), что даст дополнительную экономию.
Как отмечает Сергей Кузьмин, руководитель отдела проектирования силового электрооборудования Центра проектирования комплексных систем компании Business Computer Center (BCC), при размещении АКБ в одном помещении с ИБП необходимо учесть, что подвод кабелей к ИБП удобно выполнять снизу, то есть понадобится фальшпол; аккумуляторы же имеют очень большой вес, а конструкция фальшпола не всегда рассчитана на такие нагрузки.
Аргументы, приведенные выше, Андрей Вотановский (Emerson) дополняет следующим рассуждением: при такой мощности, как в нашем проекте, располагать ИБП в непосредственной близости от чувствительного к электромагнитному излучению оборудования небезопасно для него. Поэтому, даже если отдельное помещение для ИБП найти не удается, для них следует выделить отдельную зону в ЦОД. Что касается АКБ, то, помимо всего прочего, этот важнейший элемент СГБП требует регулярного обслуживания, которое чаще всего поручается сотрудникам сторонней организации — еще один довод в пользу решения о размещении этих устройств в отдельном помещении.
В контексте обсуждения выбора технических помещений имеет смысл привести рекомендации специалистов НПК «Катарсис» о выделении отдельного помещения под главный распределительный щит (ГРЩ). Проект этой компании отличается наличием подробного описания и полных схем построения всех участков СГБП, включая ГРЩ. Для монтажа электрооборудования ГРЩ предложено использовать напольные панели Prisma Plus компании Schneider Electric, а в качестве защитно-коммутационной аппаратуры — производимые той же компанией автоматические выключатели выкатного типа, конструкция которых позволит производить их ремонт или замену для увеличения или перераспределения мощности с минимальными потерями времени.
Для ЦОД указанной Заказчиком мощности Анатолий Маслов, технический эксперт компании Chloride, советует организовать отдельный энергозал и разместить там все распределительное и щитовое оборудование, а также ИБП. По его словам, в данном проекте при среднем времени автономии около 5 мин (время для запуска ДГУ) можно ограничиться несколькими параллельными линейками АКБ напряжением 12 В и емкостью менее 100 А•ч. Использование батарейных кабинетов позволит не переводить помещение в статус «аккумуляторного» (то есть требования соответствующих нормативов выполнять не придется), чего нельзя добиться при использовании стеллажей с более емкими батареями.
Преимущества установки ИБП и/или АКБ в отдельное помещение понятны. Но на практике, особенно в небольших ЦОД, сделать это удается не всегда. Возможность установки ИБП в ряды стоек основного зала предусмотрена в уже упоминавшемся проекте АРС. Про такой вариант не забыли в компании Eaton, отметив, правда, что стоимость подобного распределенного решения — на базе ИБП Eaton BladeUPS (см. Рисунок 2) — в два-три раза дороже системы централизованной защиты.
Вариант с размещением ИБП в основном зале предложила и компания Powercom. Для каждой стойки на 5 кВт ее эксперты рекомендовали использовать два ИБП VGD-6K RM (3U+3U) на 6 кВА, устанавливаемых в параллель, а для питания каждой стойки на 20 кВт — ИБП VGD-20K31 мощностью 20 кВА. По мнению Олега Соколова, специалиста этой компании по корпоративным системам, резервирование каждой стойки более надежно, чем резервирование всего ЦОД мощным ИБП, и к тому же такой вариант удобен с точки зрения обслуживания. «При регламентных работах в стойках администратор будет видеть состояние сети и сам определять момент включения/отключения питания конкретных потребителей», — отмечает он.
ЧЕГО НЕ УЧЕЛ ЗАКАЗЧИК
Большинство компаний, приславших нам свои ответы, отметили такое упущение нашего задания, как отсутствие каких-либо требований к системе охлаждения. Они, безусловно, устранили его, дополнив свои проекты такими системами. Однако подробное рассмотрение этих решений выходит за рамки данной статьи, мы поговорим о них в одном из ближайших номеров журнала.
Часть проектировщиков к указанной Заказчиком мощности ИТ-оборудования добавили мощность, которая потребуется от ИБП для аварийного питания элементов системы холодоснабжения. Так, специалисты компании «Комплит» оценили этот «довесок» в 220–290 кВт (35–45% от мощности основного оборудования) и предложили свой график поэтапного внедрения инженерных мощностей (см. Таблицу 2).
Специалисты BCC тоже рассчитали мощность ИБП с учетом подключения ответственных нагрузок кондиционирования — помпы чиллеров и внутренних блоков кондиционеров. Если вместе с чиллерами устанавливается резервный бак с охлаждающей жидкостью, то в случае остановки чиллеров из-за отключения внешнего электроснабжения вполне достаточно, чтобы ИБП обеспечили работу внутренних блоков кондиционеров в течение определенного времени. На первом этапе организации ЦОД (при подключении 60 шкафов по 5 кВт) в проекте BCC предусмотрена установка трех ИБП мощностью по 225 кВА и двух ДГУ по 730 кВА. На втором этапе (при подключении еще 16 шкафов по 20 кВт) добавляются два ИБП и один ДГУ. Все автоматические выключатели устанавливаются в самом начале, что позволит подключить дополнительные модули ИБП и ДГУ без остановки ЦОД.
А вот эксперты Chloride рекомендовали Заказчику обеспечить питание систем кондиционирования от общей системы ДГУ, но при этом использовать выделенный ИБП с резервированием, работающий в Еco-режиме с КПД 98–99%. По их данным, это позволит сэкономить значительные средства на электроэнергию — сотни тысяч рублей в год для рассматриваемой системы.
СПОРЫ ВОКРУГ СХЕМЫ РЕЗЕРВИРОВАНИЯ
В качестве предпочтительного варианта резервирования Заказчик указал для ДГУ и ИБП схему N+1, а для системы распределения — 2N (два «плеча») (см. Рисунок 3). Большинство проектировщиков реализовали это пожелание, но свою порцию критики оно все же получило. Так, по словам Владислава Яковенко, если для сети распределения требуется заложить резервирование 2N, то логично такой же уровень резервирования предусмотреть и для системы бесперебойного питания, т. е. на каждый ввод «повесить» свою подсистему ИБП.
Подход с резервированием ИБП по схеме 2(N+1) предложили, в частности, компании Chloride и Eaton. При этом эксперты Chloride вообще посоветовали реализовать две зеркальные системы с ДГУ и ИБП (N+1 в каждой), что соответствует требованиям Tier 3 института Uptime Institute. Кроме того, в этом проекте предусмотрены синхронизация двух «плеч» (с помощью MBSM) и использование на выходе системы бесперебойного питания двух статических АВР (CROSS) — в Chloride их называют статические автоматы выбора линии. Жаль, компания не указала стоимости решения, чтобы заказчик смог оценить, насколько такой вариант окажется дороже того, что он запрашивал.
По мнению Сергея Щербакова, для коммерческого ЦОД важно наличие сертификата Uptime Institute (на уровень Tier), который может обеспечить конкурентное преимущество и привлечь потенциальных арендаторов. Чтобы ЦОД соответствовал требованиям по крайней мере Tier 3, в нем должна быть предусмотрена возможность проведения профилактического обслуживания любого компонента системы в рабочем режиме. Применение системы распределения питания 2N вполне разумно для повышения надежности и доступности работы серверов, хотя, как подчеркивает специалист АРС, это не повысит уровня Tier.
Основываясь на своем опыте, эксперты компании «Крок» предложили схему, которую охарактеризовали как «разумно-достаточную», но при этом она никак не привязана к требованиям Uptime Institute и других зарубежных стандартов. Так, подсистему гарантированного питания они посоветовали построить на базе ДГУ общей мощностью около 1600 кВА. Вариант с двумя ДГУ мощностью 800 кВА позволяет разбить ввод подсистемы в эксплуатацию на два этапа, но, по мнению Петра Вашкевича, он менее надежен и дороже варианта 1х1600 кВА (впрочем, выбор последнего потребует специальных мер для обеспечения необходимой загрузки ДГУ на ранних стадиях развития ЦОД).
Подсистему ИБП и всю последующую сеть бесперебойного питания эксперты «Крок» рекомендуют строить по схеме 2N, используя моноблочные ИБП. По их мнению, установка в каждом «плече» четырех параллельно работающих ИБП по 200 кВА обеспечит необходимую гибкость на этапах наращивания мощности. «Такая схема значительно надежнее варианта N+1 на базе модульных ИБП, а применение классических ИБП (они существенно дешевле модульных) позволяет сохранить цену предлагаемого решения на уровне варианта N+1 на базе модульных ИБП», — считает Петр Вашкевич.
Рекомендации большинства компаний в части установки ДГУ отличаются от тех, что даны в ответе «Крок». Так, в предложении НПК «Катарсис» сказано, что лучше даже на начальном этапе проекта установить не менее двух ДГУ, включив их в параллель. Не отрицая, что данное решение дороже, чем один ДГУ суммарной мощности, эксперты отмечают следующие его положительные моменты: более динамичное реагирование на возможные изменения нагрузки, обеспечение необходимого уровня резервирования, гарантированная надежность работы и длительный период эксплуатации генераторов. При расчете общей мощности к указанным Заказчиком 620 кВт они добавили 20% на заряд АКБ, мощность для охлаждения стоек и ИБП (350 кВт), а также мощность для работы средств освещения и системы безопасности.
В качестве одного из возможных решений специалисты «Катарсис» рекомендуют установить три работающих в параллель ДГУ по 825 кВА с возможностью ручной синхронизации (ДГУ Cummins С825D5 с панелью PCC 3100) и системой удаленного мониторинга (PowerCommand iWatch).
В качестве ИБП они выбрали аппараты MGE Galaxy 6000 компании АРС: сначала (для 60 стоек) устанавливаются два ИБП мощностью по 400 кВА,
а затем (при подключении 16 высокоплотных стоек) добавляют еще два таких же ИБП.
БОРЬБА ЗА ЭФФЕКТИВНОСТЬ
Поскольку ЦОД будет заполняться постепенно, желательно, чтобы и мощность СГБП наращивалась тоже постепенно — это позволит Заказчику поэтапно инвестировать средства и поддерживать высокий КПД. В отказоустойчивых системах, которые необходимы для ЦОД, всегда присутствует некоторая избыточность, а значит часть элементов простаивает или функционирует с неполной нагрузкой. Производители ИБП стремятся повысить КПД своих продуктов при работе в режиме частичной загрузки, но в общем случае действует правило «чем выше загрузка, тем больше КПД».
По мнению Сергея Щербакова из компании АРС, при постепенном заполнении ЦОД предпочтение следует отдавать модульным системам. Поэтому, предложив два варианта, он акцентировал внимание Заказчика на решении, где используются модульные ИБП Symmetra PX с шагом наращивания 25 кВт. При использовании же классической схемы, из нескольких установленных в параллель моноблочных ИБП, Заказчику, как считают в АРС, придется пожертвовать возможностью гибкого поэтапного наращивания мощности, что, в свою очередь, приведет к снижению КПД и увеличению эксплуатационных расходов.
Все производители активно работают над повышением эффективности работы и одиночных ИБП, и отказоустойчивых комплексов. Эксперт компании Chloride Анатолий Маслов отмечает, что предложенные Заказчику ИБП Trinergy (см. Рисунок 4) способны анализировать качество питающих сетей и выбирать оптимальный режим работы с вариацией КПД от 95 до 99%. Эти аппараты могут работать не только в стандартных режимах двойного преобразования (Voltage Frequency Independent, VFI) и через статический байпас (VFD), но и в так называемом режиме стабилизации характеристик электропитания (VI). Trinergy «умеет» отключать неиспользуемые модули, в том числе с учетом обеспечения необходимой степени резервирования, что оставляет Заказчику выбор: можно поэтапно приобретать модули (с учетом роста нагрузки), а можно сразу установить всю систему, при этом функционировать будут только те модули, которые необходимы для обеспечения максимального КПД.
Очень интересное в плане повышения эффективности решение представили специалисты компании Eaton (см. Рисунок 5). Они предложили построить подсистему ИБП по схеме 2(N+1), установив на каждом «плече» по аппарату 9395 (см. Рисунок 6), который, в свою очередь, состоит из четырех силовых модулей по 275 кВА/247,5 кВт, работающих в параллель по технологии HotSync. В обычном режиме, когда активны оба питающих ввода, каждый модуль ИБП загружен всего на 30%, а КПД составит 91%. Для повышения КПД в одном из «плеч» предложено активировать систему Virtual Module Management System (VMMS): она отслеживает уровень нагрузки и, при необходимости, переводит некоторые модули в «горячий» резерв. Если нагрузка возрастает или возникает другая необходимость подключения модуля (например, ИБП переходит на работу от батарей), модуль перейдет из «горячего» резерва в режим онлайн менее чем за 2 мс. В нашем проекте система VMMS может в штатном режиме перевести два из четырех модулей ИБП в «горячий» резерв, в результате загрузка модулей повысится до 63%, а КПД — до 94%.
На другом «плече», где установлен точно такой же ИБП Eaton 9395, предложено активировать другую технологию — Energy Saver System (ESS). С ее помощью можно повысить КПД системы до 99% за счет перевода нагрузки на статический байпас. Как утверждает Александр Зайцев, технический специалист московского офиса Eaton, даже в таком режиме работы ИБП соответствует классу VFI, так как в случае проблем с питающей сетью устройство возвращает нагрузку на работу от инвертора менее чем за 2 мс. По его словам, ранее пользователи не особенно доверяли подобным экономичным режимам работы ИБП из-за низкого качества российских электросетей, но время не стоит на месте: качество электроэнергии в сетях растет, уровень и качество алгоритмов слежения за параметрами сети самих ИБП также улучшаются, так что использование таких режимов становится все более актуальным.
Сначала предложение Eaton (VMMS на одном «плече», ESS на другом) показалось Заказчику необычным — возникло даже предположение, что оно обусловлено стремлением компании продемонстрировать все свои последние наработки, но, как оказалось, этот подход уже успешно применен в ряде проектов. В качестве второго варианта специалисты Eaton предложили на втором «плече» реализовать распределенную зонную защиту на базе модульных ИБП BladeUPS, устанавливаемых в стойки. Основным режимом функционирования этих ИБП является Double Conversion on Demand, что позволяет довести КПД до 97% во всем диапазоне нагрузки. На базе этих ИБП мощностью по 12 кВт можно в стойке 42U получить модульную параллельную систему мощностью до 60 кВт с резервированием N+1.
ИБП компании Eaton оказались довольно популярным решением: помимо самого производителя их предложили компании «Ландата» и ТЭВ. ТЭВ рекомендовала установить два одинаковых ИБП Eaton 9395 с тремя силовыми модулями по 225 кВА (202 кВт) каждый: один — для защиты группы стоек на 5 кВт, другой — для стоек на 20 кВт. Специалисты «Ландата» выбрали точно такой же ИБП для комплекса стоек на 5 кВт, а для обеспечения бесперебойного электропитания стоек высокой плотности они предложили распределенную зонную систему на базе BladeUPS. В их проекте детально описаны вопросы, связанные с построением системы ДГУ.
СИСТЕМА РАСПРЕДЕЛЕНИЯ ПИТАНИЯ
Далеко не все компании уделили большое внимание проработке системы распределения питания. Специалисты BCC сделали это максимально тщательно. Они предусмотрели установку двух распределительных щитов бесперебойного питания (ЩБП1 и ЩБП2), а также групповых щитов, которые состоят из двух секций с разъединителем/выключателем (см. Рисунок 7). Такое решение позволяет подавать питание на серверы с дублируемыми блоками питания по разным кабельным линиям (два «плеча»), начиная от щита параллельной работы (ЩПР). В любой момент распределительную сеть одного «плеча» можно вывести из эксплуатации (для технического обслуживании и ремонта), при этом серверное оборудование будет продолжать получать питание в штатном режиме. Для этого достаточно включить секционный выключатель в соответствующем щите ЩК. Как отмечает Сергей Кузьмин, увеличение стоимости щита из-за установки секционных выключателей незначительно, а гибкость системы распределения возрастет существенно.
НПК «Катарсис» предложила подводить питание к шкафам с оборудованием по двум трехфазным шинопроводам Canalis KS. Последние прокладываются в пространстве технологического пола, а для подключения потребителей (через установленные в шкафу блоки однофазных розеток) предусмотрены распределительные блоки, оснащенные автоматом Compact NSX с электронным расцепителем Micrologic. Эти блоки обеспечивают защиту, измерение, анализ и передачу данных в единую систему управления и диспетчеризации (такие же расцепители имеются в оборудовании ГРЩ). По словам Игоря Мунтяна, заместителя директора департамента проектирования и инжиниринга НПК «Катарсис», это решение отличается наиболее гибкой схемой, позволяя наращивать систему или производить перераспределение нагрузок в кратчайшие сроки без снятия напряжения, без производства дополнительных электромонтажных работ и при минимуме последовательно включенных коммутационных аппаратов, что увеличивает надежность системы. Кроме того, решение на базе шинопровода уменьшает как количество тепла, выделяемого в проводниках сети, так и объем пространства, необходимого для прокладки трассы.
Хотя Заказчик выразил надежду, что устанавливаемое в ЦОД оборудование будет иметь по два блока питания, вполне возможно, что потребуется подключать и устройства с одним блоком. Для гарантированного бесперебойного питания таких устройств можно централизованно установить специальные статические АВР, как это сделано в проекте компании Emerson (см. Рисунок 8). Подобное решение описано и в проекте Chloride. Компания Tripp Lite предложила PDU со встроенными АВР, однако при их использовании будет наблюдаться незначительный провал в питании во время переключения с основного канала на резервный.
Почти все компании с энтузиазмом восприняли желание Заказчика установить интеллектуальные PDU и включили в проекты соответствующие продукты. Однако Сергей Щербаков отметил, что стоимость этих решений высока, и потому не рекомендовал устанавливать их во всех стойках. Ограничением для применения таких PDU в высокоплотных шкафах может стать то обстоятельство, что получающаяся в результате конструкция оказывается довольно громоздкой. Об этом Заказчика предупредили специалисты компании «Комплит». Так, если в шкафы малой мощности можно установить два блока PDU, рассчитанные на мощность 7,5 кВт каждый, то в шкафы большой мощности придется устанавливать четыре трехфазных блока PDU на 11 кВт.
Как полагает Сергей Кузьмин, в управлении включением/отключением питания серверного оборудования посредством PDU нет необходимости, поскольку многие современные серверы оснащаются модулями питания, функционал которых обеспечивает дистанционное подключение сервера к электропитанию. При этом наличие в PDU функций удаленного мониторинга фактического энергопотребления он считает важным, и установка таких PDU предусмотрена в проекте. Такие средства мониторинга помогают более рационально размещать оборудование по различным шкафам, с учетом равномерного распределения нагрузки по фазам, что особенно важно для коммерческого ЦОД, в котором нагрузка может часто меняться.
В рамках журнальной статьи невозможно рассказать о всех деталях предложенных Заказчику проектов. Для получения более подробной информации советуем обратиться на наш сайт http://www.lanmag.ru, где представлены оригинальные варианты проектов. Надеемся, это поможет выбрать оптимальный вариант для конкретной задачи.
Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.
Таблица 1. Краткие характеристики предложенных решений
Таблица 2. График поэтапного ввода мощностей ЦОД, предложенный компанией «Комплит».
Рисунок 3. Схема резервирования, запрошенная Заказчиком.
Рисунок 5. Схема решения Eaton.
Рисунок 7. Построение распределительной системы в проекте BCC.
Рисунок 8. Из проекта Emerson Network Power.
DC для DC
Компания Eaton предложила три варианта построения системы бесперебойного питания на основе электропитающих установок (ЭПУ) постоянного тока.
Вариант 1. Условия: вычислительный зал небольшой площади, высокая плотность размещения стоек, малая удаленность АКБ от ЭПУ, все оборудование работает от постоянного тока 48 В.
Предлагаемая централизованная схема электропитания на базе системы DV2-3G рассчитана на телекоммуникационное оборудование большой мощности. Для обеспечения указанной в задании мощности 620 кВт требуется 108 выпрямителей CR48-3G по 5,8 кВт (с учетом резервирования N+1). Плюс к этому необходимо еще не менее 15 выпрямителей для заряда АКБ после глубокого разряда. Выпрямители можно устанавливать по мере роста потребности в мощности.
Преимуществами централизованной системы являются меньшая цена за киловатт и небольшая занимаемая площадь. Ее недостатки связаны с возможным удорожанием вследствие необходимости использования шин, рассчитанных на большие токи. Чем дальше от ЭПУ расположены АКБ и стойки, тем большее сечение шины требуется для предотвращения падения напряжения.
Вариант 2. Условия: вычислительный зал средней площади с несколькими кластерами стоек; большая часть оборудования работает от постоянного
тока 48 В.
Предлагаемая централизованно-распределенная схема позволяет снизить требования к сечению шин. Для обеспечения электропитанием стоек первой группы (300 кВт) необходимо пять систем DV2-3G мощностью 70,2 кВт, использующих выпрямительные модули APR-3G по 1800 Вт. Чтобы система могла восстановить АКБ после полного разряда, дополнительно придется приобрести по 39 выпрямителей для каждой системы. С ростом нагрузки (стойки по 20 кВт) можно будет добавлять аналогичные ЭПУ.
Вариант 3. Условия: от постоянного тока работает незначительная часть оборудования — отдельные стойки или некоторые устройства (коммутаторы или серверы) в стойке.
Распределенная схема предполагает размещение ЭПУ и АКБ в стойках 19". Если реальное потребление постоянного тока внутри стойки не превышает 3600 Вт, то рекомендуется использовать системы EPS, а в случае более высоких мощностей — системы APS. Отличительными особенностями систем EPS является их максимальная адаптация к работе в ИТ-средах, включая минимальные требования к навыкам обслуживающего персонала, возможность использования стандартных внешних батарейных модулей Eaton, удобство подключения, настройки и управления. Семейство APS, ориентированное на применение в телекоммуникационных средах, предлагает большую мощность, но предъявляет более высокие требования к обслуживающему персоналу на этапах подключения и обслуживания.
К преимуществам такого решения относятся как невысокая стоимость отдельной системы, так и возможность быстрого добавления систем по мере роста потребности. Важно и то, что резервное питание ЭПУ может быть организовано как от собственных батарей, так и за счет центрального ИБП и ДГУ. Однако удельная стоимость распределенной системы (в расчете на киловатт) выше, чем стоимость централизованных (больших) систем.
