С точки зрения потребления электроэнергии наиболее затратными инженерными системами в ЦОД являются системы кондиционирования (их энергопотребление может достигать 50–60% от полезной мощности центра обработки данных) и энергоснабжения (до 10% мощности ЦОД). Поэтому столь большое внимание, уделяемое именно этим двум системам при проектировании энергоэффективного ЦОД, вполне объяснимо.

Как результат, производители соответствующего оборудования внедряют в свою продукцию новые, более эффективно работающие комплектующие и оснащают их дополнительными энергосберегающими режимами работы, тем самым стараясь одновременно угнаться за двумя зайцами: энергоэффективностью и надежностью.

ФРИКУЛИНГ В ШКАФНЫХ КОНДИЦИОНЕРАХ

В системах кондиционирования ЦОД на базе шкафных кондиционеров все более активно применяются модели с двойным теплообменником и «сухой» градирней (dry cooler) в качестве наружного блока. Ранее внедрение подобных модификаций сдерживалось их высокой стоимостью — в среднем на 20% выше стандартного DX-кондиционера, однако потребность в экономии электроэнергии заставляет заказчиков применять достаточно дорогие решения с последующим возвратом инвестиций за счет более низких эксплуатационных затрат.

В отличие от обычного кондиционера, в шкафном все элементы холодильного контура расположены внутри.

Теплоотвод от конденсатора осуществляется посредством водно-гликолевой смеси необходимой концентрации, которая в дальнейшем охлаждается наружным воздухом в сухой градирне.

При этом в кондиционер параллельно испарителю устанавливается второй теплообменник, куда в холодное время года может подаваться водногликолевая смесь от градирни, чем обеспечивается возможность использования режима фрикулинга во фреоновом кондиционере.

Кондиционеры подобной конфигурации есть в наличии у многих производителей прецизионной техники. В частности, у Emerson Network Power ей соответствует версия F линейки шкафных кондиционеров HPM. Немецкий производитель Stulz выпустил модификацию GE шкафных кондиционеров CyberAir 2 с системой динамического фрикулинга (Dynamic Free Cooling, DFC).

Такие кондиционеры могут работать в трех режимах: при высоких наружных температурах — в режиме DX (100-процентная нагрузка на холодильный контур, см. Рисунок 1, а); при средних температурах — в смешанном режиме (см. Рисунок 1, б), когда внутренний воздух охлаждается как от испарителя, так и от дополнительного воздушного теплообменника; наконец, при низких температурах кондиционер полностью переходит в режим фрикулинга (см. Рисунок 1, в).

Рисунок 1. Режимы работы шкафных кондиционеров Stulz с динамическим фрикулингом.

 

Система DFC имеет следующие технические особенности. Вместо установки трехходового клапана (для регулирования расхода гликоля на конденсатор и на воздушный теплообменник) на каждой ветви разместили отдельный двухходовой клапан. «Применение данных клапанов обосновано тем, что общее падение давления в контуре будет меньше, чем с одним трехходовым клапаном, благодаря чему удается снизить энергозатраты на работу насосной группы», — объясняет Михаил Семенов, ведущий технический специалист компании Hosser Telecom Solutions (HTS).

Кроме того, при снижении тепловой нагрузки в обслуживаемом помещении ЦОД система DFC повышает температуру теплоносителя. «Это позволяет еще больше увеличить время работы кондиционеров Stulz в режиме естественного охлаждения. Например, повышение температуры водно-гликолевой смеси с 10 до 13°С означает, что в течение года оборудование сможет работать в режиме фрикулинга на 33 дня больше», — добавил он.

ИНВЕРТОРНЫЕ КОМПРЕССОРЫ

Сразу несколько производителей прецизионных кондиционеров заявили о появлении в их линейке климатического оборудования с инверторными компрессорами. Ранее их применение сдерживалось высокой стоимостью, массой и габаритами преобразователей частоты для мощных электродвигателей. Однако появление, в частности, технологии Mitsubishi BLDC во многом решило данную проблему.

Так, компания Mitsubishi Electric разработала новую микросхему инвертора для управления бесколлекторными двигателями постоянного тока (Brushless Direct Current Motor, BLDC). Эти двигатели относятся к категории синхронных приводов и обладают функцией самосинхронизации благодаря возможности управления вектором магнитного поля статора при изменяющемся положении ротора.

В корпусе нового инвертора объединены схемы управления, питания и защиты, которые реализованы на основе IGBTтранзисторов, быстродействующих и ограничительных (bootstrap) диодов. Инвертор имеет защиту от блокировки, низкого напряжения, короткого замыкания и повышенной рабочей температуры.

Именно Mitsubishi BLDC использован в новой линейке шкафных прецизионных устройств CyberAir 3 компании Stulz как средство повышения энергоэффективности холодильного контура, более точного поддержания температуры в ЦОД и быстрой адаптации к новым условиям (снижение/повышение ИТ-нагрузки, добавление новых стоек и серверов и т. д.).

Использование компрессоров с инверторным регулированием в прецизионных кондиционерах позволяет более точно и быстро (примерно в два раза быстрее, чем неинверторная модель) регулировать холодопроизводительность прецизионного кондиционера в зависимости от текущей тепловой нагрузки в обслуживаемом помещении ЦОД. В числе других положительных эффектов — существенная экономия электроэнергии, снижение уровня шума и устранение проблемы высоких пусковых токов при запуске кондиционера (в неинверторных моделях пусковой ток в пять – девять раз выше номинального).

Отсутствие пусковых токов позволяет безболезненно подключать кондиционеры к ИБП. Напомним, что критерием выбора ИБП является не только его мощность, но и возможные режимы перегрузки. При подключении к ИБП кондиционеров обычно приходилось использовать бесперебойное оборудование большей мощности во избежание аварии из-за пусковых токов компрессоров. Применение же инвертора снимает эту проблему. Что касается негативных особенностей мощных инверторов, то можно отметить лишь их более низкий коэффициент нелинейности (cos ?).

Инверторный привод компрессора появился и в оборудовании итальянской компании RC Group. Компрессорноконденсаторные блоки новой линейки Coolside EVO, где предусматривается использование одного наружного блока с двумя или тремя блоками внутрирядного типа, оснащены инвертором.

«Наличие компрессоров с инверторным приводом и регулирование скорости их вращения в зависимости от значения температуры воздуха на выходе из кондиционера дает значительную экономию электроэнергии по сравнению с моделями, для которых свойственна постоянная скорость вращения компрессоров, что особенно заметно при малых тепловых нагрузках в ЦОД. Кроме того, наличие инверторного привода обеспечивает наиболее устойчивую работу фреонового контура кондиционера при той же неполной тепловой нагрузке», — комментирует Алексей Шариков, руководитель технико-коммерческого отдела компании «ВентСпецСтрой».

ТУРБОКОМПРЕССОРЫ TURBOCOR

Рисунок 2. Турбокомпрессор Turbocor.

Еще одним новым веянием в области компрессионного оборудования для холодильных машин являются турбокомпрессоры (см. Рисунок 2). Вал электродвигателя в подобных агрегатах вращается со скоростью от 15 до 40 тыс. об/мин, что позволяет существенно сократить массогабаритные показатели компрессоров: при той же холодопроизводительности их габариты в среднем в 2,5 раза меньше габаритов других видов компрессоров, а масса ниже в 5 раз.

Применение холодильного оборудования с турбокомпрессорами повышает и энергоэффективность системы охлаждения ЦОД. Этому есть несколько причин. Во-первых, процесс сжатия хладагента в турбокомпрессоре происходит с заведомо большим КПД. Во-вторых, в подшипниках отсутствует трение (в турбокомпрессорах используется магнитная подвеска вала, и он вращается буквально в воздухе), что позволяет отказаться и от масла. Турбокомпрессоры — это безмасляные компрессоры (oil-free).

Отсутствие масла во фреоновом контуре способствует увеличению холодопроизводительности оборудования, так как вся мощность компрессора расходуется на перекачку только хладагента, а не хладагента с растворенным в нем маслом. Кроме того, на поверхностях теплообмена не образуется масляной пленки, снижающей коэффициент теплопередачи. В итоге, как показали результаты опытной эксплуатации турбокомпрессоров в США, энергозатраты на систему кондиционирования снизились на четверть.

Эффективность и адаптируемость турбокомпрессоров к изменению тепловой нагрузки обеспечивается частотным регулированием. Наконец, компрессоры Turbocor оснащены интерфейсом RS-485, что позволяет в оперативном режиме наблюдать за уровнями температуры и давления хладагента, частотой вращения вала, потребляемой мощностью и другими параметрами.

Рисунок 3. Компрессор Turbocor в чиллерах Uniflair.

Сегодня компрессоры Turbocor встраивают в холодильное оборудование все большее число производителей. Новые линейки чиллеров UNICO TURBO и FRIGO TURBO компании RC Group имеют встроенные турбокомпрессоры. Несколько раньше об использовании оборудования Turbocor заявил итальянский производитель Uniflair (см. Рисунок 3). Как отмечают в Uniflair, использование турбокомпрессоров позволяет получить сразу несколько преимуществ — например, снизить уровень шума и сэкономить на эксплуатационных затратах. Повышение энергоэффективности чиллеров наблюдается при любой загрузке чиллера, но особенно при частичной. Так, если при нагрузке в 50% от номинальной холодильный коэффициент спиральных компрессоров составляет 5,5–6,0, то у турбокомпрессоров он достигает 10.0. При меньшей нагрузке эта разница оказывается еще большей.

МИКРОКАНАЛЬНЫЕ ТЕПЛООБМЕННИКИ

Совершенствование климатической техники затронуло и теплообменные аппараты. Уже сегодня на рынке можно встретить чиллеры и компрессорноконденсаторные блоки с микроканальными конденсаторами.

Традиционные конденсаторы относятся к трубчато-ребристому типу теплообменных аппаратов: на медные трубки, по которым протекает хладагент, надевается множество алюминиевых ребер, что увеличивает эффективность теплообмена. Очевидно, что процесс теплообмена происходит тем интенсивнее, чем тоньше стенки трубок и меньше их диаметр. Однако на данные параметры накладываются технологические ограничения: как правило, толщина таких трубок составляет около 1 мм, а диаметр — 10–14 мм.

Рисунок 4. Строение микроканального теплообменника (изображение взято из технических каталогов Рисунок 5. Микроканальные обменники производства Guentner.

С появлением микроканальных теплообменников ситуация изменилась коренным образом. Как следует из названия, теперь каналы для хладагента стали соизмеримы с микронами. Действительно, диаметр каналов составляет всего 0,8 мм (см. Рисунок 4), а толщина ребер — 0,1 мм (вместо традиционных 0,3 мм). Таким образом, за счет разделения потока хладагента на множество микропотоков достигается более интенсивный теплообмен, что позволяет повысить холодильный коэффициент, сократить габариты и снизить массу оборудования. Кроме того, данные аппараты изготовлены целиком из алюминия, что также снижает общую массу изделия.

Сегодня многие производители предлагают микроканальные теплообменники в качестве опции, то есть при желании стандартные трубчато-ребристые аппараты могут быть заменены на новые микроканальные. Так поступили, например, в Stulz.

«Stulz является давним партнером немецкой компании Guentner, которая производит широкий спектр сухих градирен и конденсаторов для решения различных задач в области охлаждения. Инновационные технологии, воплощенные в продуктах Guentner, плюс многолетний опыт Stulz в области охлаждения ЦОД дали значительный синергетический эффект в области экономичного использования электроэнергии для охлаждения центров обработки данных», — говорит Михаил Семенов. Более того, по его словам, себестоимость производства микроканальных аппаратов ниже, так как в технологическом процессе задействовано меньшее количество персонала.

Микроканальные теплообменники Guentner (см. Рисунок 5) выпускаются под маркой microox и могут быть использованы в холодильном контуре с любым хладагентом: испытания на прочность проводятся на заводе при давлении 100 бар. Подобные устройства использованы и в оборудовании RC Group, в частности в ранее упомянутой линейке Coolside EVO. «Благодаря микроканальному алюминиевому конденсатору аэродинамическое сопротивление теплообменника оказывается невысоким, так что можно применять менее мощные вентиляторы — по сравнению с классическим теплообменником из медных трубок с алюминиевым оребрением. К тому же и вес нового конденсатора заметно меньше», — отмечает Алексей Шариков.

Рисунок 5. Микроканальные обменники производства Guentner.

 

Однако следует помнить, что применение микроканальных аппаратов повышает требования к техническому обслуживанию холодильного оборудования. Они могут чаще засоряться, а чистить их сложнее, чем традиционные теплообменники, да и ремонтировать микроканальные аппараты непросто: новая технология соединений и малый размер составных изделий предполагают обязательное привлечение высококвалифицированных специалистов.

САМОТЕСТИРУЕМЫЕ ИБП

Интересный способ энергосбережения на этапе пусконаладочных и регламентных сервисных работ предложила компания Eaton, разработавшая «зеленую» технологию тестирования ИБП Easy Capacity Test (дословно — технология «простого тестирования работоспособности»), которая позволяет экономить электроэнергию во время подключения к ИБП испытательной нагрузки.

В частности, проверка ИБП мощностью 500 кВА (400 кВт) в течение суток (24 ч) при стоимости электроэнергии 3 руб/кВт обойдется почти в 30 000 руб. (около 1000 долларов). Реальная практика показывает, что затраты могут возрасти до 5000 долларов, если учесть, что, во-первых, тестовую нагрузку надо привезти (а иногда еще и арендовать), а во-вторых, построение тестового энергополигона потребует от инженеров определенных затрат времени и сил.

Инженеры компании Eaton предлагают изменить подход к проверке работоспособности всех элементов ИБП.

Суть метода в том, чтобы при выполнении тестов не подавать напряжение на выход ИБП, а замыкать его внутри источника. Контур ИБП нагрузку не создает, поэтому потери напряжения минимальны, а следовательно, минимален и расход энергии. Тем не менее все элементы ИБП оказываются под напряжением, и через них проходит заданный тестовым режимом ток, в чем и заключается цель проведения испытаний.

В качестве аналогии можно привести пример из области гидравлики. Если необходимо испытать насос, входящий в состав некой сети трубопроводов, то можно проверить его работоспособность как на самой сети, так и на тестовом контуре (байпасе). Во втором случае, очевидно, затраты будут минимальными.

По данным компании Eaton, при реализации технологии Easy Capacity Test потребление электроэнергии из внешней сети составит всего 5% от номинальной мощности ИБП. К тому же отводить тепло от тестовой нагрузки не понадобится.

Кроме того, при проверке времени работы от аккумуляторных батарей генерируемая инвертором нагрузка просто отводится в систему электроснабжения здания. Наконец, преимуществом технологии Easy Capacity Test является то, что в модульном ИБП можно проверить каждый модуль в отдельности, не прекращая работу других модулей.

Технологией Easy Capacity Test оснащены все ИБП Eaton серии Powerware 9395, включающей в себя установки мощностью от 225 до 1100 кВА. Подобная технология рециркуляции электроэнергии применяется и в некоторых ИБП Chloride.

«ФРИКУЛИНГ В ИБП»: ВИДЫ БАЙПАСА

В области бесперебойного электропитания наибольшее распространение получили системы с двойным преобразованием энергии. В рабочем режиме их КПД составляет 94–96%.

Однако и в этой области предпринимаются попытки увеличения энергоэффективности. Суть новшества заключается в использовании экономичного режима, при котором питание нагрузки осуществляется по линии байпаса (КПД при этом составляет около 99%), а при выходе каких-либо параметров сети за допустимые границы активизируется либо режим коррекции, либо режим двойного преобразования.

Сразу следует отметить, что в условиях низкого качества российских электросетей данная технология не должна использоваться бездумно, так как система может не успеть обработать резкий скачок напряжения, и он пройдет на критически важное оборудование. В частности, в компании APC by Schneider Electric не рекомендуют использовать режим байпаса в чистом виде, несмотря на достигаемый рост КПД на 1–2%. В то же время, с целью снижения риска, многие производители снабдили цепь байпаса фильтрами, чтобы не пропустить скачки на защищаемую нагрузку.

Так, в ИБП компании Socomec внедрены режимы Eco-Mode и Always-on, переключающие нагрузку на линию байпаса при удовлетворительном качестве внешней сети — тем самым ИБП переводится в режим с КПД выше 98%. Линейка ИБП Liebert Hipulse компании Emerson Network Power оснащена режимом Intelligent ECO Mode, в котором система автоматически обеспечивает эффективность на уровне 98% при переключении нагрузки на байпас.

Более сложный алгоритм работы заложен в ИБП Chloride Trinergy. Специалисты этой компании придерживаются идеи, согласно которой даже при нарушении какого-либо из параметров сети нет смысла сразу активизировать режим двойного преобразования — достаточно включить в цепь тот элемент, который отвечает за корректировку вышедшего за рамки допустимого параметра.

В результате в ИБП Chloride Trinergy предусмотрено три режима работы: режим с максимальной защитой нагрузки представляет собой традиционную архитектуру двойного преобразования (режим VFI, КПД 95%); режим с максимальной энергоэффективностью (VFD, КПД 99%) предполагает питание нагрузки по линии байпаса; наконец, смешанный режим (VI), сочетающий надежность и эффективность, предусматривает возможность корректирующего вмешательства инвертора в цепь байпаса. При этом КПД варьируется в диапазоне 96–98%.

Таким образом, сегодня практически у всех производителей ИБП в арсенале имеется способ максимального увеличения КПД путем питания нагрузки по каналу байпаса, тем самым реализуется своеобразный режим энергетического «фрикулинга».

ЭЛЕКТРОПИТАНИЕ ЦОД ПОСТОЯННЫМ ТОКОМ

С учетом тенденции перевода центров обработки данных на модульную структуру, предполагающую, что ЦОД будет состоять из независимых модулей, число которых можно как сокращать, так и увеличивать, компания Emerson Network Power делает акцент на электропитание ЦОД постоянным током.

Действительно, в настоящее время большинство ИТ-устройств работают от постоянного напряжения. При этом часто наблюдается следующая картина: «грязное» питание в выпрямителе ИБП преобразуется в постоянное, а в инверторе — в «чистое» переменное. За ИБП может быть расположен понижающий трансформатор, а в блоки питания ИТ-оборудования встроен еще один выпрямитель. Так происходит четырехкратное преобразование энергии, каждое из которых сопровождается потерями.

Система питания постоянным током предусматривает подачу постоянного напряжения от выпрямителя ИБП напрямую на блоки питания нагрузки, где оно может быть трансформировано до нужного уровня напряжения. В результате получаем всего два преобразования, упрощение системы в целом и повышение ее энергоэффективности в среднем на 7–10%.

Кроме того, система питания ЦОД постоянным током выгодно отличается своей отказоустойчивостью. Согласно исследованиям компании Intel, вероятность аварии такой схемы в 10 раз ниже, чем традиционной. Наконец, за счет отсутствия некоторых компонентов продвигаемая система оказывается на 30% компактнее.

Плюсы питания постоянным током очевидны и в контексте меняющейся мощности ЦОД. Как показывает опыт, многие центры обработки данных изначально недогружены, ИТ-оборудование в них доставляется в течение длительного срока. При этом несбалансированная нагрузка на фазы в трехфазной сети переменного тока вызывает снижение КПД системы и рост тепловыделения. При использовании постоянного тока не возникает подобной проблемы.

Отметим, что идея питания нагрузки постоянным током не нова, но ранее ее воплощение сдерживалось необходимостью прокладки кабелей крупного сечения на большие расстояния между помещениями ИБП и ЦОД. Однако набирающая популярность модульная концепция построения ЦОД снимает эту проблему, так как в соответствии с ней ИБП может находиться в непосредственной близости или прямо в ряду стоек.

На рынке рассматриваются два варианта построения системы электропитания от постоянного тока: 48 В и 400 В. С одной стороны, система 48 В более безопасна и получила всеобщее признание за наилучшую эффективность передачи энергии на дальнее расстояние и за отсутствие опасности для человека из-за случайного касания токопроводящих элементов. С другой стороны, постоянное напряжение 400 В позволяет сделать оборудование более компактным и эффективным, а потери при передаче энергии нивелируются малой протяженностью трасс модульного центра обработки данных.

Юрий Хомутский — независимый эксперт в области инженерной инфраструктуры ЦОД. С ним можно связаться по адресу: yuriy@telecombloger.ru.