Влияние изоляции горячего и холодного коридоров на температуру и эффективность ЦОД

Изоляция горячего и холодного воздуха позволяет значительно улучшить эффективность и предсказуемость функционирования традиционных систем охлаждения в центрах обработки данных. Выбор горячего коридора вместо холодного позволит ежегодно экономить около 43% энергии, потребляемой системой охлаждения, что соответствует уменьшению показателя PUE на 15%. В данной статье анализируются оба подхода и разъясняются причины, по которым все чаще при строительстве новых ЦОД предпочтение отдается горячим коридорам.

Растущее потребление энергии и, как следствие, высокие расходы вынуждают рассматривать возможности применения в ЦОД стратегий изоляции горячего и холодного коридоров. Кроме эффективного использования энергии, это позволяет выравнять температуру воздуха на входе ИТ-оборудования и устранить зоны локального перегрева, обычно встречающиеся в традиционных неизолированных центрах обработки данных.

Хотя изоляция горячего коридора является предпочтительным решением во всех новых проектах и многих модернизируемых ЦОД, где имеется фальшпол, реализация этого решения может оказаться сложной и дорогостоящей из-за низкой высоты помещения или отсутствия доступного пространства над фальшпотолком. В таких условиях, несмотря на неоптимальность, изоляция холодных коридоров может оказаться наиболее практичным вариантом.

Изоляция как горячего, так и холодного коридоров обеспечивает значительную экономию энергии по сравнению со стандартными неизолированными решениями. В этой статье анализируется и количественно оценивается потребление энергии для обоих методов, на основании чего делается вывод, что первый вариант позволяет экономить на 43% больше энергии при использовании системы охлаждения — в основном благодаря увеличению продолжительности работы в экономичном режиме. Отсюда, в частности, следует, что в новых центрах обработки данных выгоднее обеспечить изоляцию горячего коридора.

ПРЕИМУЩЕСТВА ИЗОЛЯЦИИ — В ЭФФЕКТИВНОСТИ

Изоляция потоков горячего или холодного воздуха позволяет повысить эффективность работы систем охлаждения. При этом следует помнить, что обязательным условием для применения обоих типов изоляции является расположение рядов стоек таким образом, чтобы формировались чередующиеся горячие и холодные коридоры (на практике это означает, что передние части стоек одного ряда должны быть обращены к передней части смежного ряда).

• Повышение температуры подаваемого воздуха (и, как следствие, экономия энергии и увеличение холодопроизводительности) без негативных последствий для охлаждаемого оборудования. Чтобы устранить зоны локального перегрева, температуру систем охлаждения в случае неизолированного периметра приходится устанавливать на гораздо более низком уровне (приблизительно 13°C), чем требуется для ИТ-оборудования. Зоны локального перегрева возникают из-за того, что холодный воздух нагревается, продвигаясь от блока охлаждения до передней панели стойки. Изоляция позволяет увеличить температуру как подаваемого холодного, так и возвратного нагретого воздуха. Повышение температуры возвращаемого воздуха ведет к улучшению теплообмена в охлаждающем змеевике, увеличению холодопроизводительности и повышению общей эффективности системы охлаждения. Для некоторых устройств могут существовать ограничения на максимальную температуру возвращаемого воздуха, но в большинстве случаев все системы охлаждения способны обеспечить большую мощность при повышенной температуре возвратного воздуха.
• Устранение зон локального перегрева. Благодаря изоляции подаваемый охлажденный воздух достигает передней части ИТ-оборудования, не смешиваясь с горячим. Это означает, что температура подаваемого воздуха на выходе из блока охлаждения совпадает с температурой воздуха на входе в ИТ-оборудование независимо от места расположения последнего в стойке. Если смешения не происходит, температуру подачи воздуха можно увеличить без риска возникновения точек локального перегрева и без сокращения продолжительности работы в экономичном режиме.
• Увеличение продолжительности работы в экономичном режиме. Когда температура наружного воздуха ниже, чем внутри помещения, компрессоры системы охлаждения не включаются. При этом разница температур должна быть достаточно большой ввиду неэффективности теплообменников, неполноценной изоляции стен здания и других потерь. Повышение заданной температуры для системы охлаждения позволяет увеличить продолжительность ее работы с выключенными компрессорами и тем самым экономить энергию.
• Сокращение расходов на увлажнение и осушение. Благодаря повышению температуры подаваемого воздуха, система охлаждения работает при температуре, превышающей температуру конденсации. В таком случае влага не удаляется из воздуха, а значит, дополнительного увлажнения не требуется, что приводит к экономии энергии и воды.
• Лучшее использование инженерной инфраструктуры позволяет подобрать оптимальную мощность, что, в свою очередь, ведет к повышению эффективности работы оборудования. Устройства с избыточной мощностью отличаются более высокими постоянными издержками, однако при традиционном охлаждении избыточная мощность необходима, поскольку вентиляторы должны нагнетать давление в вентиляционном канале, чтобы воздух мог успешно преодолевать преграды под полом.

ИЗОЛЯЦИЯ ХОЛОДНОГО КОРИДОРА

Система Cold-Aisle Containment Systems (CACS) изолирует холодные коридоры, так что остальная часть ЦОД превращается в большую вентиляционную камеру для забора горячего воздуха, а потоки горячего и холодного воздуха разделяются.

Рисунок 1 иллюстрирует основные принципы изоляции холодного воздуха в центре обработки данных с фальшполом и расположенными по периметру блоками охлаждения. Развертывание CACS в ЦОД такого типа заключается в изоляции входа, выхода и потолка холодных коридоров, что делает эту модификацию подходящей для многих существующих ЦОД.

Рисунок 1. Система изоляции холодных коридоров в случае охлаждения всего помещения.

Иногда операторы ЦОД применяют собственные доморощенные решения, когда для изоляции холодных коридоров к потолку подвешиваются различные типы пластиковых штор (Рисунок 2). Некоторые поставщики предлагают потолочные панели и двери, которые крепятся к примыкающим стойкам, чтобы отделить холодный коридор от циркулирующего в помещении теплого воздуха.

Рисунок 2. Пример доморощенной системы изоляции холодного коридора.

ИЗОЛЯЦИЯ ГОРЯЧЕГО КОРИДОРА

Система Hot-Aisle Containment System (HACS) изолирует горячий коридор для сбора нагретого ИТ-оборудованием воздуха, при этом все остальное помещение представляет собой огромный вентиляционный канал для подачи холодного воздуха. Потоки горячего и холодного воздуха разделены. Рисунок 3 иллюстрирует основной принцип системы HACS.

Рисунок 3. Система изоляции горячего коридора при использовании рядных кондиционеров.

Пример реализации системы HACS в виде отдельной зоны с рядными кондиционерами показан на Рисунке 4.

Рисунок 4. Пример системы изоляции горячего коридора в виде независимой зоны.

Альтернативно система HACS может быть подключена к системе регулирования воздуха компьютерного зала (Computer Room Air Handler, CRAH) или крупному удаленному кондиционеру с помощью большой трубы, расположенной поверх всего горячего коридора (Рисунок 5). Основным преимуществом варианта изоляции HACS является возможность использования экономичных режимов работы кондиционера. Этот тип конструкции выгодно применять в крупных специально построенных ЦОД. Для более эффективной работы такой системы могут потребоваться готовые воздушные вентиляционные каналы большого размера и/или специально построенные здания. Поэтому этот вариант лучше всего подходит для строящихся или очень крупных ЦОД. Следует отметить, что упомянутые здесь варианты развертывания HACS можно использовать и в случае CACS, однако, как будет показано ниже, система HACS позволяет добиться более значительной экономии.

Рисунок 5. Система изоляции горячего коридора, подключенная к удаленному воздушному кондиционеру.

ВЛИЯНИЕ ИЗОЛЯЦИИ ВОЗДУХА НА РАБОЧУЮ СРЕДУ

Какой бы ни была система изоляции, сотрудникам все равно требуется работать внутри помещений ЦОД. В этой неизолированной области должен поддерживаться умеренный микроклимат, соответствующий нормам OSHA или ISO 7243 относительно температуры по влажному термометру (Wet-Bulb Globe Temperature, WBGT). Ниже отмечены следующие различия в неизолированной области:

• при изоляции холодного коридора в неизолированной области температура становится такой же, как и в горячем коридоре (оттенок красного на Рисунке 6);
• при изоляции горячего коридора в неизолированной области температура становится такой же, как и в холодном коридоре (оттенок синего на Рисунке 6).

Рисунок 6. Неизолированная рабочая среда при изоляции холодного и горячего коридоров.

В случае CACS высокая температура в горячем коридоре приводит к росту температуры в неизолированной области, что может стать проблемой для ИТ-персонала, тогда как в случае HACS нагретый воздух не распространяется за пределы горячего коридора и не создает дискомфорта для людей.

Обратите внимание — если ИТ-сотрудникам необходимо выполнять работу в горячем коридоре системы HACS, помещение охлаждается путем временного впуска холодного воздуха. Более того, даже если горячий коридор остается закрытым, нормы для рабочей среды все равно соблюдаются, поскольку, во-первых, персонал находится в горячем коридоре не постоянно, как в случае с CACS, а во-вторых, большая часть повседневной работы осуществляется с передней стороны ИТ-стоек.

Нормы OSHA позволяют работать/отдыхать в режиме 25% работы / 75% отдыха в горячем коридоре HACS, для которого максимальный индекс ТНС равен 32,2°C. Это означает, что температура горячего коридора системы HACS может достигать 47°C. (Индекс ТНС (WBGT) является мерой тепловой нагрузки и зависит от относительной влажности рабочей среды. При максимальной температуре горячего коридора, 47°C, относительная влажность в холодном коридоре составляет 45%.) Более высокая температура горячего коридора, допустимая в системе HACS, является основным преимуществом систем HACS над CACS, поскольку благодаря этому блоки CRAH работают значительно эффективнее.

Кроме создания комфортных условий для сотрудников, необходимо обеспечить надежную работу ИТ-оборудования. В версии стандарта ASHRAE TC9.9 2011 года рекомендуется, чтобы температура воздуха, поступающего в сервер, находилась в диапазоне 18–27°C. В случае CACS температура в неизолированной области повышается до 27°C, а при использовании ИТ-оборудования высокой плотности — до 38°C. При такой высокой температуре работать очень трудно. Сотрудникам придется привыкать к тому, что более высокая температура является нормальной и не служит признаком приближающегося сбоя системы.

Кроме того, когда ЦОД работает при повышенных температурах, специальные меры необходимо принять для обеспечения работы ИТ-оборудования, находящегося вне стоек, — например ленточных библиотек и мейнфреймов. При использовании системы CACS для этих устройств потребуются особые воздуховоды. Установка перфорированной плитки в горячем коридоре поможет охладить оборудование, но отрицательно скажется на изоляции. Помимо этого, необходимо проверить, как будут функционировать при повышенных температурах электрические розетки, освещение, средства пожаротушения и другие системы.

СРАВНИТЕЛЬНЫЙ АНАЛИЗ CACS И HACS

Чтобы определить наилучшие возможные показатели обеих систем, было проведено сравнение систем CACS и HACS в предположении отсутствия утечек горячего или холодного воздуха. Утечка через фальшпол обычно составляет 25–50%, а утечка изолированной системы — 3–10%. Другие предложения, принятые в ходе сравнительного анализа, указаны во врезке «Допущения, используемые при анализе». Продолжительность работы в экономичном режиме и итоговый показатель PUE были оценены для каждого сценария с помощью модели экономичного режима и модели PUE для центра обработки данных. Традиционный неизолированный ЦОД с экономичным режимом также был проанализирован и взят в качестве основы для сравнения эффекта, получаемого от изоляции холодного и горячего коридора CACS и HACS. Различные ЦОД с системами CACS и HACS анализировались с использованием трех температурных сценариев:

1. Постоянная температура на входе ИТ-оборудования — 27°C (максимальная рекомендованная ASHRAE температура подаваемого воздуха):

     а) значение для системы CACS — отсутствие ограничений на температуру в неизолированной области (горячем коридоре), что влияет на комфорт сотрудников и работу ИТ-оборудования вне стойки;

     б) значение для системы HACS — температура в изолированной области (холодном коридоре) соответствует температуре подаваемого в ИТ-оборудование воздуха.

2. Постоянная температура в неизолированной области — 27°C (максимальная рекомендованная ASHRAE температура подаваемого воздуха):

     а) значение для системы CACS — температуру подаваемого в ИТ-оборудование воздуха приходится снижать для поддержания требуемого микроклимата в неизолированной области (в горячем коридоре);

     б) значения для системы HACS — температура подаваемого в ИТ-оборудование воздуха соответствует ее значению в неизолированной области (в холодном коридоре).

3. Постоянная температура в неизолированной области — 24°C (стандартная расчетная температура внутри здания для обеспечения комфорта сотрудников):

     а) значение для системы CACS — температуру подаваемого в ИТ-оборудование воздуха приходится значительно снижать для поддержания требуемых рабочих условий в неизолированной области (горячем коридоре);

     б) значение для системы HACS — температура подаваемого в ИТ-оборудование воздуха соотетствует ее значению в неизолированной области (в холодном коридоре).

В Таблице 1 приведен краткий обзор результатов анализа с использованием следующих параметров:

• температура подаваемого в ИТ-оборудование воздуха по сухому термометру;
• неизолированная область — температура по сухому термометру (DB) и индекс тепловой нагрузки среды ТНС;
• продолжительность работы в экономичном режиме — количество часов за год, когда охладитель выключен;
• кубические метры в секунду (м3/с) — общий поток воздуха, поставляемого блоками CRAH, в процентном отношении от общего потока воздуха ИТ-оборудования;
• PUE — стандартный показатель эффективности для центров обработки данных.

Таблица 1. Влияние управления температурой неизолированной области для систем CACS и HACS.

В первой строке таблицы для сравнения представлены исходные значения для неизолированного ЦОД.

Результаты сценария № 1. В этом сценарии для обеих систем — CACS и HACS — продолжительность работы в экономичном режиме составила 6218 ч, а значение PUE — 1,65. Это говорит о том, что эффективность систем CACS и HACS одинакова, если не учитывать комфорт сотрудников и ИТ-оборудование, установленное вне стойки. Однако при использовании системы CACS температура неизолированной области составляет 41°C при относительной влажности 21%, что соответствует индексу ТНС 28°C, близкому к максимальному ограничению ТНС по нормам OSHA — 30°C. Это неприемлемая рабочая среда для ИТ-персонала и ИТ-оборудования, находящегося за пределами стойки. В действительности такая высокая температура вынуждает впускать холодный воздух в неизолированную область. Эффект утечки обсуждается далее в подразделе «Эффект утечки воздуха при теоретическом анализе».

Результаты сценария № 2. В этом сценарии при сохранении в неизолированной области постоянной температуры 27°C количество часов работы в экономичном режиме для системы CACS снижается до 2075 и значение PUE уменьшается на 13% (по сравнению со сценарием № 1). Итоговая температура, подаваемая в ИТ-оборудование, составляет 13°C. Показатели системы HACS остаются прежними, поскольку температура воздуха, подаваемого на вход ИТ-оборудования по сценарию № 1, та же, что и в неизолированной области по сценарию № 2. Обе системы (CACS и HACS) в сценарии № 2 позволяют сохранять температуру воздуха на входе ИТ-оборудования на приемлемом уровне, однако условия работы при таком значении нельзя назвать комфортными. По сравнению с CACS, система HACS позволяет использовать экономичный режим на 4143 ч дольше, а показатели PUE у нее — на 11% лучше.

Результаты сценария № 3. Температура в неизолированной области снижена до 24°C для обеспечения комфортной работы сотрудников. В таком случае продолжительность работы в экономичном режиме для системы CACS сокращается до нуля, показатель PUE ухудшается на 6% по сравнению со сценарием № 2, а температура воздуха, подаваемого в ИТ-оборудование, составляет 10°C. Продолжительность экономичной работы HACS всего 5319 ч, а значение PUE вырастает до 1,69 (на 2% хуже, чем в сценарии № 2). Обе системы CACS и HACS в сценарии № 3 обеспечивают приемлемую температуру рабочей среды и подаваемого в ИТ-оборудование воздуха. В случае использования системы HACS работа в экономичном режиме продлевается на 5319 ч, а кроме того, достигается 15-процентное улучшение показателя PUE по сравнению с системой CACS.

В Таблице 2 количественно оценивается потребление энергии в системах CACS и HACS в сценариях № 2 и № 3. Затраты на энергию указываются для следующих категорий потребителей: ИТ-оборудование, система энергоснабжения, система охлаждения и общее потребление энергии центром обработки данных:

• потребление ИТ-оборудования принимается постоянным и равным 700 кВт;
• в показатели потребления системы энергоснабжения включаются потери в распределительных щитах, генераторах, ИБП, основных и необходимых вспомогательных устройствах, освещении и распределительной сети;
• в показатели потребления системы охлаждения входят потери от охладителей, градирен, насосов для охлажденной воды, насосов для конденсаторной воды и расположенных по периметру блоков CRAH;
• общее потребление — это сумма всей энергии, потребляемой ИТ-оборудованием, системой энергоснабжения и системой охлаждения, от которой напрямую зависит показатель PUE.

Таблица 2. Сравнительный анализ расходов систем CACS и HACS при сценариях № 2 и № 3 (все суммы в долларах).

В типичном ЦОД, загруженном на 50%, большая часть энергии расходуется ИТ-оборудованием, а следующим по мощности потребителем являются системы охлаждения. Как видно из Таблицы 2, при использовании системы CACS понижение температуры в неизолированной области ведет к гораздо большему (на 6%) повышению энергозатрат, чем в случае системы HACS (увеличение на 2%). Это происходит потому, что при поддержании постоянной температуры в неизолированной области заданные значения для охлажденной воды в случае использования системы CACS всегда ниже, чем те же значения для системы HACS. По сути, штраф за снижение температуры охлажденной воды в системе CACS и дельта температур в серверных помещениях находятся в прямой зависимости друг от друга. Иначе говоря, если разница температур на входе и выходе серверов растет, то и штраф за CACS становится больше.

Как видно из Таблицы 2 по строке экономии в сценарии № 3, система охлаждения при использовании HACS потребляет на 43% меньше энергии, чем в случае CACS. Большая часть этого сокращения приходится на работу в экономичном режиме, когда охладитель выключен, как показано на Рисунке 7. При такой температуре рабочей среды система CACS не может использовать преимущества работы в экономичном режиме, так как подаваемая вода слишком холодна. Небольшая разница в потреблении энергии системой питания объясняется увеличением потерь на распределительном щите вследствие более продолжительной работы охладителя в случае использования системы CACS.

Рисунок 7. Сравнительный анализ ежегодного потребления энергии для системы охлаждения в сценарии № 3.

По сравнению с исходным случаем использования неизолированной системы, в сценарии № 3 при работе CACS система охлаждения потребляет на 25% больше энергии, а общее потребление ЦОД составляет на 8% больше полной энергии, тогда как в случае HACS система охлаждения потребляет на 28% меньше энергии, а ЦОД — на 8% меньше полной энергии.

Анализ показывает, что с учетом температуры рабочей среды в умеренном климате изоляция горячего коридора обеспечивает значительно большую продолжительность функционирования в экономичном режиме и более низкий показатель PUE по сравнению с изоляцией холодного коридора. Этот вывод справедлив независимо от того, какие системы охлаждения или методы отвода тепла используются.

ЭФФЕКТ УТЕЧКИ ВОЗДУХА ПРИ ТЕОРЕТИЧЕСКОМ АНАЛИЗЕ

В представленном выше анализе предполагалось, что системы CACS и HACS полностью герметичны и поэтому утечки между областями горячего и холодного воздуха отсутствуют. Это «грубое» предположение позволяет рассчитать максимальную эффективность блоков регулирования воздуха в компьютерном зале (CRAH) и произвести сравнение систем CACS и HACS. В действительности в системах CACS и HACS всегда происходит утечка холодного воздуха, поэтому вентиляторы CRAH должны нагнетать больше воздуха, чем это делает ИТ-оборудование, — данное утверждение справедливо и для блоков CRAH, оснащенных вентиляторами с регулируемой скоростью вращения. Сбалансированный поток воздуха должен быть равен потоку воздуха ИТ-оборудования плюс процент утечки воздуха из изолированной системы, например из-под фальшпола. Так, если блоки CRAH поставляют 47 м³/с воздуха и ИТ-оборудование потребляет 38 м³/с воздуха, оставшиеся 9 м³/с должны возвращаться в блоки CRAH.

Любой воздух, не востребованный для охлаждения ИТ-оборудования, ведет к напрасным потерям энергии. Эта неэффективно использованная энергия бывает двух видов: энергия вентиляторов, перемещающих воздух, и энергия насосов, направляющих охлажденную воду по змеевику CRAH. Кроме того, смешение холодного и горячего воздуха снижает производительность блока CRAH. Чем больше объем смешивающегося воздуха, тем больше блоков CRAH требуется для отведения того же количества тепла и сохранения подходящей температуры подаваемого в ИТ-оборудование воздуха.

Чтобы понять эффект утечки воздуха, предыдущий анализ был повторен для различных уровней утечки. Из-за увеличения потребления энергии вентиляторами в дополнительных блоках CRAH, в случае системы CACS энергии требовалось больше, чем для системы HACS. Это объясняется тем, что объемы холодного воздуха, смешиваемого с воздухом в горячем коридоре, в CACS больше, чем в HACS. В горячий коридор в системе HACS холодный воздух попадает в основном только из отверстий для кабелей на каждой стойке, в то время как в горячий коридор в системе CACS он попадает через множество отверстий: для кабелей на стойке, для БРП и из расположенных по периметру всего ЦОД щелей. Поэтому по сравнению с HACS утечка холодного воздуха возрастает на 50%. А экономия энергии охлаждения для обеих систем приблизительно одинакова.

В Таблице 3 приводится краткое сравнение систем CACS и HACS, основанное на характеристиках, обсуждаемых в этой статье.

Таблица 3. Результаты сравнения изоляции холодного коридора и изоляции горячего коридора.

ЗАКЛЮЧЕНИЕ

Предотвращение смешения горячего и холодного воздуха является ключевым моментом во всех эффективных стратегиях охлаждения ЦОД. По сравнению с традиционными подходами к охлаждению, системы HACS и CACS обеспечивают более высокую плотность мощности и лучшие показатели использования энергии. Изоляция горячего коридора является более эффективным подходом, чем изоляция холодного, поскольку она позволяет иметь более высокую температуру в горячем коридоре и повысить температуру охлаждающей воды, что приводит к увеличению продолжительности функционирования в экономичном режиме и значительному сокращению затрат на электроэнергию. Для системы охлаждения можно установить более высокие значения температуры, сохраняя комфортный микроклимат в неизолированной области ЦОД.

Согласно результатам проведенного анализа, система HACS позволяет на 43% снизить ежегодные затраты энергии (по сравнению с использованием CACS), потребляемой системой охлаждения, что соответствует 15-процентному уменьшению годового показателя PUE, при этом в неизолированной части ЦОД температура поддерживается на уровне 240C. Таким образом, можно сделать вывод, что при проектировании всех новых ЦОД в качестве стандартной системы изоляции следует использовать систему HACS. Если изоляция изначально не требуется, в конструкции ЦОД должна быть предусмотрена возможность последующего внедрения HACS. Для существующих центров обработки данных, оснащенных фальшполами и размещенными по периметру блоками охлаждения, может оказаться проще и дешевле установить CACS.

Джон Найманн — менеджер линейки продуктов внутрирядного охлаждения и небольших систем в компании Schneider Electric. Кевин Браун — вице-президент по вопросам предложения и разработки стратегии глобальных решений для центров обработки данных в компании Schneider Electric. Виктор Авелар — старший исследователь-аналитик исследовательского центра Data Center Science Center компании Schneider Electric.