Модули холода

Основные тенденции в области охлаждения ЦОД состоят в перемещении кондиционеров (источников холода) ближе к основному оборудованию (источнику тепла), более активном использовании технологий естественного охлаждения и поиске новых, максимально экономичных способов охлаждения.

Первая тенденция проявляется в росте популярности двух видов систем охлаждения — внутрирядных, когда блоки кондиционеров встраиваются в ряды монтажных стоек, и внутристоечных, обеспечивающих локальное охлаждение на уровне отдельного шкафа. В обоих случаях блоки охлаждения обычно снабжаются водой или другим жидким теплоносителем, а поскольку и те и другие можно добавлять по мере развития ЦОД, такие решения часто называют модульными.

Интерес к модульным системам охлаждения обусловлен в первую очередь повышением средней мощности энергопотребления в расчете на одну стойку. Когда эта характеристика превышает определенный уровень (обычно 5–10 кВт на стойку), применение классического решения — шкафных кондиционеров типа CRAC, работающих на весь вычислительный зал и подающих воздух под фальшпол, — становится невозможным или экономически неэффективным. Вместе с плотностью энергопотребления повышается и динамика его изменения, что связано с внедрением технологий виртуализации. Динамическая оптимизация использования вычислительных ресурсов может приводить к тому, что пики потребления электроэнергии будут перемещаться от стойки к стойке внутри вычислительного зала.

По данным, которые приводит Алексей Соловьев, инженер проектов Data Center Solution Team компании APC by Schneider Electric, внутрирядные кондиционеры, появившиеся около пяти лет назад, занимают сегодня порядка 15% всех систем кондиционирования в ЦОД, что дает основание говорить об их успешности. Он подчеркивает, что размещение кондиционеров в непосредственной близости от источников тепла позволяет повысить эффективность их работы и предсказуемость охлаждения в целом. Например, выделение группы шкафов с максимальным тепловыделением в отдельную зону даст возможность применять адекватное охлаждение в соответствии с мощностью потребления, не переохлаждая все помещение ЦОД.

К преимуществам внутрирядных систем, помимо возможности охлаждать стойки с высоким уровнем тепловыделения, эксперты относят сокращение пути «следования» охлаждающего воздуха (следовательно, энергозатраты на его подачу уменьшаются), отсутствие необходимости в фальшполе и более равномерное распределение воздуха в холодном коридоре.

Важным достоинством таких систем Илья Зальмеж, инженер компании «АйТи», считает их компактность. Если для традиционного решения необходимы значительный по высоте фальшпол, а также зона над кондиционером для беспрепятственного забора нагретого воздуха, то внутрирядные системы гораздо менее требовательны к высоте помещения. Кроме того, внутрирядный кондиционер занимает значительно меньшую площадь, чем традиционный. Он утверждает, что если сравнить внутрирядный и шкафной кондиционеры с одинаковой холодопроизводительностью (20 кВт), то с учетом сервисной зоны второй займет в полтора раза большую площадь.

Дмитрий Чагаров, руководитель направления вентиляции и кондиционирования компании «Утилекс», указывает на то, что система охлаждения, построенная с применением внутрирядных кондиционеров, менее инерционна, чем классическая: «После полной остановки системы выход на рабочие параметры осуществляется значительно быстрее, что позволяет сократить электропотребление. Кроме того, более равномерное распределение воздушного потока по высоте стойки значительно снижает вероятность появления зон перегрева».

В РЯД СТАНОВИСЬ!

Рынок внутрирядных кондиционеров с каждым годом расширяется. Виктор Гаврилов, технический директор компании «АМДтехнологии» считает, что с появлением большого числа моделей таких кондиционеров у проектировщиков появилась возможность оптимизировать построение системы охлаждения с учетом специфики конкретного объекта. Сегодня внутрирядные кондиционеры шириной 300 и 600 мм, работающие как на холодной воде, так и на фреоне, поставляют APC by Schneider Electric и Emerson Network Power. Компания Stulz в этом году начала выпуск серии кондиционеров шириной 400 и 600 мм. Airedale и RC Group тоже предлагают решения, работающие на воде или фреоне. Rittal, Knuerr (в составе Emerson Network Power), Hiref, Conteg, Schroff, Apra и ряд других компаний выпускают внутрирядные кондиционеры, работающие на захоложенной воде и позволяющие реализовать как открытую, так и закрытую архитектуры.

За последний год компания «АМДтехнологии» использовала внутрирядные кондиционеры в пяти проектах мощностью от 20 до 600 кВт. Причем выбор в пользу таких решений был обусловлен разными причинами. Как рассказывает Виктор Гаврилов, в одном случае серверная находилась в цокольном этаже здания с высотой потолка 2,3 м, и для подобного помещения установка внутрирядных кондиционеров оказалась идеальным решением. На двух объектах шла реконструкция, и наращивание мощностей ЦОД осуществлялось без отключения основного оборудования. В имевшихся системах кондиционирования использовались шкафные кондиционеры с раздачей воздуха через пространство фальшпола, высоты которого было недостаточно для работы дополнительных кондиционеров. По этой причине вновь устанавливаемые серверные стойки было решено охлаждать при помощи внутрирядных кондиционеров (фреоновых, с выносными конденсаторами), они позволили увеличить мощность одного ЦОД на 150 кВт, а другого — на 280 кВт. Для двух других объектов применение внутрирядных кондиционеров было вызвано необходимостью отводить от серверных стоек более 15 кВт тепла. В этих случаях применялись блоки, работающие на холодной воде, и чиллеры с функций фрикулинга — по мнению технического директора компании «АМДтехнологии», сегодня это решение можно считать почти идеальным.

Рисунок 1. Изоляция коридора при использовании шкафов разных типоразмеров.

По данным компании Conteg, из десяти подготавливаемых ее инженерами проектов в среднем шесть или семь основаны на использовании внутрирядных кондиционеров. Как отмечает Анатолий Бутенко, региональный менеджер Conteg в России, коммерческие ЦОД, в стремлении повысить эффективность инфраструктуры, часто запрашивают решения по изоляции холодных коридоров, при этом особый интерес представляет возможность их использования, когда в ряд установлены шкафы не только разных торговых марок, но и разных типоразмеров (см. Рисунок 1). Научным учреждениям и производственным предприятиям требуются наращиваемые модули закрытой архитектуры охлаждения — такой модуль состоит из шкафа с уровнем защиты IP54 и кондиционерного блока, и впоследствии его можно наращивать, добавляя кондиционеры и шкафы. Специалисты Conteg считают, что данное решение позволяет упростить строительную подготовку помещений ЦОД и снизить расходы на проектирование системы пожаротушения (модули охлаждения снабжаются локальной системой пожаротушения).

Компания «АйТи» в своих проектах все чаще сталкивается с необходимостью снимать со стоек тепловые нагрузки, превышающие 12 кВт. Для подобных случаев ее специалисты рекомендуют применять закрытую архитектуру охлаждения на уровне стойки. По их мнению, дальнейший рост тепловых нагрузок повысит спрос на такие решения.

В числе недостатков внутрирядных схем эксперты компании Hosser Telecom Solutions (HTS) называют значительное удорожание системы, более сложный монтаж, неудобства для обслуживающего персонала, связанные с проведением работ в горячем коридоре (температуры порядка 30–35°С), а также проблемы с распределением холодного воздуха в случае выхода из строя одного из внутрирядных кондиционеров. По данным Михаила Балкарова, технического эксперта компании Emerson Network Power, стоимость монтажа и обслуживания одного большого кондиционера практически в пять раз меньше, чем у заменяющих его пяти маленьких рядных. В случае внутристоечных решений расходы возрастают еще в несколько раз.

Константин Чарковский, руководитель отдела кондиционирования компании «Юнион Групп», обращает внимание на то, что при использовании внутрирядных кондиционеров для резервирования часто требуется чрезмерная избыточность: для протяженных коридоров не хватает схемы резервирования N+1 и приходится использовать вариант N+2 или N+3. Кроме того, внутрирядные кондиционеры занимают площадь, на которую можно было бы установить дополнительные стойки, в то время как классическая схема охлаждения допускает вынос шкафных кондиционеров за пределы вычислительного зала.

Хотя внутрирядные и внутристоечные блоки охлаждения во многом соответствуют привлекательной концепции модульности, нельзя забывать о том, что возможности масштабирования могут быть ограничены характеристиками базовой инженерной инфраструктуры. Чтобы построить действительно эффективную систему, надо еще на этапе проектирования учесть особенности дальнейшего развития, в частности, заранее смонтировать систему трубопроводов для подключения дополнительных внутрирядных кондиционеров, когда возникнет такая необходимость.

Определенную дискретность в процесс масштабирования вносят и характеристики самих внутрирядных кондиционеров. Как отмечает Владислав Яковенко, руководитель отдела инфраструктурных проектов компании «Комплит», «выбрав производителя оборудования и температурный диапазон холодоносителя (10/15 или 7/12°С), мы получим вполне конкретный шаг наращивания, например 30 кВт “холода” на каждый “внутрирядник”. Конечно, его можно регулировать, но при тепловой нагрузке ниже 12 кВт применять такое решение нерационально, а брать другую модель неудобно по причине повышения сложности управления. Так что холодопроизводительность на уровне ряда или помещения может меняться с дискретностью выбранных “кубиков”».

Максим Амзараков, главный конструктор Stack Labs, считает наиболее перспективными модульные системы охлаждения, которые ориентированы не на зональное распределение нагрузки, а на обеспечение благоприятного общего климата в серверном помещении. Такие решения должны предусматривать возможность гибкого управления воздушными потоками в серверном зале и подвода необходимого ресурса энергопитания в нужный момент времени. При таком подходе не требуется устанавливать дополнительные элементы системы охлаждения вместо стоек и не возникает проблем с размещением в одном зале оборудования с разной нагрузкой.

«КЛАССИКА» НЕ СДАЕТСЯ

По мнению Михаила Балкарова, на сегодняшний день, по крайней мере в США, выработалось достаточно четкое разделение сфер применения основных вариантов систем охлаждения. В случае небольших инсталляций (от 5 до 30 стоек) или компактных выделенных зон высокой плотности практически без альтернатив используется внутрирядное охлаждение — как с контейнеризацией, так и без нее. Внутристоечное охлаждение чаще всего реализуется при наличии специальных требований (типичный пример — суперкомпьютеры), для большинства ЦОД оно по-прежнему дорого. «В больших инсталляциях, как правило, отдается предпочтение классическому подходу, — утверждает Михаил Балкаров. — При этом не всегда выбирается привычный вариант расстановки кондиционеров у стены, а при необходимости возможен дополнительный локальный теплосъем доводчиками непосредственно в рядах и/или в стойках».

Несмотря на весомые преимущества внутрирядных систем охлаждения, по данным HTS, классические системы на базе шкафных кондиционеров CRAC остаются наиболее распространенным решением для задачи охлаждения ЦОД. Отказ от использования CRAC в пользу внутрирядных систем может быть вызван архитектурными особенностями помещения, где планируется разместить ЦОД (низкие потолки, наличие ригелей, препятствующих нормальной циркуляции воздушных потоков, и т. д.), а также высокой удельной тепловой нагрузкой на стойку. Если таких ограничений нет, то, как считают в HTS, рассредоточить тепловую нагрузку между множеством стоек с оборудованием будет намного проще и дешевле, чем построить надежную и отказоустойчивую внутрирядную систему охлаждения в расчете на обслуживание стоек с очень высокой плотностью тепловыделения.

Рисунок 2. Использование вытяжных труб совместно с классической системой охлаждения (шкафные кондиционеры, подающие холодный воздух под фальшпол).

Как полагает Алексей Карпинский, директор департамента технологического консалтинга компании «Астерос», среди причин сохранения устойчивого спроса на «классику» — высокая цена модульных (внутрирядных и внутристоечных) систем и ограничения на их использование, поскольку некоторые «тяжелые» вычислительные комплексы и системы хранения данных были изначально спроектированы в расчете на охлаждение из-под фальшпола. Кроме того, риск поломки подобных систем достаточно высок — это оборудование является новым для большинства производителей, и им еще только предстоит решить задачу повышения качества и надежности. По данным «Астерос», около 30–40% заказчиков экспериментируют с модульными системами, остальные по-прежнему придерживаются «классики», и во многих проектах применяются оба подхода к организации охлаждения.

Рисунок 3. Система охлаждения «холодная стена» — deltaclima CoolWall.

Классические решения тоже развиваются и дорабатываются, например, комплектуются средствами изоляции холодных/горячих коридоров и/или вытяжными трубами (см. Рисунок 2), что значительно повышает эффективность охлаждения. Поставщики традиционных кондиционеров выводят на рынок довольно необычные решения. Так, компания Weiss Klimatechnik выпустила систему «холодная стена» — deltaclima CoolWall (см. Рисунок 3), которая состоит из модульных элементов двух типоразмеров и может быть установлена в залах с различной планировкой. По сравнению с обычным прецизионным кондиционером, занимающим столько же места, решение CoolWall обеспечивает удвоение холодопроизводительности, а большая рабочая площадь теплообменника позволяет использовать чиллерную воду более высокой температуры.

ФРИКУЛИНГ 1.0

Естественное охлаждение (фрикулинг) — главный способ повышения энергоэффективности ЦОД? до недавнего времени в России применялся редко. Основными причинами эксперты называли дешевое электричество, а также низкий уровень предельных температур, рекомендуемых для работы ИТ-оборудования.

С ростом тарифов на электроэнергию проблема сокращения эксплуатационных затрат на содержание инженерной инфраструктуры становится все более актуальной. И многие руководители обращают внимание не только на общую величину инвестиций в создание ЦОД, но и на будущие эксплуатационные расходы, поэтому и системы с фрикулингом используются все чаще. Эксперты HTS утверждают, что сегодня практически любой крупный ЦОД проектируется и создается с использованием технологии фрикулинга. Впрочем, на этот счет существуют и другие мнения. Так, Дмитрий Чагаров из компании «Утилекс» полагает, что за последние годы популярность систем с фрикулингом не слишком повысилась: специалисты все еще подвержены «водобоязни» и верят в миф об огромной стоимости подобных систем.

По словам Михаила Балкарова, в России традиционно наибольшим спросом пользуются моноблочные модели чиллеров, которые зимой работают именно за счет фрикулинга, поэтому подавляющее число продаж и раньше составляли модели с функцией естественного охлаждения. В последнее время в Emerson Network Power часто поступают заказы на шкафные кондиционеры с фрикулингом. Специалисты этой компании утверждают, что, применяя традиционный жидкостный чиллерный фрикулинг, сегодня вполне возможно создать систему с коэффициентом PUE 1,3 для условий средней полосы РФ — при этом совсем необязательно использовать чиллеры с дорогими турбинными компрессорами.

Важной причиной предпочтительного использования чиллеров с фрикулингом является то, что оборудование, не оснащенное такой функцией, приходится дорабатывать для зимних условий, а это приводит к его удорожанию. По словам Ильи Зальмежа, разница в стоимости между чиллером с фрикулингом и чиллером, доработанным для функционирования при температурах от -30 до +40°C, невелика, поэтому выбор в пользу первого варианта оправдан, к тому же он способствует сокращению расходов на электричество.

Говоря об эффективности чиллеров со встроенным фрикулингом, Евгений Вишневский, технический директор компании United Elements Engineering, отмечает, что они позволяют экономить энергию, когда температура наружного воздуха опускается ниже температуры теплоносителя (около +10-12°С), а не при -5--0°С, как в случае использования сухих градирен. Это преимущество особенно существенно для регионов с умеренным климатом, где климатический период с температурой за окном от 0 до +12°С гораздо продолжительнее, чем в местах с холодным и/или резко континентальным климатом.

В погоне за высокой энергоэффективностью не стоит забывать, что оборудование, позволяющее существенно снизить потребляемую кондиционерами электрическую энергию, требует дополнительных капитальных затрат. Эксперты HTS предупреждают, что в случае маломощных систем охлаждения, холодопроизводительностью порядка 150–200 кВт, создание действительно надежной системы с функцией фрикулинга может оказаться нецелесообразным с экономической точки зрения. Поэтому для небольших серверных помещений имеет смысл использовать более дешевые классические системы охлаждения без фрикулинга.

ФРИКУЛИНГ 2.0, ИЛИ «ЗЕЛЕНОЕ» ОХЛАЖДЕНИЕ

В традиционных решениях (чиллеры или внутренние кондиционеры с функцией фрикулинга) естественное охлаждение рассматривается лишь как дополнение к основным режимам работы. Под системами Green Cooling принято понимать решения, в которых режим естественного охлаждения является доминирующим. По данным APC by Schneider Electric, в определенных климатических условиях подобные «зеленые» решения могут экономить более 70% годовой стоимости энергии, идущей на охлаждение. В России наиболее известны системы Kyoto Cooling, опирающееся на аналогичные принципы решение компании Ayaks Engineering, а также новая разработка APC? EcoBreeze.

В основу систем Kyoto Cooling и Ayaks Engineering положен роторный теплообменник — вращающееся металлическое «колесо» больших размеров, которое за счет прогона уличного воздуха через внешний контур обеспечивает охлаждение воздуха, циркулирующего во внутреннем контуре ЦОД (см. Рисунок 4). По словам Андрея Андреева, технического директора проекта компании Ayaks Engineering, выпускаемая ими система способна без дополнительных средств охлаждения (например, чиллеров) при уличной температуре до +22°С поддерживать температуру воздуха на входе в серверы на уровне +24°С. Если температуру воздуха на входе в сервер повысить до +27°С, то диапазон фрикулинга расширяется до +25°С. Дополнительное применение в системе камеры адиабатного увлажнения в наружном контуре позволяет работать без чиллера при температуре наружного воздуха до +29°С. Применение подобных разработок серьезно ограничено большими габаритами оборудования. Например, система Ayaks Engineering, рассчитанная на отвод 500 кВт тепла, имеет ротор диаметром более 6 м.

Рисунок 4. Принцип работы системы на основе роторного теплообменника.

Решение EcoBreeze (см. Рисунок 5) сочетает в себе три способа охлаждения: прямое охлаждение «воздух – воздух» работает постоянно; при превышении окружающей температурой порога в +7°С (эта величина может регулироваться в ту или иную сторону в зависимости от требуемых параметров воздуха в ЦОД) подключается дополнительное орошение; при температуре +27°С (этот параметр тоже настраивается) активируется фреоновый контур. Таким образом, при низких температурах система обходится и без воды, и без фреона, работая только от окружающего воздуха; когда температура на улице повышается, задействуется орошение; а если и этого оказывается недостаточно для обеспечения заданного температурного режима — компрессоры.

Рисунок 5. Общий вид системы EcoBreeze.

Система EcoBreeze, как и многие другие решения APC by Schneider Electric, построена по модульному принципу — охлаждающие модули (каждый модуль размером 1,1x2,6x2,9 м обеспечивает мощность охлаждения 50 кВт) могут добавляться постепенно, по мере роста нагрузки. По словам Алексея Соловьева, применение подобных систем охлаждения совместно с другими энергоэффективными компонентами инженерной инфраструктуры ЦОД позволяет достичь значений среднегодового PUE в пределах 1,25–1,3.

Рисунок 6. Прямой фрикулинг: холодный наружный воздух подается непосредственно в помещение ЦОД.

Для использования описанных выше систем воздушного теплообмена уровня здания требуется обязательное разделение горячего и холодного воздуха в вычислительном зале, а конструкция самого здания и планировка прилежащей территории должны обеспечивать размещение охлаждающих модулей. Поэтому при модернизации существующего помещения или строительстве нового ЦОД необходима серьезная проектная работа.

К технологиям «зеленого» охлаждения относят и прямой фрикулинг, когда холодный наружный воздух подается непосредственно в помещение ЦОД (см. Рисунок 6). Такой подход уже применен в ряде зарубежных ЦОД, в частности, на объекте компаний Cisco в Техасе, Yahoo в Локпорте (штат Нью-Йорк), в модульном ЦОД Merlin, построенном компанией Capgemini в Англии. Представленные компанией HTS данные (см. Таблицу 1) свидетельствуют о существенном снижении расходов на электроэнергию при использовании кондиционеров компании Stulz с функцией прямого фрикулинга. Во время работы без участия компрессора (когда для охлаждения используется только наружный воздух) теплообменник такого кондиционера откидывается и прижимается к стенке, чтобы снизить сопротивление воздуху и получить дополнительную экономию электроэнергии. В случае высокой температуры наружного воздуха система может работать как с использованием холодной воды от чиллера, так и по парокомпрессионному циклу.

Некоторые эксперты высказывают скептические замечания в отношении решений «зеленого» охлаждения. Так, по словам Михаила Балкарова, мало того что используемым в системах типа Kyoto Cooling роторным теплообменникам требуется помещение размером с охлаждаемый ими вычислительный зал, они еще сильно обмерзают зимой и прекращают работу, да и поддержание необходимого уровня влажности при их использовании становится проблематичным. «Относительно компактные системы с прямой подачей уличного воздуха имеет смысл применять, только если вы готовы менять свои серверы раз в два года, — говорит эксперт Emerson Network Power. — Поддерживать влажность в нашем климате с их помощью невозможно, что сокращает срок службы оборудования». По его мнению, самой выгодной и надежной является система классического жидкостного фрикулинга.

Обсуждая перспективы применения технологий воздушного теплообмена уровня здания, таких как Kyoto Cooling или APC EcoBreeze, Владислав Яковенко напоминает, что российские заказчики очень консервативны и чрезвычайно редко применяют оригинальные идеи, пришедшие из-за рубежа. «Спрос на подобные решения появится лишь в том случае, если центры обработки данных будут строить преимущественно на удалении от мегаполисов или хотя бы в обширных промзонах, а сам проект здания будет разрабатываться под бизнес-задачи ЦОД», — говорит он.

ASHRAE ИГРАЕТ НА ПОВЫШЕНИЕ

Энергоэффективность систем охлаждения и «коридор» применения фрикулинга во многом определяются верхним пределом рабочих температур для оборудования ИТ. Обычно в качестве такого предела используется значение, рекомендуемое Американской ассоциацией инженеров в области отопления, холодоснабжения и кондиционирования воздуха (ASHRAE). В первой редакции своих рекомендаций (Thermal Guidelines for Data Processing Environments), опубликованной в 2004 году, ASHRAE установила верхний предел в +25°С, во второй (2008 год) — +27°С. Сейчас готовится третья редакция, в которой планируется дальнейшее повышение, хотя конкретные данные пока не опубликованы.

Каждое повышение порога температуры воздуха, допустимого для серверного зала, воспринимается с оптимизмом специалистами, ратующими за системы естественного охлаждения. По данным, которые приводит Максим Амзараков, в случае использования в ЦОД Московского региона решений Kyoto Cooling или APC EcoBreeze при верхнем пределе температур в +25°С можно работать 95% времени в году без подключения дополнительных источников охлаждения, а при +27°С — 98%. Главный конструктор Stack Labs обращает внимание и на то, что ASHRAE расширяет не только температурный диапазон, но и допустимые границы по относительной влажности, что открывает перспективы для более широкого применения систем прямого фрикулинга.

«Для серверного и сетевого оборудования большинства производителей верхние пределы рабочей температуры уже давно составляют +40°С. Слабое место — жесткие диски: у большинства из них лавинообразный рост числа отказов происходит, начиная примерно с +30°C. Впрочем, при переходе на технологии SSD эта проблема будет решена», — полагает Михаил Балкаров.

Анатолий Бутенко призывает очень осторожно подходить к повышению верхнего предела рабочих температур в действующем ЦОД. Важно убедиться в том, что не только ИТ-оборудование выдержит такое повышение, но и система кондиционирования (например, с фреоновым хладагентом) справится со своей задачей при увеличении температуры на выходе из ИТ-оборудования — причем без повышения энергопотребления. «Рекомендации ASHRAE относительно допустимой температуры следует рассматривать в комплексе с другими рекомендациями той же ASHRAE и лучшими практиками. Необходимо тщательно анализировать возможные последствия, связанные с повышением рабочей температуры? как положительные, так и отрицательные», — советует он.

АЛЬТЕРНАТИВНЫЕ ВАРИАНТЫ

В международной практике известно много примеров нестандартного подход к организации охлаждения в ЦОД. Это, например, размещение серверов под землей (в пещерах) и на баржах, использование масла в качестве охлаждающего элемента и т. д. и т. п. В свое время широкий резонанс получила идея Google использовать морские волны в качестве источника энергообеспечения и морскую воду для охлаждения ЦОД, построенных на плавсредствах. Ниже приведены мнения экспертов о некоторых альтернативных подходах.

Размещение резервуара с холодной водой глубоко под землей. По мнению Михаила Балкарова, использование холода земли совершенно не подходит для обсуждаемых задач: «Такие системы более или менее рентабельны при мощностях в несколько киловатт, что к современным ЦОД не имеет никакого отношения». К минусам подобного размещения резервуара с холодной водой Алексей Карпинский относит то, что такой вариант является сложным и весьма дорогим с точки зрения обслуживания закопанных емкостей и эксплуатации системы в целом.

Использование холодной воды из подземных источников. Алексей Карпинский предупреждает: «Прежде чем пробурить скважину и сделать забор воды, предстоит пройти сложную процедуру согласования всех документов, которая может затянуться на длительный срок. Более того, Росприроднадзор как регулирующий орган вряд ли позволит направить стратегические запасы пресной воды на охлаждение ЦОД». Михаил Балкаров однозначно утверждает, что использование подземных источников воды для прямоточного охлаждения запрещено законодательно, считая это абсолютно правильным.

Использование воды из озера или реки. Это очень интересное решение, имеются успешные западные примеры его реализации. По мнению Михаила Балкарова, такой подход можно применять на большей части территории РФ и почти не тратить энергии на охлаждение ЦОД. Однако использование подобной системы в нашей стране жестко ограничено Водным кодексом, и согласовать такой проект крайне сложно.

Охлаждение испарением (адибатное). «Все новое — это хорошо забытое старое, — напоминает Евгений Вишневский из компании United Elements. — Еще двадцать лет назад широко использовались форсуночные камеры, которые летом выполняли функцию кондиционирования. Но они недостаточно гигиеничны, и потому их стали заменять на системы охлаждения на базе парокомпрессионных или абсорбционных машин (чиллеров)». Предлагаемые сегодня в рамках концепции Green Cooling решения тоже используют форсуночное распыление воды, но образуемая при этом влага не попадает в обслуживаемый объект, а выбрасывается в атмосферу, присутствуя только во внешнем контуре, который связан с внутренним рециркуляционным контуром через теплообменник рекуперативного типа.

По словам технического директора компании United Elements, применение подобных систем значительно (почти на 85%) сокращает потребность в механическом охлаждении, а для некоторых регионов позволяет полностью отказаться от него либо использовать чиллеры лишь в качестве средства резервного холодообеспечения. Кроме того, он отмечает, что в последнее время наметилась тенденция преимущественного использования рекуперативных теплообменников пластинчатого типа вместо первоначально предлагавшихся роторных теплообменников, а также наблюдается более жесткий подход к качеству используемой воды, что вызывает необходимость соответствующей ее подготовки, как правило методом обратного осмоса.

По мнению специалистов HTS, чтобы обеспечить все потребности охлаждения за счет технологии испарения, ЦОД должен располагаться в климатическом поясе, где средняя температура воздуха невысока. Там, где летом жарко, эта технология может использоваться как вспомогательная (что предусмотрено, например, в системе EcoBreeze) для повышения эффективности всей системы охлаждения. Ряд экспертов с юмором отнеслись к обсуждению экзотических способов охлаждения. Так, Дмитрий Чагаров рекомендовал стилизовать градирню под музыкальный фонтан, который, помимо функции отвода тепла, будет радовать глаз и слух.

На сегодняшний день практически все системы охлаждения предполагают прохождение холодного воздуха через сервер. Различия в том, как осуществляется его охлаждение до нужной температуры. Многие эксперты отмечают, что будущее систем охлаждение ЦОД — в непосредственном подводе холодоносителя к источнику тепла (например, процессорам) без промежуточной среды — воздуха. Сейчас уже есть прототипы таких систем охлаждения, но высокая стоимость пока сдерживает их внедрение.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.