Энергоэффективность — теперь и в России

Как указывает Руслан Заединов, заместитель генерального директора компании «Крок», отвечающий за направление ЦОД, раньше в России к «зеленым» технологиям прибегали лишь тогда, когда, несмотря на изобилие энергоресурсов в целом, доступных мощностей для конкретного объекта ЦОД не хватало. Сейчас же все больше руководителей понимают, что при эксплуатации энергонеэффективных решений огромные средства «вылетают в трубу», поэтому растет число компаний, включающих внедрение «зеленых» технологий в список приоритетных задач.

Если в области корпоративных ЦОД интерес к энергосберегающим решениям действительно вырос, то владельцы коммерческих центров более инертны. Как отмечает Александр Корсунский, ведущий эксперт агентства «Современные Телекоммуникации», в ходе опроса, проведенного в 2010 году, было выявлено, что операторы российских КЦОД не проявляют заметного интереса к энергосберегающим решениям из-за значительных инвестиционных затрат на их внедрение.

Видимо, многие владельцы коммерческих ЦОД живут прошлым, когда на рынке услуг ЦОД наблюдался дефицит мощностей, а цена на эти услуги росла. Но сейчас время другое: предложение опережает спрос, и некоторые площадки простаивают. Изменившаяся ситуация подстегивает к поиску и внедрению более эффективных решений. При этом им есть из чего выбирать: по крайней мере, на форуме «Мир ЦОД» большинство компаний, представляя свои решения, делали акцент именно на их энергоэффективности.

АЗБУКА PUE

Наиболее часто используемым показателем энергоэффективности ЦОД служит коэффициент Power Usage Effectiveness (PUE), который определяется как отношение полной энергии, подаваемой на площадку, к энергии, потребляемой ИТ-оборудованием (см. Рисунок 1). Кроме того, для характеристики энергоэффективности применяют коэффициент Datacenter Efficiency (DCE) — величину, обратную PUE (DCE = 1/PUE), и еще ряд показателей. Но по своей популярности среди специалистов PUE опережает все их вместе взятые.

Итак, при определении PUE в числителе указывается полная энергия, поступающая в ЦОД. Большая ее часть идет на электропитание чиллеров, насосов, кондиционеров и других элементов, необходимых для обеспечения «комфортных» условий работы ИТ-оборудования. К этому оборудованию питание поступает через систему бесперебойного электроснабжения, где неизбежны потери в дизель-генераторах, ИБП, кабельных трассах, распределительных щитах, блоках распределения (PDU) и т. п. Часть энергии тратится на поддержку работы средств освещения, обеспечения физической безопасности (пожарная сигнализация и пожаротушение, определение протечек, контроль физического проникновения) и других вспомогательных подсистем. К основному (ИТ) оборудованию ЦОД относятся в первую очередь серверы и системы хранения данных, а также сетевое и телекоммуникационное оборудование (коммутаторы и маршрутизаторы). Потребности ПК, принтеров и других устройств, используемых обслуживающим персоналом, по сравнению с остальными категориями потребителей относительно невелики, но их тоже следует учесть при оценке энергозатрат ИТ-оборудования.

Общение с российскими владельцами ЦОД показывает, что большинство из них даже приблизительно не знают, каково значение PUE у их объекта. Причина банальна — отсутствие необходимых измерительных средств. Собственно говоря, в мире в целом именно нежелание тратить деньги на их покупку и установку является главным препятствием на пути сбора информации об энергоэффективности ЦОД — в опросе, проведенном в 2009 году организацией Green Grid, эту причину указали 39% респондентов. Одно лишь перечисление трудностей, которые могут возникнуть на пути получения данных о реальной энергоэффективности ЦОД, может занять несколько страниц. Скажем, если ЦОД располагается в здании, где находятся еще и другие потребители (например, в офисном центре), то далеко не всегда просто выделить его энергозатраты в отдельную категорию — например, система освещения (или вентиляции) ЦОД и всего здания могут получать питание от одного источника. В ИТ-оборудовании все чаще применяют встроенные средства охлаждения, что размывает границу между ИТ и вспомогательными системами при расчете энергопотребления. И т. д. и т. п.

Но, несмотря на все сложности, измерения (или, по крайней мере, оценка) необходимы, чтобы вообще можно было вести разговор об уровне энергоэффективности и его повышении. Поэтому все больше владельцев ЦОД приобретают измерительное оборудование и делятся с общественностью данными по PUE. Так у кого сколько?

PUE ≥ 2,5. Практически во всех ЦОД, построенных до того, как на показатель PUE стали обращать внимание (то есть 5–10 лет назад), его значение находится в диапазоне от 3 и выше. Это значит, что до ИТ-оборудования доходит только 30% поступившей на объект электроэнергии, а зачастую меньше. Типичное распределение потребления имеет вид, представленный на Рисунке 2. Данные опроса Green Grid показывают, что по состоянию на начало 2009 года для 13% ЦОД в мире PUE превышает 2,5.

1,5 ≤ PUE < 2,5. В это «окно» энергоэффективности попадают большинство современных ЦОД. Именно так оценили свои объекты около 40% респондентов Green Grid. Очевидно, что на значение PUE, помимо всего прочего, влияет и размер объекта — в крупных ЦОД чаще используются последние достижения по «озеленению». По мнению Алексея Солодовникова, директора подразделения Schneider Electric Datacenter Solution Team (компания АРС by Schneider Electric), для небольших площадок PUE в диапазоне 1,5–2,0 — это очень хороший результат.

PUE < 1,5. 8% участников опроса Green Grid указали, что коэффициент энергоэффективности их ЦОД составляет менее 1,5. Это, без преувеличения, отличный показатель, ведь в ЦОД приходится «содержать» огромное количество вспомогательного оборудования. В анонсах новых (как правило, только проектируемых) ЦОД сегодня указываются целевые PUE даже менее 1,1. Комментируя такие сообщения, Алексей Солодовников подчеркивает, что столь близкие к единице показатели PUE чаще всего достигаются при использовании только появившихся, то есть непроверенных, технологий. При этом часто применяют только охлаждение заборным воздухом (режим свободного охлаждения, фрикулинг), ИБП работают на байпасе, а инженерные системы реализуются без какого-либо резервирования.

Желание повысить энергоэффективность за счет снижения уровня надежности может оказаться очень опасным и привести к недопустимому риску отключения основного оборудования, поэтому всегда очень важно соблюсти должный баланс между энергоэффективностью и надежностью. Кстати, уже не раз упоминавшееся исследование Green Grid показало, что средний коэффициент PUE для ЦОД уровня Tier III (1,95) ниже, чем на объектах Tier IV (примерно 2,1), где степень резервирования инженерных систем выше.

PUE < 1 (!?). Некоторые владельцы ЦОД утверждают, что коэффициент PUE их объектов составляет менее 1, например 0,8, за счет того, что вырабатываемое ЦОД тепло идет на решение других задач. На самом деле PUE по определению не может быть меньше единицы, и все подобные утверждения изначально некорректны.

Но регенерация, безусловно, полезное дело. Как отмечает Александр Шапиро, начальник отдела инженерных систем «Корпорации ЮНИ», использование выделяемого тепла для обогрева офиса, теплиц или водоема, где соседнее хозяйство разводит карпов, это те деньги, которые возвращаются владельцу ЦОД. Бесполезный выброс в атмосферу мегаватт тепла становится действительно обременительным делом, однако Алексей Солодовников рекомендует прежде всего выяснить, сколько будут стоить решения, позволяющие с выгодой задействовать тепло, выделяемое ИТ-оборудованием.

По информации специалиста АРС by Schneider Electric, для оценки эффективности регенерации тепла Green Grid планирует предложить показатель Energy Re-use Factor (ERF). Он определяется почти так же, как и PUE, только из полной энергии, потребляемой ЦОД, вычитается выделяемое ИТ-оборудованием тепло, которое направляется на практическое использование (см. Рисунок 3).

Как уже говорилось, системы электропитания и кондиционирования — основные потребители энергии в ЦОД. Как же можно снизить их энергопотребление?

ИБП: ПРОЦЕНТ ТУДА, ПРОЦЕНТ СЮДА

В крупных ЦОД источники бесперебойного питания (ИБП) пропускают через себя мегаватты электричества, поэтому повышение их КПД способно существенно сократить расходы. Самый очевидный способ достижения этого — улучшение качества элементной базы, но в этом отношении все ведущие производители достигли предела своих возможностей, и различие в КПД, связанное с вариацией качества компонентов, составляет не более 0,5–1%. Бороться здесь уже практически не за что.

При сравнении КПД следует учитывать, что в большинстве ЦОД нагрузка вводится в эксплуатацию постепенно, поэтому системам бесперебойного электропитания большую часть времени приходится работать при неполной загруженности. Следовательно, и КПД надо оценивать при реальной загрузке, скажем 0,25 или 0,5. Если КПД источников предыдущих поколений существенно снижался при повышении уровня загрузки, то в новейших разработках всех ведущих производителей при уровне нагрузки от 0,3 до 1 этот показатель изменяется в пределах тех же 0,5–1%.

С точки зрения схемотехники ИБП следует различать устройства, где используются трансформаторы, и где они отсутствуют. По данным Анатолия Маслова, технического эксперта компании Chloride, бестрансформаторные схемы позволяют повысить КПД на 1–1,5%. Андрей Вотановский, технический специалист компании Emerson Network Power, к преимуществам бестрансформаторных ИБП относит также их малый вес и небольшие габариты, низкий входной коэффициент нелинейных искажений (что достигается без применения фильтров) и широкие возможности управления. Однако у устройств этого типа отсутствует встроенная гальваническая развязка, поэтому существует вероятность (пусть и минимальная) попадания в нагрузку постоянной составляющей тока. Кроме того, по словам Андрея Вотановского, бестрансформаторные ИБП высокой мощности дороже трансформаторных.

Главное достоинство последних — максимальная безопасность для нагрузки (встроенная гальваническая развязка). Но при этом они характеризуются большим весом и габаритами, высоким входным КНИ (для его снижения необходима установка дополнительных фильтров) и весьма ограниченными возможностями управления. Среди преимуществ трансформаторных решений Виктор Лапидус, заместитель генерального директора компании «Абитех», называет улучшенную работу с нелинейными нагрузками (гармоники тока замыкаются через обмотки и компенсируют друг друга) и с несбалансированной нагрузкой — в частности, применяемые в ИБП компании GE Digital Energy трансформаторы Zig-Zag распределяют ток нагрузки равномерно между транзисторами инвертора, тогда как в бестрансформаторных ИБП мост инвертора испытывает несбалансированную токовую нагрузку, что приводит к неравномерному износу компонентов. Как видим, отсутствие трансформатора имеет не только свои плюсы, но и минусы, поэтому более высокий КПД бестрансформаторных решений далеко не всегда означает, что эти устройства станут заведомо правильным выбором.

Одной из наиболее рекламируемых в последнее время энергосберегающих функций является экорежим, но заказчики крайне редко применяют его на практике, опасаясь снижения надежности решения. В ЦОД, как правило, устанавливают ИБП с двойным преобразованием энергии, в которых показатели напряжения и частоты на выходе не зависят от аналогичных же показателей на входе (VFI). Такие ИБП обеспечивают «чистое» питание нагрузки независимо от состояния электрической сети, но из-за двойного преобразования энергии имеют невысокий КПД (93–96%). Классический экорежим при приемлемом качестве электричества переключает нагрузку на байпас, что значительно повышает КПД — до 98–99%. Именно электропитание нагрузки в процессе такого переключения вызывает опасение у заказчиков.

По словам Анатолия Маслова, время переключения определяется временем срабатывания статического переключателя, которое происходит при прохождении синусоиды напряжения через нуль. Такое состояние возникает каждые полпериода, а значит, максимальное время переключения составляет 10 мс, отсутствие питания в течение указанного периода времени вполне приемлемо для ИТ-оборудования. Эксперт компании Chloride считает, что следует обратить внимание и на другие проблемы. Во-первых, если при работе на байпасе произойдет скачок напряжения, то под удар попадает нагрузка (ИБП не успеет перевести нагрузку на линию чистого питания). Во-вторых, при наличии сильно искажающей нагрузки (с большой нелинейностью) все искажения будут транслироваться в питающую сеть.

В первом случае для устранения негативных последствий необходимо, чтобы при работе в экорежиме в цепи байпаса находился пассивный фильтр, подавляющий всплески напряжения. Но такой фильтр не обеспечивает защиты от выхода искажений наружу. Для этого можно использовать активный фильтр, роль которого в ИБП Trinergy компании Chloride выполняет инвертор. Он позволяет стабилизировать напряжение на нагрузке в определенном диапазоне (примерно ±10%) и компенсировать искажения, идущие во внешнюю сеть. В зависимости от степени этой компенсации, КПД решения варьируется от 96 до 98%.

Вывод, который делает Анатолий Маслов, заключается в том, что сегодня экорежим из маркетингового слогана превратился в реально работающее надежное решение. При наличии указанных выше фильтров заказчик может смело применять его, что позволит экономить как энергетический ресурс, так и денежные средства. Пожалуй, если говорить о классических ИБП, то именно экорежим представляется на сегодня наиболее эффективным средством энергосбережения.

ОХЛАЖДЕНИЕ: ПРОСТОР ДЛЯ ЭКОНОМИИ

Однако те несколько процентов экономии, которые дают правильный выбор и грамотная эксплуатация ИБП, не идут ни в какое сравнение с десятками процентов выигрыша за счет повышения эффективности систем охлаждения, в первую очередь за счет изоляции потоков горячего и/или холодного воздуха и использования технологий естественного охлаждения (фрикулинг).

Как отмечает Константин Пальшин, директор Data Center Solution компании Rittal, если в помещении ЦОД происходит смешение холодного и теплого воздуха, температура подаваемого воздуха должна быть на несколько градусов ниже температурного предела, предусмотренного для охлаждения серверов.

В качестве примера он приводит проект, в котором изоляция холодных коридоров дала возможность существенно повысить температуру воздуха без какого-либо негативного влияния на охлаждение серверов. В том же проекте повышение температуры подаваемой воды с 12 до 17°C позволило увеличить долю естественного охлаждения на 24,2% при той же мощности охлаждения.

Выбор температуры охлаждающего воздуха на входе в серверы — одна из наиболее остро обсуждаемых сейчас тем (понятно, чем она выше, тем в большей мере можно использовать естественное охлаждение). Если в своем стандарте 2004 года организация ASHRAE (Aмериканское сообщество инженеров по обогреву, охлаждению и кондиционированию воздуха) не рекомендовала, чтобы эта температура превышала 25°C, то в новом стандарте, выпущенном в 2008 году, планка поднята до 27°С (см. Таблица 1). Широко известная высокой энергоэффективностью своих ЦОД компания Google поддерживает температуру на входе серверов в пределах 26–27°С.

Одним из главных препятствий на пути внедрения систем с функцией естественного охлаждения в России является существенное повышение капитальных затрат: чиллер с фрикулингом стоит не менее чем на 25% дороже обычного, не имеющего подобного режима работы. Как отмечает Александр Шапиро, в нашей стране дискуссия о фрикулинге развернулась с подачи западных игроков, где стоимость электроэнергии в 2,5–3 раза выше, чем в России, а сам чиллер на 10–20% дешевле, что и создает выгодный баланс для внедрения таких систем. В России решения с фрикулингом окупаются не так быстро, как декларируется в материалах западных производителей.

В то же время климатические условия большинства регионов России располагают к внедрению фрикулинга, поэтому все более широкое применение соответствующих технологий у нас просто неизбежно. И успешные примеры уже имеются, причем даже в не слишком крупных ЦОД. Так, в новом центре обработки данных ОАО «Мосэнергосбыт» — крупнейшей энергосбытовой компании страны, обслуживающей более 230 тыс. предприятий и 6,2 млн бытовых потребителей Москвы и Московской области, — применены чиллеры с функцией фрикулинга. По расчетам специалистов компании «Инфосистемы Джет», интегратора проекта, использование режима фрикулинга обеспечит ежегодную экономию электричества на сумму около 1 млн рублей, так что дополнительное оборудование (необходимое для реализации фрикулинга) окупится за 2–2,5 года. В настоящее время в центре размещено около 100 серверов, а его общее энергопотребление не превышает 320 кВА. Базовая инфраструктура ЦОД построена с учетом масштабирования до уровня энергопотребления чуть менее 1 МВт.

На форуме «Мир ЦОД» Андрей Андреев, технический директор проекта компании Ayaks Engineering, поделился опытом эксплуатации первого в России проекта по свободному охлаждению ЦОД на базе роторного регенератора. Это устройство обеспечивает передачу холода от воздуха с улицы (он прогоняется через внешний контур) воздуху, который циркулирует во внутреннем контуре и служит для охлаждения ЦОД. Если внешняя температура не превышает 22°C, система способна без использования дополнительного охлаждения (например, чиллерного) поддерживать температуру воздуха на входе в серверы на уровне 24°C. Если последний показатель повысить до 27 °C (как уже говорилось, рекомендации ASHRAE это допускают), то диапазон фрикулинга расширяется до 25°C. Дополнительное применение в системе камеры адиабатного увлажнения в наружном контуре позволяет работать без чиллера при температуре наружного воздуха до 29°C.

Получается, что в подмосковном регионе (где и эксплуатируется первая такая установка) практически круглый год можно обслуживать ЦОД с помощью системы естественного охлаждения на базе роторного регенератора. Правда, небывалая жара лета 2010 года может существенно изменить расчет времени работы без использования традиционных средств охлаждения. Основные ограничения применения разработки Ayaks Engineering — большие габариты. Например, система, рассчитанная на отвод от ИТ-оборудования 500 кВт тепла, имеет ротор диаметром более 6 м.

PUE НЕ ГЛАВНОЕ

Обсудив возможные пути снижения показателя PUE за счет сокращения энергопотребления основных инженерных систем (электропитания и охлаждения), следует обратить внимание и на само ИТ-оборудование. Как отмечает Алексей Солодовников, снижение PUE не является самоцелью, главное — сократить расходы на электричество. А это можно делать и за счет прямого снижения энергопотребления ИТ — в частности, за счет виртуализации, существенно повышающей коэффициент использования серверов, типовое значение которого сегодня находится на недопустимо низком уровне — 10–15%.

«PUE ЦОД — это верхушка айсберга, — заявил Алексей Солодовников. — Надо рассматривать влияние на карбоновый след всего процесса ИТ, а он начинается с энергозатрат на разработку оборудования и заканчивается затратами на его утилизацию». Что же, будем надеяться, что учет и оптимизация подобных циклов станут актуальны и для российской отрасли ИТ.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.