Наиболее часто для оценки энергетической эффективности (далее — эффективность) ЦОД применяется значение Power Utilization Effectiveness (PUE) — отношение электрической мощности, потребляемой всем ЦОД, к мощности, потребляемой размещенной в нем нагрузкой. Оценка обеих частей отношения должна производиться за один и тот же период, который не может быть короче полного сезонного цикла.

В 2006 году самые эффективные в мире ЦОД имели PUE=1,33. Сегодня этот показатель составляет чуть меньше 1,15 (центры обработки данных Google). При этом с приближением к 1 сложность и стоимость решения возрастают в геометрической прогрессии. Для коммерческого ЦОД, где нельзя предсказать, какое ИТ-оборудование будет установлено в нем завтра, достижение PUE<1,4 почти невозможно. Например, один из крупнейших коммерческих центров обработки данных России модернизировал свой ЦОД в течение нескольких лет. В результате, как сообщили руководители этого предприятия, им удалось приблизиться к величине PUE=1,5. Это заявление лишний раз подтверждает мировой опыт, согласно которому более низких показателей можно достигнуть только за счет комплексного применения специальных технологий и принципов организации систем инженерной и ИТ-инфраструктуры ЦОД, причем предусмотреть их нужно еще на этапе разработки концепции.

Очевидно, что чем меньше PUE, тем меньше электроэнергии требуется для поддержки нагрузки. Например, для центра TIER 3 с площадью машинного зала 1000 м2 и оптовой ценой продажи стойки мощностью 5 кВт около 75 тыс. руб./месяц к шестому году жизни объекта разница в затратах на электроэнергию между PUE=2 и PUE=1,5 может составить 4 млн долларов.

Вот как, по данным компании Google, выглядит примерное распределение потерь в ЦОД:

  • 10–20% электроэнергии теряется при ее подводе к нагрузке;
  • 30–70% расходуется исключительно на охлаждение;
  • до 10% теряется в блоках питания ИТ-обрудования и на неэффективных микросхемах.

Непосредственное влияние на PUE оказывают первые два показателя. Их сокращение позволяет добиться большей эффективности инфраструктуры ЦОД.

КАК ДОСТИЧЬ МАКСИМАЛЬНОЙ ЭФФЕКТИВНОСТИ ЦОД

Вклад ИТ-оборудования. При эксплуатации собственных серверов желательно использовать модели со специальными высокоэффективными блоками питания и регуляторами напряжения.

По данным www.climatesaverscomputing.org серверы теряют до 40% входящей энергии. До 60% этих потерь можно нивелировать, если используемое оборудование поддерживает последнюю спецификацию Energy Star Technology, а кроме того, на оборудовании активированы все политики управления питанием Power Management. Перечень моделей, отвечающих данным требованиям, можно найти на указанном сайте.

Редко используемую — «холодную» — информацию желательно переместить на носители с низким потреблением электроэнергии, например на ленточные накопители, при этом перенесенная информация не должна оставаться в «горячих» хранилищах, так как они потребляют гораздо больше.

Знания об установленном оборудовании, его потенциальных требованиях к ресурсам и реальном потреблении, а также планирование будущих поступлений различных устройств, как своих, так и клиентских, позволит вести точный учет ресурсов ЦОД. Такой мониторинг позволяет избежать проблем из-за несоответствия ресурсов потребностям и, как следствие, предотвратить возникновение инцидента в результате перегрузки какой-либо из систем.

Вклад проектирования. Еще на этапе разработки эскиза желательно использовать комплексные, сбалансированные решения (APC, Emerson, Rittal), где все части инфраструктуры согласованы между собой. Если применяется техника разных производителей, интегратор должен специально указать, что представленное им оборудование отвечает указанным требованиям.

Проектирование ЦОД должно вестись в соответствии с последней редакцией американского стандарта TIA-942 или его европейского аналога EN 50173-5. Эти меры позволят избежать большого количества ошибок, которые уже после внедрения могут вылиться либо в увеличение ТСО, либо в переделку уже готового объекта. И то и другое ведет к неплановым финансовым потерям и увеличению сроков возврата инвестиций.

Все системы, подлежащие масштабированию, должны иметь соответствующий запас пространства для размещения дополнительного оборудования, резервные слоты для установки последующих модулей, зарезервированные точки подключения к силовым, водным и другим магистралям, наличие свободных посадочных мест для автоматов и свободных розеток в PDU.

Во всех помещениях ЦОД будет находиться габаритное и тяжелое оборудование. Поэтому с самого начала надо предусмотреть достаточные проемы для проноса оборудования, технологические коридоры, пандусы, углы поворота, места разгрузки, тестирования и хранения своего и клиентского оборудования.

Покрытие стен должно изготавливаться из негорючего (желательно светлого) материала, способного отталкивать пыль; в некоторых случаях может потребоваться установка гидро-, звуко-, вибро- и магнитной изоляции. В помещениях ЦОД не должно быть неконтролируемых источников тепла, холода, влажности, а также окон. В помещениях над ЦОД не должно быть водопровода, а также труб канализации, отопления и «чужой» климатической системы.

Десять лампочек по 100 Вт за год потребляют электроэнергии почти на 1000 долларов, а на охлаждение нагретого ими воздуха придется потратить еще 400–500 долларов. Поэтому в основном и рабочем освещении желательно предусмотреть использование датчиков присутствия и энергосберегающих ламп.

Места прокладки систем распределения электропитания, холодогента, информационных и силовых кабелей лучше спланировать заранее, с учетом развития. Их длину желательно минимизировать, по возможности сократить количество труб с холодогентом и крутизну их изгибов, предусмотреть свободный доступ ко всем магистралям.

Вклад диспетчеризации. Желательно, чтобы информация от всех систем консолидировалась на диспетчерской консоли, архивировалась и выдавалась по запросу, в том числе в виде контекстно-зависимой цепочки событий. Тогда, например, в понедельник можно будет установить, что перегрев одной из стоек произошел в субботу из-за того, что ее дверь долгое время была открыта, при этом камера наблюдения зафиксировала, что инцидент произошел по вине неавторизованного сотрудника, который воспользовался чужой картой доступа. (Обратите внимания, сколько систем задействовано в данном расследовании.)

В целях лучшего планирования распределения ресурсов и предотвращения их несанкционированного отбора рекомендуется реализовать систему учета раздаваемых клиентам ресурсов и их лимитирования, а также сбор и предоставление отчетов, на основании которых клиентам будут выставляться счета. Таким образом заказчик сможет убедиться в точности и прозрачности взаимоотношений, что положительно скажется на имидже КЦОД.

Сейчас ни один ЦОД не обходится без мониторинга и управления, при помощи которых удается в реальном времени решать три задачи:

  • точное распределение ресурсов в соответствии с требованиями потребителей;
  • генерация информации для эффективного управления производительностью инженерных систем;
  • сбор информации для контроля за эффективностью всего центра обработки данных путем мониторинга энергопотребления различным оборудованием и для постоянного расчета PUE.

Вся информация должна сохраняться и в любое время быть доступной для анализа и отчетности.

Алгоритмы переключения систем распределения, аварийных систем, систем контроля доступа и другая логика работы и реакции на инциденты должны быть хорошо продуманы, прописаны и утверждены. Автоматика управления отвечает за те участки, где требуется миллисекундная реакция по простейшему алгоритму, например ввод резерва или запуск дизеля. При этом настройка должна выполняться очень внимательно и проверяться путем проведения множества тестов. Простейший пример — рассогласование значения границ напряжения входной сети для команд на переход к питанию от ИБП и времени запуска дизеля после перехода на ИБП. При этом может произойти разряд батарей, а ДГУ не запустится.

Все критические решения должны приниматься людьми в соответствии с заранее утвержденными алгоритмами и регламентами поведения. Это позволит снизить влияние человеческого фактора.

Вклад электропитания. Потери электроэнергии в основном возникают при преобразовании электричества и в проводниках, выделяющих тепло. Потери на трансформацию энергии можно снизить путем выбора оборудования с максимальным КПД в основных режимах эксплуатации. У производителя силового оборудования или его поставщика нужно потребовать диаграмму зависимости КПД от уровня загруженности устройства или хотя бы его конкретные значения для уровней 30, 50, 70 и 95%.

Для ИБП, как правило, КПД близок к максимальному при уровне загрузки 60–90%. Если реальное потребление меньше 50%, КПД источника быстро падает — вплоть до 60% и ниже. Чтобы избежать огромных потерь электроэнергии, схему подключения следует формировать таким образом, чтобы оборудование работало в наиболее эффективном режиме. Более выгодным оказывается подключение по схеме N+1, чем по 2N, когда ИБП всегда работает с нагрузкой менее 50%, что влечет за собой потери электроэнергии, уходящей в тепло. К тому же это тепло надо выводить из помещения, а значит, электроэнергия расходуется еще и на кондиционирование.

Поэтому следует выбирать новейшие модели ИБП с более высоким КПД в самом широком диапазоне мощностей. Такими характеристиками обладают, например, ИБП с транзисторами IGBT. Трансформаторные подстанции желательно заказывать в специальном исполнении с повышенным КПД. Дополнительная стоимость окупается за два года эксплуатации.

Потери на тепло в проводниках достаточно малы, однако и ими не стоит пренебрегать. Длина магистралей силовых кабелей должна быть заранее минимизирована. Кроме того, не стоит увлекаться нагрузкой с питанием от 48В — при таком низком напряжении потери тепла в проводах заметно выше.

Следует избегать перекоса фаз. Для этого нужно осуществлять централизованный мониторинг баланса фаз, а также отслеживать нагрузку по фазам непосредственно в стойках. Эти же меры снизят вероятность сбоя оборудования в результате перегрузки. По возможности рекомендуется использовать трехфазную нагрузку.

Многие проблемы, присущие классической схеме бесперебойного и гарантированного электропитания, позволяет решить применение динамических ИБП. В России есть единичные примеры их внедрения, однако на Западе такое оборудование уже давно применяют на объектах с большим энергопотреблением (до 1 МВт и более). Теоретические расчеты и практика показывают значительное снижение ТСО на ДИБП перед обычной связкой ДГУ+ИБП, причем по мере увеличения срока эксплуатации этот показатель возрастает.

Выбор типа кондиционирования. Выбор системы охлаждения является самым важным вопросом для любого центра обработки данных — с точки зрения как затрат, так и отказоустойчивости. Обычно для установки техники выделяется помещение с небольшим запасом пространства вокруг стоек. А это, даже при современном уровне тепловыделения, предполагает настолько скорый перегрев ИТ-оборудования, что система не успевает перейти на ДГУ (к нему обычно и подключают систему кондиционирования), так что ИБП в ЦОД становятся просто бесполезными.

Чтобы такого не происходило, при использовании фреоновых кондиционеров необходимо подключить их к ИБП, а при выборе водного охлаждения — в контур с ним установить накопительный бак. Из-за пусковых токов компрессоров многих систем кондиционирования требуемая мощность ИБП для фреоновой системы может оказаться довольно большой. Для водного охлаждения размер бака в контуре рассчитывается, исходя из того, что за время работы нагрузки от ИБП вода в нем нагреется не более чем на 10°С. К ИБП или дополнительному источнику придется подключить водяные помпы и вентиляторы в кондиционерах, но мощность их невелика.

Другая важная и, пожалуй, самая «жаркая» тема в кондиционировании — способ доставки воздуха к стойкам: с помощью фальшпола (InRoom), посредством нескольких расположенных в рядах со стойками кондиционеров (InRow) или за счет установки индивидуально охлаждаемых стоек (InRack). В принципе существуют другие варианты, однако в КЦОД, где мощность машинного зала составляет более 50 кВт, реализуется, как правило, один из этих трех.

В любом ЦОД всегда имеются как минимум два переносчика тепла (или холода): воздух и один из двух возможных холодогентов в трубах — вода или фреон. При этом если вода или фреон строго локализуются, то охлажденный воздух часто «гуляет» по машзалу.

Выбор способа доставки воздуха до нагрузки следует проводить с учетом аспектов масштабируемости, эффективности, управляемости, сроков внедрения, пределов по мощности, удобству обслуживания и т. д. В рамках статьи нет возможности представить их сравнительный анализ, поэтому приведем лишь вывод: наиболее эффективным для кондиционирования коммерческого ЦОД мощностью от 4-5 кВт на стойку, на мой взгляд, является применение подходов InRow. Единственный недостаток заключается в сложности установки некоторых систем старшего класса, для которых требуется нестандартная подача холодного воздуха. Но такая необходимость возникает нечасто, и в залах с InRow она решается. Системы, где используется фальшпол, имеет смысл применять, только если мощность оборудования в стойке не превышает 6–8 кВт. InRack предпочтительно использовать по специальному требованию заказчика.

Правила повышения эффективности кондиционирования.

Прежде всего от интегратора надо потребовать комплексный проект, где кондиционирование является частью согласованной, масштабируемой и эффективной инфраструктуры ЦОД. Часто ЦОД разделяется на зоны, которые отдаются в распоряжение разным компаниям, а в результате заказчик получает неуправляемый проект и неэффективный комплект оборудования.

Далее приводятся конкретные рекомендации для повышения эффективности кондиционирования. В результате их использования можно получить центр обработки данных с PUE=1,5.

Зал следует проектировать таким образом, чтобы разница температур на входе и выходе кондиционера была максимальной, что обеспечивает достижение его наибольшей эффективности. Для блейд-серверов желательно выделить отдельную зону и установить там дополнительные кондиционеры. По сравнению со стандартным оборудованием ИТ они могут работать с бóльшей на 100С температурой на выходе. Это позволяет повысить эффективность кондиционеров. В США рекомендовано повышать температуру в холодном коридоре до 26,6°С. Практически все производители оборудования ИТ предоставляют такую возможность, при этом объем электроэнергии, расходуемой на охлаждение, уменьшается.

Воздух всегда пойдет по наикратчайшему пути с наименьшим сопротивлением. Отсюда следует общее правило для всех схем воздухообмена: чем меньше возможностей для смешивания воздушных потоков между горячим и холодным коридорами, тем система ближе к идеальной. Добиться этого можно путем локализации горячих и холодных коридоров, посредством установки в стойках заглушек на пустующих местах, закрытия щелей между нагрузкой и стенками шкафа, а также за счет обеспечения свободного доступа к нагрузке холодного воздуха — неорганизованный пучок кабелей не должен блокировать поток. Схему всех магистралей необходимо проектировать в соответствии с выбранным уровнем отказоустойчивости и с расчетом на будущее развитие ЦОД.

На рынке присутствует множество брендов холодильного оборудования. При выборе модели кондиционера следует обращать внимание на его совместимость с остальными частями комплекса ЦОД, например, чтобы шаг масштабирования соответствовал этапам развития.

Технические характеристики кондиционеров, безусловно, имеют важное значение. Очевидно, предпочтение следует отдавать оборудованию с более высоким КПД компрессора, а наиболее обоснованный выбор позволит сделать анализ представленной производителем диаграммы зависимости КПД кондиционера от производимой мощности холода. Более эффективны устройства, оснащенные компрессорами с автоматической регулировкой мощности, а также имеющие функцию быстрого и плавного старта. Кондиционеры должны иметь средства регулировки скорости оборотов вентилятора.

Для минимизации расходов на увлажнение — а это довольно значительные потери энергии — желательно, чтобы выбранная модель кондиционера обеспечивала охлаждение без образования конденсата. Цена вопроса — 4–6 кВт потерь на каждые 50–70 кВт мощности зала. На любых объектах севернее Краснодара рекомендуется установка системы Free Cooling.

Согласно античным источникам, идея фальшпола принадлежит предпринимателю, жившему на рубеже II–III веков до нашей эры в местечке Байя, располагавшемся во Флегрейской низменности (территория современной Италии), которая известна своими термальными источниками. Этот богатый предприниматель впервые настелил фальшпол для обогрева своих терм горячим паром, поступающим из недр земли.

Альтернативные системы перемещения охлажденного воздуха в зале ЦОД появились совсем недавно. Все они гораздо эффективней технически, легче и точнее в управлении, проще и дешевле в обслуживании, надежней, а для большинства задач еще и экономически эффективнее. Однако до сих пор преобладают ЦОД, где применяется древнейший принцип переноса воздуха, и что более удивительно — как много все еще проектируется и строится таких центров!

Что это? Страх заказчика перед новыми технологиями и нежелание вникать в тему? Сделаю, как все делают, — у всех работает, и у меня будет? Или холодный расчет практичного интегратора: спроектировать и настелить фальшпол дешевле внедрения новых технологий — а значит, с ним легче выиграть конкурс на реализацию проекта? О недостатках заказчику можно и не говорить, тем более, что зачастую его интересует только одно: низкая цена. В подавляющем большинстве случаев на принятие решения влияют обе причины. Поэтому, специально для тех, кто все-таки выбрал технологию, которой уже более двух тысяч лет, ряд рекомендаций ниже.

Внутренние блоки кондиционеров должны располагаться напротив горячего коридора. Между блоком и холодным коридором желательно установить преграду, чтобы выходящий из-под фальшпола холодный воздух не устремился обратно в кондиционер.

Все неиспользуемые отверстия в фальшполу (или фальшпотолке) должны быть закрыты. Если кабели к шкафу подводятся снизу, то место ввода следует закрыть специальной плиткой со щеточками (это остановит воздух). А лучше всю разводку проводить поверх шкафов. Перфорированная плитка должна предусматривать возможность регулирования степени проникновения воздуха в стойки. Для высоконагруженных стоек желательно устанавливать решетку.

Если в зале размещаются стойки с тепловыделением выше расчетного, то желательно установить дополнительные вытяжки в навесной потолок или предусмотреть принудительный наддув с помощью «активного» фальшпола. Однако при этом надо следить, чтобы рядом находились только стойки с пониженным тепловыделением и суммарная величина тепловыделения не превышала проектного значения.

Крайне желательно, чтобы под фальшполом и за подвесным потолком не было никаких предметов, которые могут создать зону турбулентности, а значит как минимум снизить эффективную мощность охлаждения. К сожалению, силовая и информационная кабельные системы часто размещаются именно там. Если это каким-то образом обосновано, то лотки следует располагать в горячем коридоре, параллельно потоку воздуха, и прикреплять их к плиткам фальшпола.

Зачастую в целях торможения воздушного потока перед высоконагруженными стойками устанавливают заслонки. Это обоснованно только для последнего ряда. Если же за заслонкой находятся другие ряды стоек, то трудно даже предположить, как будут вести себя потоки воздуха, а значит и осуществляться охлаждение.

Для обеспечения эффективного кондиционирования с помощью фальшпола во всех его зонах требуется создать статическое давление. При достижении определенного предела простое увеличение скорости вентиляторов обеспечивает лишь динамическое давление. Поток воздуха становится неоднородным, и в некоторых местах статическое давление может даже упасть. Это называется эффектом инжекции, когда воздух засасывается обратно под фальш-пол. Чтобы избежать такого развития событий, высота фальшпола и навесного потолка (они должны быть равны) либо зона над стойками должны соответствовать максимальной мощности в стойках. Например, для 5 кВт на стойку достаточно 1 м.

Охлаждение с помощью фальшпола неэффективно по определению. Для контроля статического давления потребуется информация о давлении и скорости потока в разных местах под фальшполом и на его выходе, а также о температуре на входе и выходе из стойки. Даже если вы провели такой мониторинг и отрегулировали, например, плитки, изменение мощности хотя бы в одной из стоек потребует повторной регулировки всех элементов. Во многих ли центрах обработки данных так делается? Я не знаю ни одного такого ЦОД.

Чаще всего датчики температуры имеются только в самих кондиционерах, и перегрев в одной из стоек не влияет на их работу. А это уже опасно из-за повышения вероятности отказа. Правда, многие ЦОД сейчас проектируются с датчиками в стойках. Тогда в случае скачка мощности в каком-либо отсеке ближайший кондиционер начнет работать интенсивнее, но вместе с проблемной стойкой он заодно переохладит все стоящие рядом с ней. Такой подход очень неэффективен. Что же касается охлаждения с использованием принципов InRow и InRack, то подобное решение позволяет добиться оптимального распределения воздушных масс в ЦОД, к тому же контролировать эти системы проще, как и управлять ими.

Для кардинального снижения PUE есть смысл рассмотреть нетрадиционные системы охлаждения ЦОД. Эффективность их внедрения необходимо рассчитывать для каждого проекта индивидуально. При этом надо быть готовым к более дорогому обслуживанию и большей вероятности ошибки при внедрении. В качестве примера рассмотрим две из них.

Устройство, в котором применяется технология подготовки холодной воды, основанная на принципе ее испарения, называется градирня. Цель испарительного охлаждения состоит в минимизации времени работы чиллеров. Когда это требуется, обе системы (чиллеры и градирня) работают одновременно. Использовав этот принцип, в среднем по всем своим площадкам Google сократил энергетическую составляющую накладных расходов на 19%. Это отличный результат, особенно с учетом того, что, по данным EPA, в типичном ЦОД энергетическая составляющая расходов может достигать 96%.

Не часто встретишь проекты, где для охлаждения привлекается внешняя среда. Это может быть вентиляция с подмешиванием наружного воздуха во внутренний, но при этом становится трудно контролировать чистоту и влажность помещения. Два года назад появилась технология с использованием роторных теплообменников Kyoto Cooling, однако пока нет достаточной информации для оценки ее реальных преимуществ и недостатков. Всякое внедрение нового на рынке оборудования — это риск для владельца, однако в случае удачи он сможет значительно снизить свои расходы на кондиционирование и, соответственно, уменьшить величину PUE, повысить свою конкурентоспособность и эффективность инвестирования.

ИТОГ

Мы надеемся, что представленная информация позволит сориентироваться в вопросах повышения эффективности ЦОД. Может быть, она поможет будущим владельцам коммерческих центров обработки данных быстрее вернуть инвестиции, а опытных специалистов заставит критически проанализировать план модернизации уже существующего ЦОД.

Олег Михнев — эксперт по эффективности ЦОД. С ним можно связаться по адресу: omikhnev@gmail.com.