Для адаптивной инженерной инфраструктуры типичного ЦОД полная стоимость владения за 10-летний период может достигать 80-150 тыс. долларов на каждую стойку. В этих расходах существенную долю составляет стоимость потребляемой электроэнергии — около 20% от общих затрат. Большая ее часть теряется (рассеивается в виде тепла), причем уровень этих потерь можно существенно уменьшить. По оценке экспертов, по всему миру ЦОД потребляют более 40 триллионов киловатт-часов в год, поэтому снижение потерь становится значительным фактором общественной жизни, а также одной из основных финансовых задач операторов ЦОД.

В типичных упрощенных моделях энергетической эффективности ЦОД роль электрических потерь недооценивается, и поэтому реальный экономический эффект от повышения КПД обычно существенно больше ожидаемого. В данной статье представлена улучшенная модель, дающая более точное значение величины энергетических потерь в ЦОД, а также приводятся рекомендации по методам повышения энергетической эффективности.

ЧТО ТАКОЕ «ЭНЕРГЕТИЧЕСКАЯ ЭФФЕКТИВНОСТЬ ЦОД»?

Эффективность (КПД) любого устройства или системы — это доля его входа (электричества, топлива, другой движущей силы), преобразуемая в желаемый полезный результат. При этом все, что отличается от полезного результата, считается «отходами». Отношение полезного выхода к полному входу обычно выражается в процентах. Для инженерной инфраструктуры ЦОД полным входом является общая подаваемая электроэнергия, а полезным выходом — мощность, потребляемая компьютерным оборудованием.

В данном случае ЦОД рассматривается как энергетическая система, «полный вход» которой — потребляемая электроэнергия, а «полезный выход» — количество энергии, расходуемой компьютерными системами, иначе говоря, мощность, доводимая до оборудования ИТ. Определение точного соотношения между потребляемой мощностью и «перемещенными битами» не является целью данной статьи. Однако заметим, что потребляемая оборудованием ИТ электрическая мощность является хорошей мерой производительности вычислительных систем. Повышение энергетической эффективности за счет сокращения энергопотребления оборудования ИТ, несомненно, важно, но этой темы мы сегодня касаться не будем.

Эффективность (КПД) центра обработки данных = Мощность, доведенная до ИТ-нагрузки/Полная мощность, потребляемая ЦОД.

Если бы КПД ЦОД был равен 100%, то вся подводимая к нему мощность достигала бы информационных систем. В реальном мире электроэнергию потребляет не только оборудование ИТ, но и множество других устройств, обеспечивающих его надлежащее подключение, электропитание, охлаждение и защиту. Все эти обязанности возлагаются на инженерную инфраструктуру ЦОД. К вспомогательным устройствам относятся трансформаторы, источники бесперебойного питания (ИБП), соединительные элементы, вентиляторы, кондиционеры, насосы, увлажнители и лампы освещения. Некоторые из них, например ИБП и трансформаторы, подключены последовательно с нагрузками ИТ (потому что они являются частью контура питания), в то время как другие, в том числе лампы освещения и вентиляторы, — параллельно (поскольку в ЦОД должна обеспечиваться поддержка и других важных функций).

В модели КПД к «потерям» относится все, что не является полезной нагрузкой. Между тем, инженерная инфраструктура ЦОД не только обеспечивает питание нагрузки ИТ, но и выполняет много дополнительных функций — они называются «вторичной поддержкой». Полезный выход таких подсистем инженерной инфраструктуры (например, устройств кондиционирования и освещения) должен рассматриваться как часть «полезной нагрузки» ЦОД. Это вопрос выбора системы ориентиров.

Предмет же нашего анализа — общий КПД центра обработки данных в процессе выработки полезного продукта, т.е. вычислений. ЦОД создаются не для охлаждения воздуха, противопожарной защиты и прочих важных задач. Эти функции инженерной инфраструктуры исключительно значимы для поддержания внутренней рабочей среды центра, поскольку без них полезный выход (вычисления) был бы невозможен. Однако сами по себе они им не являются и нет ни одной убедительной причины считать, что они должны потреблять электроэнергию. В модели КПД центра обработки данных функции инженерной инфраструктуры, не связанные с питанием нагрузки ИТ, должны рассматриваться как неизбежное зло, необходимое для поддержки вычислительной деятельности, т. е. как «потери», которые следует минимизировать. Поэтому альтернативные решения и новые технологии, способствующие снижению общего энергопотребления в ЦОД, следует всячески приветствовать. Например, в некоторых ЦОД используется «бесплатное охлаждение», когда холодный наружный воздух подается с помощью вращающихся и пластинчатых теплообменников. Они снижают энергопотребление систем охлаждения, тем самым повышая КПД центра.

О «полезном выходе» самих компонентов инженерной инфраструктуры мы поговорим в процессе анализа КПД каждого отдельного компонен-та — анализ КПД внутренних компонентов ЦОД позволяет выявить пути снижения суммарных потерь в более общей модели ЦОД.

КУДА УХОДИТ ЭЛЕКТРОЭНЕРГИЯ?

Практически вся электроэнергия, поступающая в ЦОД, в конечном счете преобразуется в тепло. Диаграмма на Рисунке 1 показывает распределение потоков электрической и тепловой энергии. На ней представлены результаты энергетического анализа типичного высоконадежного ЦОД с двумя контурами питания и блоками кондиционирования с резервированием N+1 при типовой нагрузке 30% от предельной мощности. Обратите внимание, что до ИТ доводится менее половины всей мощности, потребляемой ЦОД.
В приведенном примере КПД центра не превышает 30%. (Хотя уровень нагрузки 30% удивительным образом совпал с КПД 30%, эти величины означают совсем разные вещи, однако низкий КПД все же связан с низкой нагрузкой, как будет показано далее.)

Рисунок 1. Потребление электроэнергии в типичном центре обработки данных.

КПД центра обработки данных можно повысить тремя способами:

  • улучшить конструкцию отдельных устройств инженерной инфраструктуры, с тем чтобы они потребляли меньше электроэнергии;
  • точнее подобрать номинальную мощность компонентов инженерной инфраструктуры для реальной ИТ-нагрузки (обеспечение «безызбыточности»), чтобы устройства работали с большим КПД;
  • внедрить новые технологии, сокращающие потребность в электроэнергии, для поддержки второстепенных функций инженерной инфраструктуры (например, упомянутое «бесплатное охлаждение»).

(Забегая вперед, скажем, что самый существенный и быстрый эффект обеспечивает второй метод повышения КПД).

Хотя КПД центра обработки данных можно определить эмпирически путем сложения энергопотребления всего оборудования ИТ с последующим делением на полную входную мощность ЦОД, на практике для расчета используются заявленные производителями значения КПД основных компонентов, включая ИБП и кондиционеры. На первый взгляд, этот способ проще, однако он обычно приводит к значительному завышению КПД и не дает информации для определения возможных путей экономии электроэнергии.

КПД центра обработки данных нельзя определить, полагаясь только на «номинальный» КПД компонентов. Данные о КПД предоставляют производители: для систем электропитания он обычно выражается как процент выходной мощности по отношению к входной; а для систем охлаждения КПД характеризуется относительным параметром, называемым «коэффициент производительности» — отношением выведенного тепла к электрической входной мощности. Публикуемые значения КПД для однотипных устройств различных производителей практически не отличаются, и это приводит к упрощенному представлению о том, что энергетические потери ЦОД можно определить простым сложением потерь в различных компонентах.

К сожалению, такой подход не дает точных результатов в случае действующих ЦОД. Использование представленных производителями номинальных значений КПД приводит к существенной переоценке КПД и, следовательно, к недооценке потерь в реальных условиях. В Таблице 1 приводятся три распространенных заблуждения, которые становятся причиной значительных погрешностей в моделях энергетической эффективности ЦОД. Эти ошибки накладываются друг на друга, особенно при характерных для большинства ЦОД низких ИТ-нагрузках. В результате энергетические потери нередко оказываются как минимум в два раза выше по сравнению с предварительной оценкой.

Таблица 1. Типичные ошибочные представления о КПД центра обработки данных.

К счастью, можно построить простую модель, учитывающую все перечисленные выше факторы и обеспечивающую более правдивую оценку КПД.

УЛУЧШЕННЫЕ МОДЕЛИ ДЛЯ ОЦЕНКИ КПД КОМПОНЕНТОВ

Улучшенная модель общего КПД ЦОД зависит от точности моделирования отдельных компонентов, например, ИБП. Использование одного значения КПД для характеристики компонентов электропитания и кондиционирования — способ хотя и распространенный, но не дающий точных результатов в условиях эксплуатации центра обработки данных. Реальный КПД таких компонентов, как ИБП, не константа, а скорее функция от уровня ИТ-нагрузки. На Рисунке 2 приведен типичный график КПД ИБП.

Рисунок 2. Типичный КПД ИБП как функция от нагрузки.

Как видно из графика, при снижении нагрузки до определенного низкого уровня КПД этого устройства резко падает до нуля, так как некоторые потери, например, в управляющих цепях, не зависят от нагрузки. Постоянная составляющая потерь может называться по-разному: потери холостого хода, фиксированные, шунтовые, конструктивные или параллельные потери. Мы предпочитаем термин «потери холостого хода».

На Рисунке 3 те же данные представлены в другом виде. Обратите внимание: по мере уменьшения нагрузки увеличивается доля внутреннего энергопотребления ИБП («потерь», соответствующих красным сегментам каждого столбца) по отношению к общей потребляемой мощности, в результате КПД уменьшается. Это происходит из-за потерь холостого хода, которые остаются постоянными при любом уровне нагрузки.

Рисунок 3. Влияние внутренних потерь ИБП на КПД.

Устройство с характеристиками, аналогичными тем, что приведены на Рисунках 2 и 3, вполне может предлагаться потенциальным покупателям как ИБП, КПД которого составляет 91%. Однако это значение соответствует его КПД при полной нагрузке, или в наилучших условиях. При низких нагрузках, характерных для большинства ЦОД, описание такого устройства как ИБП, обладающего указанным КПД будет большой ошибкой — например, при нагрузке 10% КПД того же ИБП не превысит 60%. Очевидно, что модель с единственным значением КПД в данном случае неприемлема.

Как следует из Рисунка 3, потери устройства (красный сегмент столбцов) повышаются по мере роста нагрузки. Это явление объясняется наличием дополнительных потерь, не учтенных в потерях холостого хода, которые растут пропорционально нагрузке. Кроме того, существует еще один компонент потерь (не видимый на представленном графике), пропорциональный квадрату нагрузки. Его величина обычно незначительна, но из-за нее общий КПД на высоких нагрузках может уменьшиться.

В Таблице 2 приведены типичные значения трех составляющих потерь для различных типов оборудования, используемого в ЦОД. В последнем столбце все составляющие потери, свойственные для данного компонента, суммируются. Из Таблицы 2 видно, что при построении более полных моделей компонентов, используемых в ЦОД, для характеристики каждого типа устройства достаточно двух параметров. Обратите внимание, что в этой таблице потери выражаются как процент от полной номинальной нагрузки оборудования. При реальных нагрузках, которые всегда будут меньше полной, доля потерь будет изменяться следующим образом:

Таблица 2. Типичные энергетические потери в компонентах инженерной инфраструктуры как доля от полной номинальной нагрузки компонента.

  • потери холостого хода — процент потерь увеличивается по мере снижения нагрузки;
  • пропорциональные потери — процент потерь постоянен (не зависит от нагрузки);
  • квадратичные потери — процент потерь уменьшается по мере снижения нагрузки;

Типичный КПД системы ИБП, изображенный на Рисунках 2 и 3, не может адекватно, с приемлемой точностью моделироваться одним параметром КПД, однако эта задача успешно решается при использовании двух параметров из Таблицы 2, характеризующих потери холостого хода (4%) и пропорциональные потери (5%).

Как было показано, КПД систем электропитания и охлаждения значительно снижается при нагрузке ниже номинальной. Это означает, что в любом анализе КПД ЦОД обязательно должна присутствовать нагрузка как доля от номинальной мощности. В простых моделях энергетической эффективности для моделирования оборудования используется только одно значение КПД, поэтому в них не учитывается фактическая нагрузка (в этих моделях КПД не зависит от нагрузки). Однако в типичном ЦОД системы электропитания и кондиционирования обычно эксплуатируются с нагрузкой, существенно уступающей номинальной. В результате такого моделирования КПД реального ЦОД значительно переоценивается.

Компоненты электропитания и кондиционирования любого типа могут эксплуатироваться с нагрузкой меньше номинальной вследствие следующих причин:

  • ИТ-нагрузка ЦОД меньше, чем его конструктивная номинальная мощность. (Согласно статистике, среднестатистический центр обработки данных эксплуатируется с нагрузкой 65% от номинальной. Как будет показано ниже, неполное использование номинальной мощности существенно сказывается на энергетических потерях центра обработки данных;
  • мощность компонента намеренно завышена для обеспечения запаса мощности. Обычно избыточная мощность компонентов объясняется необходимостью создания резерва по мощности. Идея состоит в том, чтобы избежать эксплуатации компонентов с нагрузкой, близкой к номинальной. Эксплуатация систем без нагрузочного резервирования возможна, однако для особо ответственных объектов рекомендуемый резерв мощности составляет 10-20%;
  • компонент эксплуатируется в конфигурации с резервированием N+1 или 2N. Для повышения надежности и обеспечения возможности обслуживания отдельных компонентов без отключения всей системы нередко используются конфигурации с резервированием N+1 или даже 2N. В таком случае ИТ-нагрузка распределяется между несколькими компонентами инженерной инфраструктуры, что заметно сокращает нагрузку каждого из них. В системах 2N нагрузка любого отдельного компонента не превышает 50% от номинального значения. Следовательно, использование устройств в конфигурациях N+1 или 2N ведет к значительному снижению общий КПД центра обработки данных;
  • избыточные компоненты реализуются для поддержки «разнообразных нагрузок». Этот фактор незначителен и хорошо иллюстрируется следующим примером.

Пусть ЦОД с нагрузкой 1 МВт подключен к ИБП мощностью 1,1 МВт. Между ИБП и ИТ-нагрузками находятся 10 блоков распределения питания (БРП), к каждому из них подключена определенная часть ИТ-нагрузок. Какова же должна быть номинальная мощность такого БРП при эксплуатации со средней нагрузкой? На первый взгляд могло бы показаться, что требования к системе были бы выполнены при номинальной мощности 100 кВт.

Более того, если бы каждый БРП работал с полной нагрузкой, то и центр обработки данных был бы нагружен полностью. Однако в реальных условиях невозможно обеспечить точную балансировку нагрузки между несколькими БРП. Нагрузка любого БРП диктуется особенностями ИТ-оборудования на участке ЦОД, где расположен данный БРП. Фактически в реальных ЦОД нагрузка двух одинаковых БРП может различаться почти в два раза. Если к данному БРП подключена секция ЦОД, работающая с предельной нагрузкой, но не использующая всю номинальную мощность БРП, то остальная мощность данного БРП не будет задействоваться, когда другие девять БРП полностью нагружены.

В такой конфигурации единственный способ обеспечить полную номинальную мощность ЦОД — установить БРП с запасом мощности. Типичный запас мощности БРП — от 30 до 100%. Из предыдущих примеров следует, что избыточность снижает КПД системы. Однако для поддержки «варьирующейся» нагрузки необходимы избыточные БРП. Заметим, что по тем же причинам внедряются избыточные системы кондиционирования.

Другая распространенная ошибка при моделировании КПД ЦОД состоит в предположении, что на тепловыделение (потери) систем электропитания и кондиционирования приходится лишь незначительная часть от ИТ-нагрузки, а значит, эти параметры могут игнорироваться. Оборудование ИТ, системы электропитания и кондиционирования выделяют тепло практически в одинаковом объеме, и все оно должно отводиться. В результате увеличивается нагрузка на систему охлаждения, которую требуется строить с большим запасом, что приводит к дополнительным энергетическим потерям. Таким образом, для корректного расчета величины потерь к нагрузке системы охлаждения необходимо отнести не только оборудование ИТ, но и потери в устройствах электропитания и охлаждения, работающих в кондиционируемом пространстве.

Опираясь на приведенные рассуждения, можно построить улучшенную модель для расчета КПД ЦОД, где учитываются следующие факторы:

  • компоненты моделируются с учетом трех составляющих — потерь холостого хода, потерь, пропорциональных нагрузке, и потерь, пропорциональных квадрату нагрузки;
  • в расчет принимается избыточность вследствие нагрузочного резервирования компонентов;
  • в конструкциях с резервированием N+1 и 2N учитывается неполная нагрузка;
  • в общую нагрузку системы охлаждения включается ИТ- и тепловая нагрузка от потерь во внутренних компонентах электропитания и охлаждения.

Для заданной конфигурации ЦОД построенная модель дает графическое представление КПД как функции от нагрузки и позволяет получить точный результат для реальной нагрузки ЦОД, которая обычно существенно меньше номинальной.

Предлагаемая модель предусматривает последовательное выполнение следующих действий:

  • определение средней степени избыточности для каждого типа компонентов электропитания и охлаждения с учетом факторов запаса мощности, разнообразия нагрузок и резервирования;
  • рассчет эксплуатационных потерь для каждого типа компонентов с использованием входной нагрузки, доли номинальной нагрузки для данного типа компонента с учетом резерва мощности, потерь холостого хода и пропорциональных потерь;
  • оценка дополнительных пропорциональных потерь из-за необходимости охлаждения компонентов электропитания и кондиционирования в центре обработки данных;
  • сложение всех потерь;
  • вычисление и составление таблицы потерь как функции от ИТ-нагрузки ЦОД.

В соответствии с перечисленными принципами была разработана компьютерная модель расчета энергопотребления для анализа полной стоимости владения ЦОД (см. также врезку «Устройства с несколькими рабочими режимами»).

КПД РЕАЛЬНЫХ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ

Улучшенная модель энергопотребления ЦОД позволяет сделать более точный расчет его КПД. Используя типичные значения потерь, резерва мощности, баланса нагрузки, избыточности и резервирования для всех системных компонентов, можно построить график, подобный изображенному на Рисунке 4. Этот график зависимости КПД от нагрузки существенно отличается от традиционных оценок — на графике она выглядела бы как константа со значением 60-70%, не зависящим от нагрузки.

Рисунок 4. Оценка КПД типичного центра обработки данных с помощью улучшенной модели.

Улучшенная модель объясняет существенное уменьшение КПД при типичных для многих ЦОД невысоких уровнях нагрузки. Она убедительно показывает, что в ЦОД с очень низким уровнем нагрузки потери могут стать неприемлемыми. Например, если нагрузка составляет только 10% от номинального значения, то из каждых десяти потребляемых ватт до ИТ-нагрузки будет доведен только один. Остальные девять ватт израсходуются впустую из-за недостаточной энергетической эффективности инженерной инфраструктуры.

На эти потери можно посмотреть и с точки зрения финансовых затрат. На Рисунке 5 показана стоимость электроэнергии, ежегодно потребляемой ЦОД мощностью 1 МВт, как функция от ИТ-нагрузки. Данный ЦОД имеет типичный высоконадежный дизайн с двойным контуром питания и блоками кондиционирования уровня помещения с резервированием N+1. Для анализа стоимость киловатт-часа электроэнергии принята равной 10 центам.

Рисунок 5. Стоимость электроэнергии, ежегодно потребляемой типичным центром обработки данных мощностью 1 МВт, как функция от доли использования номинальной мощности.

Из Рисунка 5 видно, что общая стоимость электроэнергии, потребляемой таким ЦОД, составляет от 600 тыс. до 1,7 млн долларов в год, в зависимости от уровня ИТ-нагрузки. Однако даже при полном отсутствии ИТ-нагрузки расходы составят более 500 тыс. долларов в год, что объясняется потерями в системах электропитания и охлаждения. В типичном ЦОД уровень использования номинальной мощности составляет 30%, так что более 70% стоимости потребляемой электроэнергии теряются из-за низкой энергетической эффективности систем электропитания и охлаждения.

ПУТИ ПОВЫШЕНИЯ КПД ЦЕНТРА ОБРАБОТКИ ДАННЫХ

Предложенная модель показывает, что основной вклад в энергетические потери ЦОД вносят потери холостого хода в инфраструктурных компонентах, которые в типичных ситуациях превосходят мощность, потребляемую ИТ-нагрузкой. Причем в традиционном анализе названные потери игнорируются: в своих спецификациях продуктов производители обычно не указывают необходимые значения потерь холостого хода.

Анализ представленных в статье данных позволяет определить и оценить возможности сокращения потерь и улучшения энергетической эффективности ЦОД:

  • лучший способ сбережения электроэнергии — сокращение избыточности ЦОД за счет использования адаптивной модульной архитектуры, которая позволяет наращивать инфраструктуру электропитания и охлаждения по мере роста нагрузки (потенциальное сокращение потерь: 50%);
  • повышение КПД систем охлаждения (потенциальное сокращение потерь: 30%);
  • уменьшение потерь холостого хода в компонентах электропитания и кондиционирования центра обработки данных (потенциальное сокращение потерь: 10%).

На Рисунке 6 показано, насколько повышается общее КПД в результате улучшения КПД компонентов и сокращения избыточности.

Рисунок 6. Пути повышения КПД центра обработки данных. 

ЗАКЛЮЧЕНИЕ

Традиционные модели энергетической эффективности ЦОД обычно переоценивают КПД, не учитывая ни степень избыточности оборудования, ни эффект резкого падения КПД на малых нагрузках, что типично для большинства центров данных. Улучшенная модель позволяет получить более точные численные значения КПД ЦОД, а также дает представление об источниках и методах снижения потерь.

Типичные центры потребляют в два раза больше электроэнергии, чем требуется для питания нагрузок ИТ. Расходы на нее составляют существенную часть от полной стоимости владения системой. Энергопотребление свыше потребностей ИТ-оборудования считается нежелательным, и его можно существенно сократить.

Избыточность инфраструктуры ЦОД представляет главный источник потерь, поэтому рекомендуется использовать масштабируемые решения, наращиваемые вместе с ИТ-нагрузкой и обеспечивающие потенциал сокращения энергетических потерь и расходов.

Для типичного ЦОД с номинальной нагрузкой 1 МВт стоимость сбереженной электроэнергии за 10-летний период составит от 2 до 4 млн долларов.

Учитывая колоссальный объем потерь из-за низкой энергетической эффективности центров ЦОД, их сокращение должно стать делом первостепенной важности в любой организации, а также общеполитической задачей.

Нил Расмуссен — старший вице-президент и главный технический директор APC.

Устройства с несколькими рабочими режимами

Некоторые подсистемы инженерной инфраструктуры — например, кондиционеры —могут работать в нескольких режимах, каждый из которых характеризуется собственным значением КПД. В частности, в некоторых системах кондиционирования имеется «экономный» режим, включающийся в холодную погоду и значительно повышающий КПД системы.

Для моделирования таких устройств с помощью одного графика КПД не достаточно трех параметров (потери холостого хода, пропорциональные потери и квадратичные потери). Для построения модели расчета КПД многорежимного устройства используется другая методика, которая, к счастью, хорошо известна и широко используется инженерами.

Моделирование производится за продолжительный период посредством алгоритма, называемого «усреднением по пространству состояний». При этом определяются средние значения времени, проводимого в каждом режиме, а затем средневзвешенное выходное значение системы. Данный алгоритм успешно применяется для расчетов КПД и потерь.

При использовании рассмотренной модели расчета КПД для устройств с несколькими рабочими режимами потери холостого хода, пропорциональные и квадратичные потери необходимо определить для каждого рабочего режима. Затем вычисляется их доля в общих потерях за продолжительный период — потери в каждом режиме умножаются на ожидаемую долю времени, проводимого в этом режиме. Например, для полного описания системы с двумя режимами требуется три графика КПД:

  • график КПД в режиме 1;
  • график КПД в режиме 2;
  • график общего ожидаемого КПД, построенный на основании предполагаемого времени, проводимого в каждом режиме.