«Глобальное потепление» в ЦОД

Традиционно считалось, что рабочая температура воздуха в ЦОД должна быть низкой, причем чем холоднее, тем лучше. Но, похоже, серверные и машинные залы скоро уже не будут ассоциироваться с хладокомбинатами. Ведь ИТ-оборудование нуждается во все более мощных системах охлаждения (см. Рисунок 1), а последние весьма прожорливы: общие энергозатраты на них составляют около 36% чистой мощности ЦОД.

Рисунок 1. Тенденция роста энергопотребления, по данным ASHRAE.

Энергоэффективность систем охлаждения во многом определяется верхним пределом рабочих температур для оборудования ИТ. Обычно в качестве такого предела используется значение, рекомендуемое ASHRAE (American Society of Heating, Refrigerating and Air Conditioning Engineers). В первой редакции своих рекомендаций, опубликованной в 2004 году, эта организация установила верхний предел в +25⁰C (при 40% влажности), во второй (2008 год) — +27⁰C (при 60% влажности). В рекомендациях 2011 года появились два новых класса оборудования для ЦОД — А3 и А4 c температурным диапазоном до +40⁰С и +45⁰С соответственно.

Расширение температурного диапазона и допустимых границ относительной влажности открывает перспективы для повсеместного применения систем прямого фрикулинга (см. Рисунок 2), когда холодный наружный воздух подается непосредственно в помещение ЦОД. Такие ЦОД уже построили Amazon, Dell, Facebook, Google и Microsoft. Идея практически та же, что и в случае домашнего кондиционера: чтобы сэкономить на электричестве, есть смысл не выстужать квартиру до 18⁰C, а установить вполне комфортные 240C и, если температура на улице ниже, не включать кондиционер, а просто открывать форточку.

Рисунок 2. Традиционное охлаждение и прямой фрикулинг.

Во многих ЦОД, где рабочая температура в машинном зале была повышена до 20–25⁰C, не отмечается заметного роста отказов серверов. В некоторых центрах данных температура увеличена до 25–30⁰C, и количество отказов при этом вовсе не увеличилось на 1,8%, как предсказывала теория. После второй поправки ASHRAE во многих ЦОД потеплело до 27⁰C, а Microsoft еще в 2009 году запустила в эксплуатацию бесчиллерный ЦОД с температурой 35⁰C в холодных коридорах. В новых ЦОД компания использует бесчиллерную архитектуру и адиабатное охлаждение (для увлажнения подаваемого «с улицы» воздуха). Такие системы считаются значительно более эффективными, чем традиционные чиллеры. Номинальная температура в ЦОД компании Google, построенном в Бельгии, тоже составляет 35⁰C. Прямой фрикулинг применяется в ЦОД Cisco в Техасе, Yahoo в Локпорте (штат НьюЙорк) и в целом ряде других известных центров данных.

В Microsoft стоимость типового ЦОД оценивают в 10–20 млн долларов на мегаватт. Эти затраты должны как минимум окупиться за срок эксплуатации центра данных, обычно составляющий 15 лет. Поэтому разработчики стремятся сократить эксплуатационные затраты — повысить энергоэффективность всех компонентов ЦОД, включая оборудование ИТ. Ведь потребляемая электроэнергия составляет значительную долю в стоимости владения (см. Рисунок 3). Кроме того, эксперты Microsoft рекомендуют правильно подбирать серверы и их конфигурацию в соответствии с решаемыми задачами (rightsizing).

Рисунок 3. ТСО типового сервера 1U за пять лет (по данным Microsoft).

ТЕСТ НА ВЫНОСЛИВОСТЬ

Как показывают исследования (в частности, подобные тесты проводили Intel и Microsoft), большинство серверов способны работать при температуре 45⁰C (см. врезку «45⁰C — не предел»). Некоторые вендоры уже гарантируют функционирование своих устройств при такой температуре. Однако и обычное оборудование гораздо выносливее, чем принято считать.

45⁰C — не предел

Как свидетельствует наш многолетний опыт, в большинстве серверных систем температура, которую показывает датчик процессора, и внешняя температура за пределами корпуса, куда выбрасывается воздух, обычно различаются не более чем на 15⁰C. Это значение хорошо коррелирует с предположением, что большинство серверов способно устойчиво работать при температуре 45⁰C: рекомендованный верхний температурный предел процессоров начинается как раз с 600C. Микросхемы памяти, контроллеры и другие микросхемы способны функционировать при более высоких температурах (обычно до 100–125⁰C для кремния), поскольку степень их интеграции существенно ниже, чем в процессоре, а неоднородность распределения температур на кристалле практически отсутствует.

Что касается пассивных компонентов, то в серверах давным-давно используются твердотельные конденсаторы. Исключение составляют конденсаторы блоков питания, которые наиболее подвержены деградации (высыханию) при длительном температурном воздействии. Поэтому отказы блоков питания — наиболее частая причина отказов серверов при повышенных температурах.

Еще одним слабым местом серверов могут быть жесткие диски. Однако, исследование, проведенное Google несколько лет назад, показало, что вплоть до 50⁰C их надежность существенно не изменяется. На надежность влияет только совокупность двух факторов — «возраст» диска и температура. Вероятнее всего, это связано с тем, что на диске заканчивается место для ремаппинга (переназначение сбойного адреса на резервную область). С твердотельными накопителями тоже не все гладко, поскольку в ячейках MLC происходит деградация способности сохранения заряда в оксиде кремния вследствие миграции и/или утечек. Повышение температуры уменьшает срок жизни SSD.

Чтобы перейти к эксплуатации серверов при повышенных температурах, в первую очередь надо решить проблему электропитания. При преобразовании напряжения из 220 В в необходимые серверу 12 и 5 В, которые в дальнейшем преобразуются во все сервисные напряжения, используются электролитические конденсаторы. Если же на сервер сразу подавать выпрямленное и очищенное от помех напряжение 12 В, то, чтобы получить все остальные сервисные напряжения из входящих 12В, можно использовать в схемах преобразования твердотельные конденсаторы. Да и КПД преобразователей удастся сделать более высоким, применив многоступенчатые схемы преобразования для сервисных напряжений. А если еще немного сместить направление разработки серверных процессоров с достижения высокой производительности на снижение энергопотребления, то при переходе на технологические нормы 22 нм и менее вполне можно добиться рассеиваемой тепловой мощности процессора 35 Вт и ниже.

Тогда вполне вероятно, что большинство вновь проектируемых ЦОД перейдут на технологии фрикулинга с потенциальным расширением диапазона рабочих температур в сторону увеличения на 15–20⁰C. Полный переход на твердотельные накопители позволит повысить верхнюю границу рабочих температур еще примерно на 10⁰C. Таким образом, рабочая температура в 50–60⁰C не выглядит фантастикой. Конечно же, в этом случае должны быть очень развитыми средства дистанционного управления, мониторинга и восстановления работоспособности. Но эта задача вполне выполнима.

Ренат Юсупов — старший вице-президент Kraftway.

Microsoft еще четыре года назад провела тестирование, установив серверы не в ЦОД, а в палатку. Они проработали в таких условиях на Тихоокеанском побережье северо-запада США с ноября 2007-го по июнь 2008 года без какихлибо отказов. HP, IBM, Oracle и Cisco гарантируют работоспособность серверов при 35⁰C. Хотя температуру в ЦОД, где используется стандартное оборудование, до такого уровня повышать не стоит, запас для ее увеличения, определенно, есть, ведь в большинстве ЦОД поддерживается 20–24⁰C.

В 2008 году Intel тоже провела исследования, показавшие, что при благоприятных климатических условиях серверы могут функционировать практически без какого-либо управления климатической средой в серверной или ЦОД. Таким образом, появляется возможность огромной экономии на электроэнергии и на дорогостоящих системах охлаждения, и при этом риск отказа оборудования крайне незначителен.

В проведенных специалистами компании 10-месячных испытаниях в Нью-Мехико серверы высокой плотности охлаждались воздухом «с улицы». Они эксплуатировались при температуре 17–33⁰С почти без защиты от пыли (фильтр задерживал лишь крупные частицы). Влажность менялась в пределах от 4 до более 90%. В результате значительные колебания температуры и влажности, снижение качества воздуха не привели к заметному росту числа отказов: их уровень составил 4,46% против 3,83% за тот же период в расположенном в этой местности ЦОД Intel со стандартными условиями.

Вывод: необходимость точного поддержания данных параметров сомнительна и требует дальнейшего изучения. К тому же производители задают в своих спецификациях для серверов слишком комфортные условия: стремясь снизить процент выхода оборудования из строя, они указывают в руководстве пользователя заниженную температуру эксплуатации.

При столь незначительном увеличении отказов экономия получилась весомой: по сравнению с системами охлаждения с рециркуляцией воздуха потребление электроэнергии сократилось на 74% — и это в жарком климате. В более прохладном месте, по оценкам Intel, можно было бы сэкономить 91% электроэнергии. Для небольшого, по западным меркам, ЦОД с потреблением в 500 кВт годовая экономия составит около 143 тыс. долларов, а для крупного ЦОД на 10 мВт — уже 2,87 млн долларов.

Сценарий «выживания» серверов без наличия мощной системы кондиционирования и охлаждения исследовали и другие эксперты. В 2011 году на конференции Technology Convergence Conference Субодх Бапат, бывший вице-президент Sun Microsystems по энергоэффективности, привел следующие данные. Прогнозируемый уровень отказов серверного оборудования в расчете на год составляет 2,45% при 25⁰С и с каждым градусом увеличивается на 0,36%. Таким образом, при 45⁰С уровень отказов составляет 11,45%. Даже если каждый год вместо 11% выходящих из строя серверов x86 устанавливать новые, экономия на кондиционировании будет оправдана. По данным других исследований, при 45⁰C число отказов электроники на 9% больше, чем при 20⁰C.

В рамках жизненного цикла элементов ЦОД и используемых технологий можно предусмотреть возможности оперативной замены вышедшего из строя оборудования, чтобы клиентские сервисы поддерживались на должном уровне. Такая стратегия, несомненно, имеет право на жизнь, а экономические показатели могут быть определены при детальных подсчетах и понимании уровня сервиса, который запрашивает заказчик.

ПОДНИМАЕМ ТЕМПЕРАТУРУ

Эксперты давно подсчитали, что увеличение температуры в ЦОД на один градус снижает уровень энергопотребления на 4–5%. Это заставляет компании менять «микроклимат» в своих центрах данных в рамках реализации программ повышения энергоэффективности. Однако просто повернуть ручку термостата не получится — неизбежно возникнут зоны перегрева, где серверы начнут выходить из строя, и в таком случае лучше избыток охлаждения, чем его недостаток.

По данным проведенных в США исследований, процент отказов электронных компонентов удваивается с повышением температуры на каждые 100C. Хотя именно на эти данные опираются инженеры NASA и военные в своих разработках, сегодня их подвергают сомнению. Во-первых, исследование проводилось достаточно давно, во-вторых, оно не фокусировалось на ЦОД, в-третьих, в нем использовалась линейная модель отказов, которую некорректно применять ко всему диапазону температур. Так, при 260C уровень отказов не превышает вдвое показатели, фиксируемые при 16⁰C, а рост числа отказов в диапазоне 20–300C будет ниже, чем в интервале 40–45⁰C.

В общем случае нужно очень осторожно подходить к повышению верхнего предела рабочих температур в действующем ЦОД, тщательно анализируя возможные последствия, а рекомендации ASHRAE рассматривать в комплексе с лучшими практиками. Такое повышение должно выдерживать не только ИТ-оборудование, но и система кондиционирования. Существующие системы охлаждения рассчитаны на определенный температурный диапазон, поэтому увеличение температуры «на входе» серверов может не дать ожидаемой экономии, поскольку вырастет потребление электроэнергии другими компонентами инфраструктуры — вентиляторами внутри серверов, компрессорами систем охлаждения и т. д.

Например, в одной из работ специалистов Dell и Schneider Electric («Energy Impact of Increased Server Inlet Temperature», David Moss, John H. Bean, 2011 год) приводятся результаты измерений энергопотребления тестовой конфигурации, включающей оборудование ИТ и системы охлаждения InRow CW с чиллерами, которые проводились при разных температурах. Как оказалось, суммарное энергопотребление снижается при увеличении температуры в холодном коридоре с 19 до 270C, после чего снова растет. Для систем InRaw Dx этот рост начинался уже с 250C. И надо сказать, что данная проблема далеко не единственная (см. врезку «Проблемы «потепления»).

Проблемы «потепления»

Идея повышения рабочей температуры в ЦОД обретает все большую популярность, однако она будет встречать противодействие, пока не разрешатся все связанные с этим проблемы. Таких проблем немало.

Повышение температуры в ЦОД может сократить «окно восстановления» при отказе в системах охлаждения. Иными словами, времени на устранение неисправности или корректное завершение работы систем остается намного меньше — температура может быстро превысить критическое значение. По данным исследования Opengate Data Systems, стандартная стойка с потреблением 5 кВт получит «тепловой удар» через три минуты после отключения охлаждения. Для стоек высокой плотности с потреблением 10 кВт время сокращается до 1 мин.
Возросший «уровень смертности» серверов может потребовать специальных инженерных решений или применения адаптированного к высоким температурам оборудования.
Слабое место серверов и систем хранения данных — жесткие диски: согласно некоторым исследованиям, у большинства из этих устройств число отказов начинает резко расти примерно с +300C.
Еще одно слабое звено — блоки питания серверов. При увеличении влажности на их компонентах иногда образуется конденсат, что приводит к выходу блока питания из строя. Именно с такой проблемой столкнулись инженеры Facebook. Кроме того, КПД блока питания в общем случае зависит от температуры нелинейно, и в состоянии, близком к предельной нагрузке, вслед за повышением внешней температуры возможна неожиданная перегрузка блока питания.
С увеличением температуры растет ток утечки в полупроводниках, что может потребовать создания новой элементной базы.
Опасность представляют и колебания влажности в широком диапазоне: при избыточной влажности на электронных компонентах образуется конденсат, а в случае ее недостатка появляются разряды статического электричества.
Фрикулинг хорош для новых ЦОД, но для уже существующих может оказаться дорогостоящим решением. Чтобы поднять температуру в центре данных, придется перестраивать всю систему охлаждения, а это очень сложный и дорогой проект.
Издержки из-за отказов оборудования или простоев при повышении температуры могут превысить полученную экономию. Вполне возможно, что в общем случае повышение температуры в ЦОД усложнит решение вопросов обеспечения надежности, восстановления при отказах и сохранения гарантии на оборудование.
Повышение температуры влияет на срок службы компонентов серверов. Например, вентиляторы из-за увеличения скорости вращения будут изнашиваться быстрее. В ЦОД, где жизненный цикл ИТ-оборудования составляет три года, это может быть не так критично, однако небольшим центрам данных, где серверы эксплуатируются дольше, подобная практика вряд ли подойдет. К тому же крупные ЦОД менее уязвимы в случае отказа перегревшихся серверов. То, что подходит гигантам вроде Microsoft и Intel, зачастую противопоказано другим.
Если температура воздуха «на входе» составляет 25–27⁰C, вентиляторы серверов начинают вращаться намного быстрее и потребляют больше электроэнергии, что может свести на нет полученную экономию.
Повышение температуры в ЦОД до 45⁰C и выше ухудшает условия работы персонала. В горячем коридоре температура может достигать 65⁰C, а именно там приходится подключать кабели и выполнять другие работы по обслуживанию, что как минимум некомфортно. Поэтому некоторые компании проектируют серверы, у которых вынесены кабельные соединения в холодный коридор. Например, в архитектуре Facebook Open Compute кабели находятся в передней части сервера. Кроме того, мощный шум от вентиляторов заставит использовать беруши или наушники. Американская правительственная организация Occupational Safety and Health Administration (OSHA) уже разработала рекомендации для работы в условиях повышенной температуры, где определяется, сколько времени люди могут безопасно находиться в таких условия и сколько им нужно отдыхать.

Кроме того, должно пройти какое-то время, чтобы повышение рабочей температуры и столь важную для ЦОД надежность перестали рассматривать как взаимоисключающие факторы.

Один из способов более безопасного повышения температуры в ЦОД — применение систем мониторинга.Использование методов термодинамики и размещение на оборудовании температурных датчиков (ASHRAE рекомендует замерять температуру в верхней, нижней и средней частях стойки) позволяет получить детальную картину температурных условий в машинном зале. К такого рода разработкам можно отнести HP Dynamic Smart Cooling и AdaptivCool компании DegreeC.

Температуру рекомендуется повышать постепенно, начиная с 21⁰C для нижних серверов в стойке и 25⁰C для верхних, отслеживая потенциальные и существующие зоны перегрева. Для этого специалисты советуют установить в ЦОД датчики температуры, влажности и энергопотребления. Некоторые серверы могут сами передавать системе мониторинга значения температуры воздуха на входе и потребляемой мощности, а интеллектуальные устройства распределения питания (PDU) — информировать о потребляемой подключенным оборудованием электроэнергии. Это особенно важно в виртуализированной среде, где вычислительная нагрузка перемещается между серверами.

В одном из исследований приводится примерная стоимость каждого этапа подготовки ЦОД к повышению температуры:

Реализация системы мониторинга температуры — 100 долларов на стойку.
Установка заглушек в незанятые «юниты» стойки для предотвращения свободной циркуляции воздуха — 50–150 долларов, в зависимости от заполнения стойки.
Изоляция горячих/холодных коридоров — 200–350 долларов на стойку, в зависимости от типа перекрытия.

После этого можно постепенно повышать температуру, внимательно следя за развитием ситуации. Иногда требуется дополнительно выполнить изоляцию кабельных вводов и установить перфорированные плиты фальшпола. Считается, что повышение температуры на 10⁰C — вполне реальная цель, а это 40-процентная экономия на электроэнергии. Для зарубежных ЦОД инвестиции в 350–600 долларов на стойку могут окупиться уже через 6 месяцев, да и для российских предприятий потенциальная выгода, как показывают расчеты, оказывается примерно такой же.

«ЖАРОСТОЙКИЕ» ИТ-СИСТЕМЫ

Что станет с гарантией на серверы, если они будут работать при 45⁰C? Пока такую гарантию дают лишь немногие вендоры, и для этого требуется применение специальных решений. Так, например, ответом Dell на идею «бесчиллерных» ЦОД стала готовая интегрированная система, позволяющая работать с высокой энергоэффективностью при температуре 450C. Она охлаждается внешним воздухом (прямой фрикулинг) и не требует чиллеров (см. врезку «Свежий воздух» от Dell»). Как утверждают в Dell, система способна функционировать в самых разнообразных климатических условиях.

«Свежий воздух» от Dell

Разработанная Dell технология Fresh Air гарантирует длительную надежную работоспособность наших систем в диапазонах температуры от 5 до 45°C и при уровне влажности от 5 до 90%. Эти показатели подтверждены независимыми тестами, которые продемонстрировали устойчивую работу систем при 400C в течение 900 ч в год и до 90 ч при 45⁰С. Технология Fresh Air внедрена в серверах Dell PowerEdge 11-го и 12-го поколений, системах хранения данных PowerVault и сетевых коммутаторах PowerConnect.

Как удалось решить эту задачу? Вспомните знаменитую «Уловку-22» и посмотрите на проблему с этой точки зрения: вначале вы платите деньги за то, чтобы подвести к вашему центру обработки данных электроэнергию, а затем платите еще раз — за то, чтобы отводить выделяемое тепло. Вопрос в том, чтобы повысить производительность, приходящуюся на каждый ватт электрической энергии. Для этого специалисты Dell объединили технологию охлаждения наружным воздухом с технологией испарительного охлаждения.

На базе такого решения, например, работает модульный центр обработки данных, развернутый в Боулдере (штат Колорадо). Он обслуживает картографические сервисы Bing компании Microsoft по всему миру. Благодаря отсутствию кондиционеров, этот ЦОД весьма невелик. При этом коэффициент PUE удалось довести до очень низкого значения — 1,03. Если раньше вместе с теплом компания буквально теряла деньги, то с новой технологией она значительно экономит на охлаждении ЦОД, на вынужденных простоях при отказах в случае перегрева помещения, на рисках потери важных данных, на эксплуатационных затратах и оплате за электроэнергию, поскольку Dell Fresh Air позволяет оптимизировать энергопотребление.

Последние поколения серверов Dell с поддержкой Fresh Air в ЦОД можно эксплуатировать и вместе с традиционными системами охлаждения — экономия на операционных издержках проявится в любом случае, а дополнительная надежность никогда не помешает. Практика показывает, что применение оборудования с поддержкой Fresh Air позволит крупным компаниям снизить операционные расходы на ИТ на 100 тыс. долларов в год. А в некоторых климатических зонах можно вообще обойтись без строительства собственной электроподстанции (которая часто является составной частью ЦОД). В таком случае экономия эксплуатационных затрат составит примерно 3 млн долларов на 1 МВт (с учетом сокращения капитальных и операционных затрат на 0,07 доллара на 1 кВт×ч и 0,2 доллара на 1 кВт×ч соответственно).

Антон Банчуков — менеджер по корпоративным продуктам Dell в России и СНГ

Рисунок 4. Серверы Dell 720XD гарантированно работают при
температуре 450C.

В феврале текущего года Dell анонсировала серверы PowerEdge с процессорами Intel Xeon E5, оптимизированные для работы в условиях повышенных температур, как того требуют новые рекомендации ASHRAE. В их числе двухсокетные системы R720 в корпусе 2U и R620 в корпусе 1U, сервер высокой плотности 720XD (см. Рисунок 4) и модульный сервер M620. Консоль управления Dell интегрирована с программным обеспечением Intel Power Center, что позволяет устанавливать для каждого сервера предельные значения потребляемой мощности (Power Capping). Создание таких серверов потребовало трехлетних разработок. Нет сомнения, что за Dell последуют и другие вендоры. Создание серверов, выдерживающих повышенную температуру эксплуатации, ведется в рамках проекта Facebook Open Compute (см. врезку «Проект Facebook Open Compute набирает силу»).

Проект Facebook Open Compute набирает силу

Стартовавший год назад проект Facebook (http://opencompute.org/) по разработке открытой аппаратной архитектуры для создания эффективных ЦОД получил новый стимул: к нему присоединились несколько технологических компаний, представивших собственные серверные архитектуры. Членами Open Compute Project (OCP) стали компании HP, Advanced Micro Devices, VMware, Supermicro и ряд других.

Проект Open Compute Project предполагает создание открытых стандартов и архитектур оборудования для построения энергоэффективных и экономичных ЦОД. Идея примерно та же, что и при разработке программного обеспечения с открытым исходным кодом. Сообщество разработчиков совместно создает и совершенствует аппаратные архитектуры, постепенно улучшая продукты. Проект предполагает также разработку стандартов, в частности стандартов управления для облачных вычислений. HP и Dell уже подготовили новые архитектуры серверов и СХД в соответствии со спецификациями OCP Open Rack, охватывающими такие аппаратные компоненты, как системные платы и элементы системы электропитания в серверном шасси.

В числе уже созданных в рамках проекта аппаратных решений — сервер хранения от Facebook и системные платы AMD и Intel. Так, AMD предложила системную плату 40,6х41,9 см для высокопроизводительных и облачных вычислений. Как заявлено, эта платформа под названием Roadrunner обладает «исключительной энергоэффективностью». Она выполнена на базе процессоров AMD Opteron серии 6000 и поддерживает большой объем памяти. VMware будет сертифицировать свою платформу виртуализации vSphere на соответствие спецификации OpenRack. Если архитектура Facebook станет стандартом де-факто для центров обработки данных, предназначенных для облаков и Web 2.0, это может упростить развертывание систем и управление ими, считают аналитики Pund-IT.

OCP начинался как проект по совместной разработке оборудования для центра данных Facebook в Прайневилле (штат Орегон). В итоге в Facebook решили сделать архитектуру открытой, включая серверные платы, блоки питания, серверные шасси и стойки. Сегодня ЦОД в Прайневилле потребляет на 38% меньше электроэнергии, чем другие центры данных Facebook, а обошелся он примерно на 24% дешевле. Google и Amazon тоже применяют не стандартные серверы, а оборудование специальной архитектуры, что помогает сократить издержки и снизить нагрузку на персонал при управлении и обслуживании мегаЦОД с тысячами серверов.

Серверы Open Compute имеют облегченную конструкцию: их легче переводить и проще собирать. Кроме того, они способны работать при повышенной температуре, и это один из факторов, благодаря которым в ЦОД в Прайневилле значение PUE достигло 1,08, то есть серверы потребляют 92% подаваемой сюда электроэнергии. В этом ЦОД применяется бесчиллерная адиабатная система охлаждения. Однако не все шло гладко. При температуре в холодном коридоре 26,60C и относительной влажности 95% из-за образовывавшегося конденсата стали выходить из строя блоки питания серверов. Для устранения этой проблемы на элементы блоков питания пришлось наносить специальное покрытие, чтобы при влажности до 90% конденсат не появлялся.

«Жаростойкость» достигается в первую очередь благодаря правильной архитектуре оборудования, — подчеркивает Александр Акишин, консультант по технологиям из представительства Fujitsu в России и СНГ. — В серверах Fujitsu Primergy используется оптимизированная конструкция передней решетки, что позволило почти вдвое повысить ее проницаемость для воздуха. Это решение в совокупности с бескабельным дизайном обеспечивает высокую циркуляцию воздушных потоков, при которой полностью исключается появление областей с повышенными температурами. В модульных серверах применяется полностью интегрированная инфраструктура энергоснабжения и охлаждения. Благодаря такому подходу системы питания и охлаждения занимают очень мало места, а сэкономленное пространство позволяет оптимизировать теплообмен в самих серверах. Специальное программное обеспечение, поставляемое с каждым сервером Primergy, непрерывно следит за температурой компонентов и в случае достижения критических значений увеличивает скорость вращения вентиляторов или, при использовании заданных правил, понижает частоту для снижения энергопотребления и, как следствие, температуры».

Рисунок 5. В основе архитектуры Cool-Central лежит реализация законов
термодинамики воздуха, что позволяет исключить риски использования жидкостного охлаждения. А применение лишь двух центральных выпускных вентиляторов вместо сотен вентиляторов отдельных серверов значительно снижает энергопотребление и стоимость теплового рассеивания.

Специально для организаций, испытывающих проблемы со снижением тепловыделения и вынужденных нести большие затраты на охлаждение, компания Fujitsu разработала платформу CX1000 с собственной технологией Cool-Central, которая обеспечивает высокий уровень экономичности отвода тепла в ЦОД горизонтального масштабирования (см. Рисунок 5). CX1000 и Cool-Central устраняют необходимость в организации «горячего коридора». За счет специальной архитектуры CX1000 горячий воздух под давлением направляется в верхнюю часть стойки. Это позволяет устанавливать серверные узлы CX1000 каскадом, экономя площадь ЦОД. Шасси системы CX1000 сконструировано с использованием распределенных компонентов для улучшенного охлаждения и рассеивания тепла. Кроме того, серверные узлы x86 поставляются с меньшим количеством недублированных компонентов. Доступ ко всем компонентам возможен с передней панели, то есть доступ к задней части стойки не нужен. Лотки сервера может заменять сам пользователь, что снижает затраты на обслуживание.

Для достижения высокой энергоэффективности нужна специальная элементная база. Это блоки питания с повышенным КПД (до 94%), процессоры и модули памяти с пониженным энергопотреблением. Еще больший эффект могло бы дать создание специальной микроэлементной базы с более высокими рабочими температурами, однако пока это маловероятно. К тому же такие компоненты существенно дороже стандартных, хотя по мере наращивания объемов их производства цена будет снижаться. По мнению специалистов, повышение рабочей температуры сервера в случае применения компонентной базы с увеличенным ресурсом — весьма конструктивная идея. Именно этот подход позволит при массовом производстве существенно сократить затраты на кондиционирование и охлаждение.

В целом можно с уверенностью предположить, что доля «жаростойких» систем среди моделей серверов, оптимизированных для ЦОД (см. Рисунок 6), будет расти.

Рисунок 6. Количественное соотношение применяемых в России различных типов серверов (в денежном выражении, по данным IDC).

ЗАКЛЮЧЕНИЕ

Повышение температуры в ЦОД должно осуществляться в рамках программы повышения энергоэффективности и предусматривать использование лучших отраслевых решений по управлению воздушными потоками, таких как герметизация кабельных вводов, исключение помех для потоков воздуха под фальшполом, изоляция горячих/холодных коридоров. Даже «потепление» на 6–80C может дать значительную экономию без снижения надежности или потери гарантии. Для повышения рабочей температуры особенно подходят ЦОД с однородным оборудованием ИТ, которые функционируют в режиме дистанционного управления и решают задачи высокопроизводительных вычислений или применяются для суперкомпьютерных приложений.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.