По оценкам специалистов, от 30 до 50% энергопотребления ЦОД тратится на охлаждение систем ИТ. Считается, что серверы работают наиболее эффективно при температуре от 18 до 23°С. Если воздух в ЦОД оказывается слишком горячим, это негативно сказывается на сроке службы оборудования, а в самом худшем варианте приводит к его выходу из строя. Вместе с тем излишнее снижение температуры в помещении ухудшает параметры эффективности охлаждения и создает излишнюю нагрузку на систему кондиционирования, что сокращает ее рабочий ресурс и увеличивает энергопотребление. Чрезмерно холодный воздух, поступающий к серверному оборудованию, может вызвать и образование конденсата, и, как следствие, поломку устройств. Кроме того, эта техника чувствительна и к резким перепадам температурного режима.
Из-за непрерывного наращивания серверных мощностей тепловыделение в центре обработки данных увеличивается в среднем на 15% в год. Сегодня одна серверная стойка выделяет примерно 7–15 кВт тепла, тогда как несколько лет назад данный показатель составлял всего 1–5 кВт. Это означает, что ЦОД, спроектированный 5–7 лет назад, в нынешних условиях может оказаться если не совсем непригодным, то уж точно неэффективным. В какой-то момент нехватка ресурсов для охлаждения становится сдерживающим фактором для дальнейшего развития ЦОД. Именно поэтому оптимизация систем кондиционирования является важнейшей задачей как на этапе проектирования, так и в процессе эксплуатации центров обработки данных.
Температурный режим центра обработки данных во многом зависит от расположения оборудования в помещении. Зачастую мощные и дорогостоящие кондиционеры размещаются таким образом, что крайние стойки охлаждаются неэффективно. При этом расходы на электроэнергию растут, а число инцидентов, связанных с отказом оборудования из-за перегрева, не сокращается. Сейчас при строительстве ЦОД чаще всего применяются три модели. Самая простая и наименее затратная — разделение помещения на холодные и горячие коридоры. Иногда такие температурные коридоры изолируются; в таком случае стоимость решения повышается, но охлаждение оборудования становится более эффективным. Наиболее сложным и дорогостоящим является так называемое закрытое решение, когда холодный воздух подается непосредственно на лицевую часть серверных стоек. Выбор той или иной модели во многом определяется конструктивными особенностями конкретного помещения и стоящими перед компанией бизнес-задачами.
Конечно же, при разработке сложных решений кондиционирования давно используются различные автоматизированные системы. Однако их создатели чаще всего ограничиваются задачей подбора оборудования в соответствии с заданными параметрами — размерами помещения, запланированной вычислительной нагрузкой и пр. Оптимальным образом разместить оборудование помогает специализированное ПО с использованием вычислительной аэрогидродинамики (Computational Fluid Dynamics, CFD). На мировом и российском рынке представлено немало подобных систем, но наиболее известными, пожалуй, являются FloVENT компании Mentor Graphics, TileFlow от Innovative Research и CoolSim, которую выпускает Applied Math Modeling. С помощью инструментов визуализации CFD-систем можно получить подробные анимированные 3D-модели температурных процессов, отображающие направление воздушных потоков и распределение температурных областей (см. Рисунок 1).
Рисунок 1. Пример картины тепловых потоков в ЦОД. |
О ЧЕМ РАССКАЖЕТ 3D-МОДЕЛЬ
На основании схемы расположения кондиционеров, серверов, источников бесперебойного питания и прочего оборудования CFD-система моделирует температурный режим в центре обработки данных. Для любой точки может быть построен температурный срез. Вращая объемную модель, можно следить за движением потоков холодного и горячего воздуха не только в самом помещении, но и внутри серверных стоек, а изменяя расстановку и режим работы объектов — добиться наилучшего способа размещения элементов инфраструктуры (кондиционеров, ИБП, стоек с оборудованием). Кроме того, система позволяет смоделировать последствия для инфраструктуры в случае возникновения нештатных ситуаций.
Некоторые CFD-системы, например, FloVENT, при составлении схемы размещения позволяют задавать реальные характеристики оборудования, такие как мощность и направление входящего и выходящего воздуха. Более того, они способны учитывать любые особенности конкретного помещения, вплоть до показателей теплопроводности материалов, из которых изготовлены стены, и расположения кабельных трасс под фальшполом (эти объекты могут препятствовать прохождению охлажденного воздуха). Конечно, работать с такой системой должны инженеры, обладающие соответствующей квалификацией, однако результаты их работы могут быть сохранены в виде презентаций или видеороликов, понятных даже технически неподготовленным пользователям.
ЭКСПЕРТЫ СОВЕТУЮТ
Как показывает накопленный нашей компанией опыт проектирования и обслуживания ЦОД, около 40% существующих центров обработки данных построены неоптимально — с точки зрения организации систем холодоснабжения. Даже если изначально проект ЦОД был удачным и эффективным, за несколько лет конфигурация оборудования меняется. А ведь на прохождение воздушных потоков может влиять даже забытый патч-корд.
При проектировании новых ЦОД необходимо сразу же задать предполагаемую тепловую нагрузку на одну стойку.
Если этот показатель не будет превышать 8–10 кВт, то целесообразно применить стандартную схему охлаждения с монтажом шкафных прецизионных кондиционеров и фальшпола, а также расстановкой ИТ-оборудования по принципу «холодных» и «горячих» коридоров. Даже если нагрузка на одну стойку окажется иной, чем прогнозируемая, это решение можно легко модернизировать посредством изоляции «холодного» коридора, установки дополнительных кондиционеров (если позволяет место) и добавления активного фальшпола. Такая модернизация позволит ассимилировать тепловую нагрузку величиной 15 кВт с одной стойки. Главное — не повторять типичных ошибок, таких как установка кондиционеров слишком близко к вычислительному оборудованию и распределение высоконагруженных, по сравнению с остальными, стоек по всему помещению.
Рекомендации по размещению оборудования в самой стойке необходимо довести до сведения ИТ-служб. Часто серверы стараются установить повыше, чтобы администраторам было удобнее с ними работать. Но, поскольку холодные воздушные потоки поступают из-под фальшпола, эффективнее размещать высоконагруженные серверы в середине стойки, где температура ниже. Ну и конечно, охлажденный воздух не должен попадать на вход кондиционера — это грубая, но, к сожалению, довольно распространенная ошибка.
При планируемой нагрузке свыше 10 кВт на одну стойку рекомендуется — в дополнение к основной системе кондиционирования — рассмотреть возможность применения локальных кондиционеров. При такой схеме можно уже не так тщательно следить за распределением высоконагруженных стоек по помещению (лучше даже собрать их в одном месте), а распределение серверов в стойке становится совершенно не принципиальным.
Грамотная экспертиза с применением CFD-системы поможет компании оценить предлагаемое подрядчиком решение еще на этапе проектирования центра обработки данных или добиться большей отдачи от имеющегося оборудования уже в процессе эксплуатации ЦОД.
В последние два-три года российские заказчики стали активнее обращаться к услугам экспертов по температурному моделированию центров данных. Например, ведущий телеком-оператор МТС регулярно проводит экспертизу своих ЦОД или их отдельных модулей, чтобы гарантировать надежность работы ИТ-сервисов. «РосЕвроБанк» на основании исследования, проведенного специалистами нашей компании с помощью системы FloVENT, принял решение о необходимости реконструкции действующего центра.
В целом, экспертиза систем кондиционирования ЦОД позволяет заказчикам подобрать оптимальную конфигурацию аппаратного обеспечения и увеличить срок его службы за счет создания максимально комфортных условий эксплуатации. Выявление причин сбоев (перегревов) оборудования способствует повышению надежности ЦОД и всех его сервисов. Но, пожалуй, наиболее очевидным результатом станет уменьшение затрат на электроэнергию. Так, по приблизительным оценкам, для среднего ЦОД мощностью 100 КВт × ч сокращение энергопотребления всего на 5% позволит сэкономить за год более 200 тыс. рублей!
Алексей Карпов — директор департамента инженерных систем компании «Астерос».