В Вестфальском университете им. Виль-гельма (г. Мюнстер), одном из крупнейших высших учебных заведений Германии, где на 15 факультетах около 40 тыс. студентов обучается по 120 различным специальностям, отдел ИТ столкнулся как раз с такой задачей. Факультеты расположены в нескольких зданиях в разных частях города, но все они объединены в единую сеть с помощью центра обработки данных (ЦОД). При этом ЦОД и его отдельные подразделения отвечают за выполнение конкретных задач. Руководители подразделений регулярно встречаются, обмениваются опытом и запускают совместные проекты.
СОВМЕСТНОЕ ИСПОЛЬЗОВАНИЕ СЕРВЕРОВ
Недавно завершенный проект предусматривал объединение серверов и серверных приложений, которые ранее эксплуатировались отдельными факультетами на разных площадках. Главной задачей стало обеспечение лучшей загрузки имеющихся мощностей. Один из таких примеров — системы управления обучением (Learning Management Systems): преподаватели вузов хотели бы использовать подобные системы для занятий со студентами. Без взаимной кооперации скоро появилось бы множество систем, распределенных по многочисленным серверам, что, безусловно, невыгодно в финансовом плане. Серверы, предназначенные для совместного использования, предполагалось разместить в новом помещении, отвечающем более высоким требованиям к отказоустойчивости и, прежде всего, в плане климатизации. Имевшееся серверное помещение было переполнено оборудованием, а системы климатизации работали на пределе своих возможностей.
СЕРВЕР В УГОЛЬНОМ ПОДВАЛЕ
Пустующее помещение удалось найти достаточно быстро — бывший угольный подвал под парковкой одного из офисов в центре города. В целом условия оказались неплохими: поскольку помещение находилось под землей, не нужно было заботиться о защите от прямых солнечных лучей. Однако поначалу предстояло преодолеть ряд трудностей: площадь для размещения оборудования ограничивали опорные столбы, потолки оказались низкими, а двойной пол, необходимый для установки традиционных систем воздушного охлаждения, отсутствовал.
В таких условиях серверные шкафы не только должны были идеально вписаться в помещение по своим габаритам, но и охлаждаться воздушно-водяными теплообменниками. На рынке представлено множество подобных решений: воздушно-водяные теплообменники для крепления на полу или стене, с горизонтальными и вертикальными воздуховодами и различными винтовыми креплениями. В зависимости от рассеиваемой мощности, каждое из этих решений предназначено для установки в шкафах определенного размера. Но площадь подвала весьма ограничена.
В результате отдел ИТ сделал выбор в пользу системы шкафов Varistar от компании Schroff со встроенным воздушно-водяным теплообменником LHX20 (см. Рисунок 1). Для установки серверов и других компонентов в шкаф не понадобились какие-либо особые приспособления. В комплект уже включены механические детали и аксессуары для разных способов крепления оборудования. Кроме того, один шкаф выдерживает максимальную нагрузку до 1000 кг, а его глубина достигает 1200 мм. Таким образом, упомянутая система подходит для всех традиционных типов серверов и предоставляет достаточно пространства для кабельных соединений и электропитания.
Установив 30 шкафов, каждый шириной 800 мм, глубиной 1200 мм и высотой 2 м, отдел ИТ сможет оптимально использовать все доступное пространство. Первые 16 шкафов были доставлены весной и уже находятся в эксплуатации, а оставшиеся 14 — в августе 2008 г.
КОНЦЕПЦИЯ ОХЛАЖДЕНИЯ
Выбранная система шкафов располагает пригодной для любого объема системой охлаждения, способной отводить выделяемое оборудованием тепло до 20 кВт. Воздушно-водянной теплообменник вставляется в шкаф сбоку в виде отдельного модуля, поэтому 19-дюймовая секция остается свободной (42 монтажные единицы).
Теплообменник располагается в закрытом горизонтальном воздушном контуре шкафа, скорость подачи воздуха достигает 3000 м3/час. Воздухопроводные элементы и шесть вентиляторов, распределенных по высоте, обеспечивают равномерное охлаждение всех установленных в шкафу компонентов. В данном здании вода достаточно холодная (7°C). Из внешнего контура она прокачивается через теплообменник, нагревается, а затем попадает в установку обратного охлаждения, где температура понижается до первоначальной величины.
Микропроцессорное регулирование параметров температуры в шкафу осуществляется для обоих контуров: водяного и воздушного. Трехпозиционный вентиль (регулирование PID) и обходная магистраль (Bypass) обеспечивают оптимальную комбинацию подачи и отвода воды. Температура шкафа поддерживается на постоянном уровне благодаря равномерной циркуляции воды (от 1,55 до 2,8 м3).
В целях экономии энергии вентиляторы работают с минимальным числом оборотов, по умолчанию он составляет 80% от максимума. Однако если трехпозиционный вентиль открыт полностью, а внутри шкафа по-прежнему слишком жарко, система управления увеличивает мощность вентиляторов до максимальных значений. По мере охлаждения воздуха система управления сначала уменьшает число оборотов, а затем регулирует циркуляцию воды. Различные интерфейсы для сигнализации и предупредительных сообщений, внешних устройств контроля шкафов, а также для мониторинга системы обеспечивают бесперебойную эксплуатацию.
Подача холодной воды в бывшем угольном подвале осуществляется под очень низким фальшполом, где место осталось только еще для прокладки кабелей, но не для традиционной системы воздушного охлаждения (см. Рисунок 2). Оставшейся высоты помещения едва хватило для установки двухметровых шкафов. Однако благодаря этому дополнительной защиты от опрокидывания не понадобилось.
В качестве дополнения к климатическим модулям из соображений безопасности установлено два отдельных охлаждающих шкафа между рядами, которые при необходимости подают холодный воздух через низкий двойной пол к отверстиям, располагающимся перед серверными шкафами (см. Рисунок 3). Благодаря этому подача холодного воздуха гарантируется даже во время технического обслуживания одного или нескольких климатических модулей или при проведении работ в открытых шкафах.
УРОВЕНЬ ШУМА
Поскольку в серверной периодически приходится работать людям, следовало позаботиться о допустимом уровне шума. Поэтому было выбрано решение, где воздушно-водяной теплообменник интегрируется в шкаф, а не монтируется снаружи. Таким образом, шкаф с климатическим модулем при оборотах вентилятора в 80% от максимального числа создает шума в 50,7 дБ. Законодательно установленный предел для офисных помещений в Германии (по нормам DIN EN ISO 11650-1) составляет 55 дБ.
ПОТРЕБЛЕНИЕ ЭНЕРГИИ И РАССЕИВАЕМАЯ МОЩНОСТЬ
При создании новой серверной важнейшую роль играют используемая энергия и отводимое тепло. Специалисты по ИТ обратились за советом в Энергетическое агентство Северной земли Рейн-Вестфалия. Кроме того, они сделали предварительный расчет предполагаемой электрической мощности устанавливаемых вычислительных компонентов и определили ожидаемую рассеиваемую мощность.
Шкафы оснащены различным оборудованием, и каждый выделяет примерно одинаковое тепло в 4-5 кВт, поэтому снабжать каждый шкаф собственным климатическим модулем не пришлось. В большинстве случаев он устанавливается в каждый второй шкаф, при этом между шкафами нет смежных стенок. Такая планировка предусматривает определенный резерв.
Если рассеиваемая мощность какого-то шкафа превышает 5 кВт, то он оснащается дополнительным климатическим модулем. Климатические модули для увеличения охлаждающей мощности можно добавить и позднее, к примеру, при добавлении серверного оборудования. В случае сбоя одного из модулей остальные шкафы берут на себя все охлаждение вплоть до решения проблемы.
ГЛАВНЫЕ КРИТЕРИИ ВЫБОРА
Возможность регулирования мощности охлаждения в зависимости от текущих потребностей нашла особый отклик среди сотрудников университетского отдела ИТ. Дальнейшими аргументами в пользу решения от Schroff стали низкое потребление энергии климатическими модулями (в среднем около 600 Вт) и привлекательная стоимость шкафа в полной комплектации. Отдел закупок университета провел расчет издержек за 10 лет, и это предложение оказалось лучшим по сравнению с конкурентными. Кроме того, концепция шкафа Varistar позволила разместить в бывшем угольном подвале большее количество шкафов, а значит, и больше монтажных единиц.
Криста Вайль — специальный корреспондент, работающий в Требуре.
© AWi Verlag