Множество журнальных публикаций и докладов на конференциях посвящено тому, как правильно построить новый современный корпоративный ЦОД тем компаниям, у которых его никогда не было. Но у многих уже есть собственный ЦОД, причем нередко ему 10 лет, а то и более. Между тем развитие бизнеса не прекращалось, а значит, росли и потребности в ИТ-сервисах. В таком случае существует немалая вероятность того, что возможностей старого ЦОДа не хватает и требуется реконструкция. Как ее провести, чтобы не помешать текущей деятельности предприятия?

ЧТО ИМЕЕМ

Для примера рассмотрим типовой корпоративный центр обработки данных образца середины прошлого десятилетия — «сферический ЦОД в вакууме». Он выглядит приблизительно так, как на рис. 1. При грамотном подходе в таком машинном зале десять лет назад можно было разместить 14 серверных стоек, организовать их охлаждение путем подачи воздуха через фальшпол и даже установить один резервный кондиционер. Высота фальшпола обычно составляла около полуметра, под ним располагались лотки для кабелей.

Рис. 1. Схема типового корпоративного центра обработки данных образца середины прошлого десятилетия
Рис. 1. Схема типового корпоративного центра обработки данных образца середины прошлого десятилетия

 

Архитектура решения выбиралась таким образом, чтобы в зале можно было разместить максимально возможный объем оборудования с суммарным энергопотреблением 42 кВт, что эквивалентно актуальной на тот момент энергетической плотности 3 кВт на шкаф. Коэффициент PUE в таких ЦОДах равен примерно 2, поэтому полная потребляемая мощность составляет около 84 кВт. ИБП с батареями установлены в отдельной электрощитовой и занимают там определенное место (мы обсудим этот вопрос позднее). Будем считать, что все сделано как следует и для ИБП предусмотрено резервирование 2N. Десять лет назад использование в корпоративных ЦОДах систем мониторинга и управления ЦОДом (DCIM) не считалось приоритетным, на реализации СКС старались экономить, поэтому исходим из того, что такие системы отсутствовали К слову, многие заказчики до сих пор считают, что проложить индивидуальные кабели до оборудования дешевле, чем сразу сделать полноценную СКС в ЦОД.

Так почему же изначально хороший ЦОД стал со временем плохим? За прошедшие с момента ввода в эксплуатацию годы потребности компании возросли: пользователей стало больше, как и ИТ-сервисов, для их поддержки требуется установка все более производительных серверов, коммутаторов, маршрутизаторов, межсетевых экранов. Однако из-за ограничений ЦОДа по мощности в каждом шкафу можно разместить только одну блейд-корзину, да и ту нельзя заполнить до конца, не говоря уже о том, чтобы на оставшееся свободное место установить активное оборудование. Таким образом, имеющиеся шкафы используются нерационально.

Постоянная прокладка новых кабелей (сначала для Ethernet на 100 Мбит/с, потом для 1 Гбит/с, затем для 10 Гбит/с) привела к переполнению кабельных трасс и путанице. А между тем уже пора бы переходить на 40 Гбит/с… Снова наступил срок замены аккумуляторов в ИБП, вентиляторы в кондиционерах изношены… В общем, инженерные системы ЦОДа выработали свой ресурс и риск отказа оборудования довольно высок.

ПОСТАНОВКА ЗАДАЧИ

Итак, волевое решение принято: ЦОД нуждается в модернизации. Но чтобы достичь цели, надо сначала ее четко определить. Одним из ключевых показателей работы ЦОДа является уже упоминавшаяся расчетная удельная энергетическая нагрузка на шкаф. Это усредненное распределение потребляемой электроэнергии (и, соответственно, выделяемой тепловой энергии) в расчете на один шкаф. Приведем конкретные примеры:

  • если заполнить шкаф обычными современными серверами 2U, каждый из которых выделен под свою задачу, их среднее суммарное энергопотребление составит около 5 кВт;
  • если в шкафу устанавливаются блейд-шасси и СХД, энергетическая плотность возрастает: одна корзина и серверы, занимающие остальное пространство, в общей сложности «съедают» около 10 кВт;
  • при переходе на виртуальные машины для двух блейд-корзин и СХД, установленных в один шкаф, понадобится примерно 15 кВт.

Очевидно, что вычислительная мощность серверов пропорциональна потреблению (вернее, наоборот), то есть, когда мы говорим об увеличении нагрузки на шкаф, речь идет о более плотном размещении вычислительных мощностей. Самое дорогое, что есть в ЦОДе (не считая информации, конечно), — это место на полу. Соответственно, чем выше энергетическая плотность, тем эффективнее данная площадь используется и тем больше перспектив развития у данного ЦОДа.

Логичный вопрос: как разместить в ЦОДе инженерное оборудование большей мощности? За прошедшие 10 лет сменилось целое поколение устройств, и теперь нам доступны более эффективные ИБП и кондиционеры. Например, современные ИБП при тех же габаритах (без учета аккумуляторов) обеспечивают в несколько раз более высокую мощность. А современные кондиционеры располагаются поблизости от нагрузки и благодаря оптимизации воздушных потоков способны снимать гораздо более высокие теплопритоки.

Чтобы правильно определить задачу, необходимо ответить на несколько вопросов:

  • ЦОД какой мощности мы хотим получить (с учетом перспективы дальнейшего развития)?
  • Какое оборудование в нем планируется установить?
  • Какую энергетическую плотность в расчете на шкаф требуется обеспечить?
  • Насколько большие перемены мы можем себе позволить?

Особенно интересен последний вопрос. Нередко такой корпоративный ЦОД является единственным. Выделить на время реконструкции специализированные резервные площадки затруднительно или невозможно. Частично как резервные могут использоваться только серверные комнаты в филиалах (если они есть) или арендуемые площади. Таким образом, реконструкция должна осуществляться в условиях действующего производства, без длительных простоев ИT-сервисов, что может занять больше времени, чем стройка на пустом месте. Реконструируемую часть помещения придется отделить временными перегородками, многие работы проводить в ночное время и т. п. Поэтому одним из критериев при выборе подрядчика будет его способность не только разработать правильные технические решения, но и организовать процесс так, чтобы модернизация прошла наименее болезненно.

ПРОСТОЕ РЕШЕНИЕ

Если не хочется или нет возможности проводить масштабные преобразования, можно ограничиться легкой модернизацией, которая, однако, может дать существенный прирост мощности ЦОДа — более чем в полтора раза.

Для облегчения процесса и распределения затрат во времени даже небольшую реконструкцию лучше осуществлять поэтапно. Рассмотрим одну из возможных схем. Сначала реконструируем подвод электричества, заменяем один ИБП, за ним второй. Далее поочередно меняем два кондиционера. Производительность системы охлаждения в результате увеличится, так что энергетическую нагрузку можно повысить до 5 кВт на шкаф и разместить ИТ-оборудование более компактно. При этом часть шкафов (с сетевым оборудованием) с меньшей удельной нагрузкой оставляем в отдельной зоне. После подключения третьего кондиционера можно восстановить исходную степень резервирования. Имеющиеся шкафы изолируем, организовав холодный коридор. В результате энергоэффективность еще более возрастает и составляет уже не 5, а 6 кВт на шкаф (см. рис. 2).

Рис. 2. Легкая модернизация ЦОДа с выделением холодного коридора позволяет повысить энергетическую плотность в два раза — до 6 кВт на шкаф
Рис. 2. Легкая модернизация ЦОДа с выделением холодного коридора позволяет повысить энергетическую плотность в два раза — до 6 кВт на шкаф

 

Допустимая мощность ИТ-нагрузки вырастет более чем в полтора раза. Поскольку современные кондиционеры значительно эффективнее, коэффициент PUE снизится, полная потребляемая мощность составит около 120 кВт. Позже может быть установлена система мониторинга и даже СКС ЦОДа. Поскольку в этом варианте используются существующие шкафы и фальшпол, перерыв в работе ИТ-систем будет минимальным.

ГЛУБОКАЯ МОДЕРНИЗАЦИЯ

Однако сохранение схемы кондиционирования с подачей воздуха через фальшпол ограничивает возможности увеличения энергетической нагрузки. Фальшпол, как мы помним, имеет высоту около полуметра, и это пространство частично занято коммуникациями. Аэродинамическое сопротивление движению воздуха там достаточно высокое, поэтому подать большой объем холодного воздуха через фальшпол не удастся. Таким образом, заявленные 6 кВт на шкаф являются максимальными для этой схемы. Что делать, если этого недостаточно? Идти дальше!

Потоки воздуха можно оптимизировать путем изоляции горячего коридора. Для этого шкафы надо развернуть «спиной друг к другу», а рядом с ними установить внутрирядные кондиционеры. Коридор между шкафами, естественно, изолируем: закроем крышей и дверями. Путь циркуляции воздуха в такой системе значительно сокращается. Серверные шкафы забирают воздух из помещения ЦОДа и подают его в изолированный коридор. При этом тепло не рассеивается по помещению: оно сконцентрировано в одном месте, где его удобно сразу забрать в кондиционеры. Перфорированные плитки фальшпола, конечно же, надо поменять на цельные. Подфальшпольное пространство исключается из системы кондиционирования и используется только для прокладки коммуникаций.

Аналогичная схема с холодным коридором также имеет право на существование, но обычно предпочтение отдается схеме с изоляцией горячего коридора. Одна из причин в том, что чем горячее воздушные потоки на входе в кондиционер, тем эффективнее он работает. А это значит, что забирать нагретый воздух нужно не из помещения ЦОДа, а как можно ближе к ИТ-оборудованию.

Такой ЦОД легко собрать без разбора фальшпола в ранее использовавшемся помещении и постепенно перенести оборудование из существующих шкафов в новые (см. рис. 3).

Рис. 3. Глубокая модернизация ЦОДа с изоляцией горячего коридора позволяет увеличить общую мощность ИТ-нагрузки до 120 кВт
Рис. 3. Глубокая модернизация ЦОДа с изоляцией горячего коридора позволяет увеличить общую мощность ИТ-нагрузки до 120 кВт

 

Количество шкафов значительно сократилось — с 14 до 8. Места стало меньше, зато для ИТ-оборудования теперь доступна мощность 120 кВт (а было всего 42 кВт). Это значит, что мы в 2,8 раза увеличили возможную производительность ИТ-систем. Иначе говоря, наш ЦОД стал компактнее, плотнее и в 2,8 раза мощнее! Это надежная основа для следующих шагов: миграции ИТ-сервисов с устаревших серверов на современные блейд-системы и СХД с виртуализацией.

Резервирование кондиционеров сохранилось на прежнем уровне: N+1. PUE стал заметно лучше: расчетное значение составляет 1,55 против прежних 2. Если есть место, то взамен старых шкафов рекомендуем установить шкафы глубиной 1200 мм, чтобы было удобнее раскладывать кабели.

ХОРОШЕЕ ПИТАНИЕ

Все получилось, ничего не забыли? Осталось обсудить самое важное — электричество. Лет десять назад модульные ИБП были экзотикой и изготавливались чуть ли не единственным производителем. Поэтому мы можем смело предположить, что установленные ИБП были моноблочные, с резервированием 2N. Соответственно, для обеспечения бесперебойного питания серверов, скорее всего, установлено два идентичных ИБП мощностью не менее 42 кВт каждый. Кондиционеры в то время предлагались, как правило, не инверторные и без плавного пуска, то есть с большими пусковыми токами. Чтобы исключить их влияние на серверы, требовалось установить отдельные ИБП — тоже, конечно, резервированные. Итого имеем четыре шкафа ИБП, каждый со своим шкафом батарей, — всего восемь занятых мест.

Применив современный модульный ИБП с резервированием N+1, общий для ИТ-оборудования и инженерной нагрузки, сумеем высвободить 6–7 мест, где можно установить аккумуляторы. Мощность ЦОДа стала выше, так что батарей тоже надо больше. Однако количество необходимых батарейных шкафов (при условии сохранения прежнего времени автономной работы) увеличивается не пропорционально росту мощности ИБП, потому что в результате сокращения количества отдельных батарейных массивов батареи будут распределены более оптимально. Если все сложится удачно, место найдется еще для одного ИБП и можно будет реализовать схему резервирования 2(N+1) (см. рис. 4).

Рис. 4. При замене старых ИБП на современные площадь помещения используется более рационально, поэтому можно повысить мощность источников без переноса оборудования в более просторную электрощитовую
Рис. 4. При замене старых ИБП на современные площадь помещения используется более рационально, поэтому можно повысить мощность источников без переноса оборудования в более просторную электрощитовую

 

Взяв высокий темп, зачастую трудно остановиться, поэтому после «наращивания мышечной массы» можно заняться повышением «интеллектуального потенциала» инженерной инфраструктуры ЦОДа. Современная система мониторинга и управления инфраструктурой (DCIM) позволит снизить затраты на эксплуатацию и повысить уровень надежности за счет анализа собранной с датчиков информации и проактивного реагирования на ожидаемые проблемы.

Олег Сорокин, эксперт направления ЦОД компании «ICL Системные технологии»