Инженерные системы — наиболее дорогостоящая составляющая ЦОД, но именно благодаря ей удается обеспечить надлежащее функционирование размещаемого оборудования.

При строительстве центра обработки данных (ЦОД) приходится учитывать множество факторов. При этом чрезвычайно важно, чтобы планирование всех компонентов ЦОД проводилось скоординированно. В общем случае процесс создания нового или расширения/модернизации имеющегося ЦОД состоит из следующих этапов:

  • определения требований к ЦОД;
  • подготовки технического задания на проектирование и технических требований к объекту, где будет размещаться ЦОД;
  • выбора объекта для строительства ЦОД согласно техническим требованиям, а при несоответствии требованиям определения возможности изменения технического задания;
  • доработки технического задания на проектирование ЦОД с учетом особенностей выбранного объекта;
  • полученяе объекта в долгосрочное пользование с разрешением на проведение дополнительных работ по его модернизации;
  • разработки общего проекта ЦОД, включая проекты отдельных инженерных систем;
  • выбора генерального подрядчика для координирования работ;
  • выбора компетентных подрядных организаций для строительства ЦОД;
  • приема объекта в эксплуатацию.

Главными потребителями ЦОД являются те, кому в будущем предстоит эксплуатировать установленные в нем информационные системы. Поэтому к проектированию ЦОД с самого начала должны привлекаться специалисты в области телекоммуникаций и информационных технологий.

ОСНОВНЫЕ ТРЕБОВАНИЯ К ЦОД

При определении требований необходимо учитывать тенденции развития информационных систем и телекоммуникаций в удаленной — насколько это только возможно — перспективе и предусмотреть варианты расширения мощностей ЦОД в соответствии с планами развития предприятия. Таким образом, начинать следует с расчета максимальной мощности центра данных, поскольку в дальнейшем этот параметр будет своего рода ограничителем его роста.

Далее рассчитывается емкость размещаемого оборудования, измеряемая в стандартных единицах высоты или, в просторечии, юнитах (U). Зная стандартные размеры стоек, можно определить их необходимое количество, а затем и минимальную площадь помещения, которая зависит в том числе и от его планировки. Размещать придется не только стойки и/или шкафы для оборудования, но также организаторы кабелей и другие обеспечивающие системы — электропитания, вентиляции, кондиционирования и пожаротушения. Поэтому требования к пространству определяются также такими факторами, как расчетный отвод тепла и необходимый уровень резервирования для обеспечения отказоустойчивости.

Следующий важный параметр — энергопотребление основного оборудования. Надо помнить, что в паспортах устройств обычно указывают среднюю мощность потребления. При проектировании нового ЦОД не стоит ориентироваться на цифру 5-6 кВт на стойку, поскольку размещение современных систем потребует подведения 10-15 кВт. Мощность источников бесперебойного питания выбирается в зависимости от энергопотребления основного оборудования.

Зная полезную мощность, можно определить подводимую мощность к ЦОД. Исходя из практики этот показатель составляет 250% от мощности, потребляемой информационными системами. Куда же она тратится? В первую очередь, на отвод выделяемого тепла от оборудования, т. е. кондиционирование. Другие инженерные системы являются менее ресурсоемкими — освещение, в том числе аварийное, вентиляция, газовое пожаротушение, контроль доступа, видеонаблюдение потребляют значительно меньше энергии.

Размеры и общий вес стоек определяют требования к минимальной нагрузочной способности перекрытий и фальшпола, а состав и производительность информационных систем — к кабельным системам и внешним кабельным вводам для каналов связи.

На основании емкости и типов размещаемого оборудования, а также необходимых уровней обслуживания составляются требования к вспомогательным помещениям — складу, комнатам для персонала и т. п. Упакованное оборудование, запасные воздушные фильтры, плиты пола, кабели, носители и бумага для принтеров должны храниться отдельно — в складском помещении. В идеале для хранения различных компонентов стоит предусмотреть отдельные вспомогательные помещения, особенно для документов и магнитных лент, в крайнем случае приобрести несколько шкафов.

Кроме того, надо позаботиться об участке подготовки — для распаковки, проверки и предварительной настройки нового оборудования.

После фиксации всех нюансов в техническом задании настает черед определения требований к размещению ЦОД.

ТРЕБОВАНИЯ К РАЗМЕЩЕНИЮ ЦОД

Их стоит разделить на три группы.

К первой относятся все количественные требования, на основании которых рассчитывается мощность ЦОД; ко второй — требования, соблюдение которых обязательно, а к третьей — все дополнительные, коих выполнение желательно, но не обязательно (или они реализуются без существенных капитальных вложений). О первой группе мы уже говорили, перейдем ко второй.

Прежде всего, следует позаботиться о легитимности сооружения, чтобы только что построенный ЦОД в спешном порядке и с большими затратами не пришлось переносить в другое место. Однако возможность перемещения центра стоит предусмотреть при разработке чрезвычайного плана восстановления после катастроф (Disaster Recovery Planning, DRP). Дополнительно надо изучить требования федеральных, республиканских и местных законов применительно к конкретному населенному пункту.

Один из существенных моментов — расположение центра. Он должен иметь удобные основные и резервные подъездные пути без «хронических» пробок. Возле здания нужна удобная парковка, облегчающая доставку тяжелого и негабаритного оборудования к месту его установки. Кроме того, персонал ЦОД должен иметь круглосуточный доступ на любые объекты сооружения, относящегося к ЦОД.

В помещении, предназначенном для ЦОД, для организации фальшпотолков и фальшпола необходимо предусмотреть дополнительное пространство. Это обстоятельство становится особенно важным, когда охлажденный воздух подводится к стойкам снизу. Тогда для обеспечения требуемой плотности и скорости потока фальшпол может понадобиться поднять достаточно высоко. Категорически исключено наличие водопроводных труб этажом выше. Если же над помещением проходят транзитные магистрали с водой (водопровод, отопление), то тогда стоит позаботиться о дополнительной гидроизоляции. Кроме того, помещение для ЦОД следует располагать выше уровня грунтовых вод. Ни в нем самом, ни поблизости от него не должно быть источников электромагнитного и радиочастотного излучения — радиопередатчиков, рентгеновского оборудования и трансформаторов.

Отдельно следует предусмотреть установку необходимого числа конденсаторных блоков кондиционеров и дизель-генераторных установок. Наконец, в зависимости от региона приходится учитывать требования сейсмоустойчивости.

Третья группа объединяет еще целый ряд требований. Доступ в по-мещение должен быть ограничен и строго регламентирован. Для этого желательно предусмотреть два и более периметров охраны. Перемещения людей и любого оборудования необходимо не только контролировать, но и фиксировать в учетных системах или, как минимум, в специальных журналах. В целях безопасности в помещении ЦОД не должно быть окон. При отсутствии возможности полностью заделать оконные проемы следует оставить фальш-окна с дополнительной отражательной пленкой.

Для энергоснабжения предпочтительнее подземные магистрали, нежели подвесные, чтобы свести к минимуму влияние неполадок в линиях освещения, перебоев в питании по вине упавших деревьев, дорожных аварий и проявлений вандализма.

В здании надо организовать не менее двух независимых вводов для магистральных линий связи (от разных колодцев кабельной канализации до помещения ЦОД). При этом требуется достаточная свободная емкость до ближних колодцев кабельной канализации. Трассы прокладки не должны пересекаться или проходить в непосредственной близости друг от друга.

Для систем вентиляции следует оставить определенный резерв, чтобы при необходимости подключить к ним помещения ЦОД. При размещении ЦОД на этажах выше первого надо предусмотреть вентиляционные шахты и возможность дополнительной нагрузки на них, а также раздельные вертикальные подводы для электричества и слаботочных/оптических кабелей, причем желательно иметь два независимых пути подвода.

Мобильный заправщик должен иметь возможность беспрепятственного проезда к месту размещения дизель-генераторной установки. На всем пути от места разгрузки оборудования до помещения ЦОД проходы должны иметь требуемую высоту и ширину. Стоит помнить о том, что существует оборудование, не допускающее кантование при его транспортировке. Для облегчения работ нужен грузовой лифт требуемой грузоподъемности.

Если ЦОД или любой из компонентов инфраструктуры будет использоваться в разделяемом режиме, то каждую такую ситуацию следует детально рассмотреть отдельно, и в особо критичных случаях предусмотреть собственную выделенную инфраструктуру.

ПРОЕКТИРОВАНИЕ ИНЖЕНЕРНЫХ СИСТЕМ

Инженерные системы — наиболее дорогостоящая составляющая ЦОД, но именно благодаря ей удается обеспечить надлежащее функционирование размещаемого оборудования. Впрочем, чем крупнее ЦОД, тем дешевле стоимость инженерного оборудования в расчете на единицу потребляемой мощности.

В инженерных системах ЦОД можно выделить четыре главных компонента:

  • гарантированное энергоснабжение;
  • резервированный отвод тепла;
  • системы пожаротушения;
  • системы безопасности.

Проектирование электрической системы. В помещении, где устанавливается компьютерное оборудование, необходимо предусмотреть отдельные цепи питания с собственными электрическими панелями. В зависимости от устанавливаемых устройств и требований ЦОД, системы могут иметь несколько вариантов энергоснабжения, во избежание перерывов в котором следует предусмотреть автоматическое переключение потребителей на резервную магистраль или дизель-генераторную установку. Источники бесперебойного питания должны резервироваться и поддерживать внешний режим «байпас».

Сетевые розетки (220 В, 20 А) должны быть дуплексными для подключения инструмента с электрическим приводом, техники для уборки и другого оборудования, включать которое в розетки шкафов категорически запрещается. На такие розетки следует нанести специальную маркировку. Контур их подключения нельзя соединять напрямую с электрическим контуром, используемым телекоммуникационным и компьютерным оборудованием. Сетевые розетки располагают на стенах на расстоянии 3,65 м друг от друга или ближе, если иное не определено предписаниями местных органов, а кроме того, не далее 4,5 м от оборудования. Напряжение на розеточные коробки должно подаваться с резервного генератора помещения, если он установлен. При отсутствии специального резервного генератора розеточные коробки подключают к резервному генератору здания, если таковой имеется.

Проектирование систем регулирования климата. Помещение для компьютерного оборудования должно быть защищено от загрязняющих веществ, присутствие которых может оказать отрицательное влияние на его функционирование и целостность материала, из которого оно изготовлено. Если загрязняющие вещества присутствуют в концентрациях, превышающих указанные в Таблице 1, необходимы организация паронепроницаемой кладки, поддержание положительного избыточного давления в помещении или установка абсолютных фильтров.

Таблица 1. Предельно допустимые концентрации загрязняющих веществ.

Система вентиляции и кондиционирования должна работать в режиме 24х7х365. Если она не способна обеспечить непрерывной работы в случаях, когда задействовано большое количество оборудования, требуется установка автономной системы. Работа обеих должна поддерживаться резервным генератором, если в этом помещении он установлен. При его отсутствии следует предусмотреть возможность подключения к ресурсам резервного генератора здания.

Величину рабочей температуры и влажности нужно контролировать и поддерживать в заданном диапазоне:

  • температура сухого термометра 20-25?C;
  • относительная влажность 40-55%;
  • максимальная температура конденсации 21?C;
  • максимальная скорость изменения 5?C в час.

В зависимости от местных условий может потребоваться оборудование для создания дополнительной влажности или для осушки воздуха.

Температуру и влажность окружающего воздуха следует измерить после того, как оборудование будет введено в эксплуатацию. Измерения рекомендуется выполнять на высоте 1,5 м над уровнем пола через каждые 3-6 м вдоль центральной линии «холодных» проходов и во всех точках поступления воздуха в работающее оборудование. Измерения температуры лучше проводить в нескольких точках поступления воздуха в устройство, для которого вероятность возникновения проблем с охлаждением является высокой.

Перепад давления по отношению к окружающим областям должен быть положительным.

Если для резервного питания используются батареи, необходимо позаботиться о соответствующей вентиляции и локализации аварийных проливов. Требования можно уточнить в электротехнических правилах и нормах.

Проектирование систем пожаротушения. Все распылительные системы должны срабатывать по сигналу датчика, реагирующего на дым и температуру. Основные помещения ЦОД нуждаются в установке приборов газового пожаротушения (для некоторых видов систем они являются обязательными), тогда удастся избежать выхода из строя дорогостоящего оборудования.

Когда существует опасность проникновения воды, следует предусмотреть средства для ее удаления из помещения (например, сливное отверстие в полу) и обеспечить по меньшей мере один сток или другое средство удаления воды на каждые 100 м? площади. Все водопроводные и канализационные трубы, проходящие через помещение, надо располагать в стороне от оборудования, а не над ним.

Проектирование систем безопасности. Для охраны объекта от несанкционированного входа следует предусмотреть два периметра безопасности. На внутреннем необходимо дополнительно контролировать внос/вынос оборудования в обоих направлениях. Кроме того, у всех входов в здание рекомендуется установить камеры наблюдения с постоянной записью, а в самом помещении ЦОД организовать просмотр всего пространства, как по периметру, так и между рядами. Рынок предлагает самые разные автоматизированные системы контроля доступа.

ПРОЕКТИРОВАНИЕ И РАЗМЕЩЕНИЕ КОММУНИКАЦИОННЫХ И ИНФОРМАЦИОННЫХ СИСТЕМ

Требования к помещению для ввода кабелей. Обычно это комната, где располагаются интерфейсы кабельной системы ЦОД с кабельным оборудованием поставщика услуг доступа и передается клиенту управление каналами связи. Иначе говоря, здесь заканчивается зона ответственности поставщика телекоммуникационных услуг и начинается зона ответственности клиента.

Такая комната может находиться либо внутри, либо за пределами помещения для компьютерного оборудования. Задачи обеспечения безопасности могут заставить расположить ее в ином месте, чтобы исключить присутствие технического персонала поставщика услуг. Однако в крупных ЦОД вследствие ограничений на длину линий связи обычно приходится размещать вводы кабелей внутри помещения, где установлены компьютеры. Владелец ЦОД должен контролировать доступ в помещение для ввода кабелей.

Кабельные системы должны использовать ту же разводку (подвесную или под полом), что и в помещении для компьютерного оборудования. Таким образом, длина кабелей будет сведена к минимуму благодаря отсутствию переходов от подвесных кабельных желобов к проложенным под полом.

В крупных центрах обработки данных может потребоваться несколько помещений для ввода кабелей, например вследствие ограничений на длину линий связи и/или для обеспечения дополнительной отказоустойчивости. В таком случае из дополнительного помещения должна идти прямая медная магистраль к областям горизонтальной разводки, которые ими обслуживаются, и волоконно-оптическая или медная магистраль к области основной разводки.

Такие помещения могут иметь собственные входные магистрали для выделенных сервисных линий подачи питания от поставщиков услуг доступа.

Планирование размещения оборудования в ЦОД. Шкафы и стойки надо располагать в шахматном порядке, лицевой стороной друг к другу, так, чтобы создавались «горячие» и «холодные» проходы. «Холодные» проходы находятся перед стойками и шкафами, а «горячие» проходы — позади стоек и шкафов. При наличии фальшпола силовые кабели прокладывают под фальшполом или полом в «холодных» проходах, а короба для телекоммуникационных кабелей размещают под фальшполом в «горячих» проходах.

Оборудование устанавливают в шкафах и стойках таким образом, чтобы «холодный» воздух поступал с их лицевой стороны, а «горячий» выходил сзади. В противном случае нарушится правильное функционирование «горячих» и «холодных» проходов. В неиспользуемых промежутках стоек и шкафов следует вставить заглушки, а перфорированные плиты фальшпола расположить в «холодных», а не в «горячих» проходах. Кроме того, под этими плитами не должно быть кабельных желобов и других препятствий.

При размещении устройств на фальшполах, шкафах и стойках необходимо обеспечить возможность подъема плит перед шкафами и стойками и за ними. Передняя или задняя стенки шкафов должны быть выровнены по краю плиты пола. Стойки следует устанавливать в направлении к центру плиты, чтобы фиксирующие их стержни с резьбой не проникали в стрингеры фальшпола.

Выемки в плитах фальшпола не должны быть больше, чем это необходимо. В них нельзя устанавливать вентиляционные решетки или щетки, тогда потери воздуха будут сведены к минимуму. Края обрезанных кромок надо специальным образом обработать или снабдить изолирующими втулками.

Выемки в плитах для шкафов располагают непосредственно под шкафами или в другом месте, где они не создают опасности для движения, выемки в плитах для стоек — под вертикальными организаторами кабелей между стойками или под стойками (в отверстиях между нижними углами). В целом, размещение под организаторами предпочтительнее, так как это позволяет устанавливать оборудование в нижней части стойки.

Шкафы и стойки следует располагать в аналогичном месте в каждом ряду, чтобы стандартизировать расположение выемок в плитах. Таким образом, шкафы должны иметь ту же ширину, что и плиты пола, а сумма ширины одной стойки и одной вертикальной направляющей для кабеля должна быть равна ширине плиты. Между шкафами можно установить фиксирующие устройства, чтобы гарантировать, что каждый шкаф располагается по краю плиты пола. Исключения из этого общего правила следующие:

  • область основной разводки и область горизонтальной разводки, где обычно используются большие вертикальные организаторы кабелей в целях надлежащего управления кабелями;
  • шкафы и стойки поставщика услуг доступа в помещении для ввода кабелей, поскольку довольно часто они имеют ширину 585 мм (23 дюйма), а не 480 мм (19 дюймов);
  • шкафы для больших серверов, отличающиеся от стандартного формата 480 мм (19 дюймов).

Стойки, когда они опираются на фальшпол, прикручивают болтами к бетонной плите или металлическому каналу, закрепленному на плите резьбовыми стержнями, проходящими через плиты пола. Острые края резьбовых стержней должны быть закрыты колпачками или каким-либо иным образом. Открытая резьба под фальшполом прикрывается с помощью труб со шлицем или другим способом.

Для установки оборудования необходимо предусмотреть свободное пространство с лицевой стороны в 1 м или для устройств с большей глубиной — 1,2 м. Обслуживание техники со стороны задней панели требует 0,6 м свободного пространства, хотя предпочтительнее оставлять 1 м.

Выбор шкафов осуществляется с учетом возможности обеспечения нормальной вентиляции оборудования, для чего можно использовать:

  • принудительный поток воздуха, создаваемый вентиляторами;
  • естественный поток воздуха между "горячим" и "холодным" проходом через вентиляционные отверстия в передней и задней стенках шкафов;
  • комбинацию обоих методов.

При умеренных тепловых нагрузках в шкафах можно использовать любой из следующих способов вентиляции:

  • через щели или перфорацию в передних и задних дверях, если открытое пространство составляет не менее 50%. Увеличение размера и площади вентиляционных отверстий позволяет улучшить вентиляцию;
  • с использованием вентиляторов (принудительный способ) в сочетании с соответствующим образом расположенными отверстиями в дверях при наличии свободного пространства между оборудованием и дверями стойки.

В случае высоких тепловых нагрузок естественного воздухообмена будет недостаточно, и для обеспечения надлежащего охлаждения оборудования в шкафу потребуется принудительная вентиляция, когда используются сочетание отверстий и системы охлаждающих вентиляторов. При установке в шкафу вентиляторов они должны усиливать, а не нарушать функционирование «горячих» и «холодных» проходов. Поток воздуха от вентиляторов предназначен для рассеяния тепла, генерируемого в шкафу. В тех ЦОД, где требуется максимальная производительность, вентиляторы получают питание не от других контуров, нежели распределительный щит или панели питания ИБП, чтобы исключить повреждение телекоммуникационного и компьютерного оборудования при поломке вентилятора. Последний при поломке обычно замыкается на землю.

Максимальная высота шкафов и стоек не должна превышать 2,4 м. Предпочтительна высота составляет не более 2,1 м для облегчения доступа к оборудованию или соединительным устройствам, установленным в верхней части стойки.

Глубина шкафа должна быть достаточной для размещения необходимого оборудования, включая кабели на передней и/или задней панели, силовые кабели, оборудование для управления кабелями и разветвители питания. В целях обеспечения надлежащего потока воздуха и создания соответствующих промежутков между разветвителями питания и кабелями нужно, чтобы глубина шкафа была больше максимальной глубины устанавливаемого оборудования хотя бы на 150 мм.

Для обеспечения возможности монтажа шкафы оснащаются выдвижными передними и задними салазками. Чтобы облегчить размещение оборудования, на салазки наносят отметки, соответствующие единицам высоты. Активное и соединительное оборудование следует устанавливать на границах стоечных единиц высоты для наиболее эффективного использования пространства внутри шкафа.

Если на передней стороне шкафов будут находиться коммутационные панели, то передние салазки должны обеспечивать углубление не менее 100 мм, чтобы хватило места для кабелей между коммутационными панелями и дверями и кабелей, соединяющих шкафы. Аналогично при размещении коммутационных панелей на задней стенке необходимо углубление не менее 100 мм на задних салазках. Коммутационные панели не следует устанавливать одновременно на передние и задние салазки шкафа или стойки, если в результате доступ к задним панелям окажется невозможным.

Когда на передние или задние салазки шкафа планируется поставить разветвители питания, надо предусмотреть наличие соответствующего зазора для силовых кабелей и источников питания, которые могут быть установлены в разветвители. Для шкафов и стоек, не имеющих активного оборудования, разветвителей питания не требуется.

В типичной конфигурации в шкафах устанавливается по меньшей мере один разветвитель питания на 20 А, 220 В. В целях повышения надежности следует рассмотреть возможность использования двух разветвителей, контуры которых запитаны от разных источников. Силовые цепи должны иметь нулевой провод и провод заземления. Чтобы свести к минимуму случайное выключение, применяют разветвители питания с индикаторами, но без выключателя или кнопки переустановки предохранителя. Установка нескольких разветвителей позволит иметь достаточное количество розеток и пропускную способность по току для поддержки оборудования, запланированного к установке. На разветвители питания наносится маркировка с указанием распределительного щита/панели и номера автомата защиты.

В помещении для ввода кабелей, области основной разводки и области горизонтальной разводки для коммутационных панелей и оборудования следует использовать стойки 480 мм (19 дюймов). Для размещения нестандартного оборудования — сейфовых стоек или стоек, обслуживаемых со всех сторон, — удобнее выделить отдельные зоны. Кроме того, иногда требуется организовать зоны повышенной безопасности. Доступ в них ограничивается дополнительной оградой, не препятствующей работе систем кондиционирования и вентиляции.

В помещении для ввода кабелей, области основной разводки и области горизонтальной разводки между каждой парой стоек и обоими концами каждого ряда стоек полезно установить вертикальные организаторы кабелей. Их ширина не должна быть менее 83 мм. Там, где расположены отдельные стойки, нужны вертикальные организаторы шириной не менее 150 мм. Когда устанавливается ряд из двух или более стоек, рекомендуется использовать вертикальные организаторы шириной 250 мм между стойками и шириной 150 мм — с обоих концов ряда. Высота организаторов — от пола до верха стоек.

Вертикальный и горизонтальный организаторы кабелей, а также размер незаполненного пространства должны быть таковы, чтобы имелась возможность аккуратно протянуть кабели с соблюдением требований к радиусу изгиба.

В помещении для ввода кабелей, области основной разводки и области горизонтальной разводки для управления коммутационными кабелями между стойками рекомендуется устанавливать подвесные кабельные желоба.

Рассмотренные факторы следует учитывать при создании ЦОД на этапе планирования, а не когда оборудование уже работает.

Юрий Панченко — директор центра эксплуатации Центра аутсорсинга DATA FORT компании IBS.