Система электроснабжения ЦОД считается одной из наиболее сложных и ресурсоемких, а потому требует особого внимания. В ее состав входят следующие основные системы:
-
система общего электроснаб-жения;
-
система бесперебойного электроснабжения;
-
система гарантированного электроснабжения;
-
питающая, распределительная и групповая сети;
-
система заземления.
От конфигурации, состава и эксплуатационных характеристик системы электроснабжения напрямую зависит соблюдение целого ряда ключевых критериев надежности ЦОД. В этом отношении систему электроснабжения ЦОД можно сравнить разве что с системой обеспечения климата, от надлежащего функционирования которой зависят непрерывность предоставления сервисов ЦОД, пожарная безопасность серверной и прилегающих к ней помещений, а также условия работы технического персонала, отвечающего за устройства и приложения, установленные в ЦОД. Кроме того, как климатическая, так и электрообеспечивающая системы выделяются среди других инженерных систем ЦОД объемом оборудования, уровнем сложности проектных и монтажных работ, взаимным влиянием отдельных подсистем и их элементов друг на друга.
Например, для достижения третьего и четвертого уровней надежности ЦОД по классификации международного стандарта TIA-942 необходимо обеспечить бесперебойное и/или гарантированное электроснабжение целого ряда инженерных систем, в том числе систем постоянного отвода горячего воздуха из зон концентрации устройств высокой плотности. А это, в свою очередь, сказывается на потребности в объеме поставок электроэнергии. Поэтому при проектировании и монтаже систем электроснабжения ЦОД необходимо учитывать как расположение основного оборудования и узлов инженерных коммуникаций, так и качественные, функциональные и конструктивные характеристики потребителей электроэнергии.
Если эта задача будет решена корректно, то заказчик получит бесперебойно работающую систему электроснабжения ЦОД, которая, к тому же, обеспечит ему максимально возможную отдачу от инвестиций в целом. Стоит подчеркнуть, что при проектировании ЦОД надо не только учитывать сиюминутные выгоды, но уметь видеть и перспективу. Так, например, при создании отказоустойчивых ЦОД основное оборудование и жизненно важные инженерные системы имеют разные потребности, поэтому для последних имеет смысл создать выделенную систему бесперебойного электроснабжения. В этом случае чувствительные к характеристикам входной сети блоки питания вычислительной техники будут защищены от переходных процессов, возникающих при автоматическом перераспределении нагрузки между основными и резервными элементами переключения или в результате аварии одного из потребителей инженерных систем. Такое решение позволяет безопасно производить плановые регламентные работы по обслуживанию компонентов системы электроснабжения. Это, конечно, ведет к усложнению конфигурации и укрупнению (а, следовательно, и удорожанию) отдельных элементов системы энергоснабжения, но существенно повышает защищенность основного оборудования от воздействия неблагоприятных факторов.
Практика показывает, что это полезное правило порой недооценивают не только неискушенные заказчики, но и те, кто имеет многолетний опыт эксплуатации самых разных ЦОД, будь то ИТ- или телекоммуникационная отрасль. В результате такая экономия оборачивается длительными простоями и финансовыми потерями — как прямыми, так и косвенными. И это лишь один из моментов, которыми по тем или иным причинам пренебрегают будущие владельцы ЦОД и исполнители проектов. Поэтому имеет смысл представить краткий обзор элементов системы электроснабжения и разобраться, где экономия оправдана, а где имеет и обратный эффект.
СИСТЕМА ВНЕШНЕГО ЭЛЕКТРОСНАБЖЕНИЯ
Система внешнего электроснабжения ЦОД уже при планировании объекта должна отвечать двум основным критериям:
-
необходимое количество электроэнергии гарантированно предоставляется там, где это требуется;
-
электроэнергия отвечает стандартам качества и соответствует заданному уровню надежности ЦОД.
Однако в России реальная ситуация весьма неоднозначна. Системы электроснабжения начали вводиться в строй достаточно давно, поэтому о соблюдении идеальных параметров качества выделенного потока электронов говорить не приходится. К тому же в России, как, впрочем, и в мире, всё острее ощущается дефицит электроэнергии.
Электроснабжение, которое предоставляет энергоснабжающая компания, целесообразно получать через два независимых ввода, подключенных к разным подстанциям, в идеале — к различным питающим центрам. Практика показывает, что при таком подходе удается значительно повысить уровень надежности, что самым благоприятным образом сказывается на непрерывности предоставления сервисов ЦОД и конкурентоспособности заказчика. Однако получение двух вводов зачастую сопряжено с серьезными трудностями, поэтому нередко заказчик отказывается от подключения ко второму дублирующему центру электроснабжения, о чем, как правило, жалеет после инцидента.
Более того, по классификации ПУЭ, центр обработки данных относится к объектам, для которых необходимо обеспечить электроснабжение по I-ой, особой категории надежности. Это означает, что на таком объекте должны быть два независимых источника питания и один альтернативный, т.е. в идеальном случае, помимо подвода к ЦОД двух нигде не пересекающихся фидеров электроснабжения от двух независимых питающих центров, поблизости от него заказчику необходимо создать собственную электростанцию (как правило, работающую на природном газе, метаноле и т.п.).
Итак, первая рекомендация будущему владельцу ЦОД: уже на этапе планирования ЦОД следует предусмотреть создание не одного, а двух альтернативных источников электроснабжения. Только в таком случае электрообеспечение ЦОД будет соответствовать требованиям надежности и качеству работы.
Ещё один момент, касающийся внешнего электроснабжения ЦОД, связан с потребностью владельцев ЦОД поддерживать непрерывное предоставление сервисов и бесперебойную работу приложений. Иными словами, в любой нештатной ситуации приложения должны стабильно функционировать на протяжении определенного промежутка времени. Это условие выполняется только в том случае, когда весь комплекс инженерных систем (и система электроснабжения в первую очередь) соответствует требованиям надежности, установленным заказчиком для приложений.
Таким образом, вторая рекомендация тем, кто планирует создание нового ЦОД, заключается в следующем. Для обеспечения непрерывности работы критически важных для бизнеса приложений (Business Critical Applications) надо уже на этапе разработки концепции ЦОД позаботиться о том, чтобы полностью исключить возможность их остановки из-за некорректной работы или отключения инженерных систем, даже при полном исчезновении питания от внешней сети.
Задача решается введением системы приоритетов, в рамках которой все приложения подразделяются на несколько групп в соответствии с определенными критериями надежности и непрерывности работы. Технические решения и организационные меры по обеспечению непрерывности электроснабжения должны быть проработаны сначала для максимально критичных бизнес-задач, требующих круглосуточной работы, и распространены как на само устройство с предустановленным на нем приложением, так и на климатические системы, «отвечающие» за поддержание комфортной среды функционирования.
Подрядчику, осуществляющему проектирование такой системы, придется учесть два аспекта: технический и организационный. В первом случае речь идет о составе и конфигурации оборудования. Во втором — о решении вопросов регулярного подвоза топлива для альтернативного источника электроснабжения (в том числе заключение договора с топливной компанией, обеспечение удобных и качественных подъездных путей, оснащение выделенного участка прилегающей территории для установки хранилища топлива и т.п.).
В виду специфичности и сложности каждого из перечисленных вопросов, все они, как правило, тщательно согласовываются с генподрядчиком.
СИСТЕМА ВНУТРЕННЕГО ЭЛЕКТРОСНАБЖЕНИЯ
Анализ внутренних систем электроснабжения будет нелишним начать с напоминания о том, что их конструктивные и функциональные параметры, а также требования к резервированию определяются уровнем надежности всего ЦОД. Так, если заказчик заинтересован в обеспечении наивысшего уровня непрерывности бизнеса и на основании этого принял решение о построении ЦОД уровня надежности TIER IV, то степень резервирования элементов системы электроснабжения должна быть не ниже 2(N+1). При этом, учитывая уровень сложности систем и плотность их размещения в относительно небольшом помещении ЦОД, такое соотношение влечет за собой увеличение стоимости всего проекта. И тем не менее, достижение требуемого уровня резервирования является непременным условием соблюдения заданного уровня надежности ЦОД. Экономия на качестве недопустима.
Заказчику полезно ознакомиться с некоторыми основными составляющими проекта, что поможет избежать необоснованных затрат на этапе проектирования и оснащения ЦОД, а также рационально распорядиться своим бюджетом в период активной эксплуатации ЦОД и его последующего использования. Пожалуй, наиболее важным моментом является необходимость разработки внутренних корпоративных стандартов на основные элементы инженерной системы, в частности, на компоненты системы внутреннего электроснабжения. Большинство компаний, в том числе работающих в России, это понимают, поэтому в мире широко распространена практика подготовки главным энергетиком документа, где оговариваются требования к структуре и отдельным элементам системы электроснабжения организации, в том числе тип проектируемых решений, требования к уровню надежности, перечень рекомендуемых производителей оборудования. Документ утверждается руководством заказчика и служит ориентиром при создании новых объектов. Такой подход существенно упрощает работу по подготовке проектных решений и сокращает число острых моментов при дальнейшем развитии инфраструктуры заказчика, а также при модернизации морально устаревших элементов и участков сети.
Применительно к проблеме надежности ЦОД система внутреннего электроснабжения характеризуется двумя основными факторами. Во-первых, в системе электроснабжения ЦОД не должно быть единых точек отказа. Во-вторых, для этих систем необходимо предусмотреть такую конфигурацию и функционал, чтобы регламентные работы не мешали эксплуатации основного оборудования и инженерных систем. Любые элементы системы внутреннего электроснабжения, остановка которых может нарушить данное условие, следует продублировать аналогичными резервными решениями. Причем обычное дублирование, которое применялось долгое время, уже неактуально, в том числе по причине высокой стоимости владения. В международной практике получили распространение типовые решения, которые при существенном повышении уровня надежности обеспечивают более низкий ТСО и неплохой показатель инвестиционной привлекательности бизнеса. Несмотря на определенные различия в них реализован общий принцип, согласно которому при выходе из строя любого элемента система должна оставаться работоспособной. Возможное временное снижение уровня надежности на непрерывность предоставления сервисов ЦОД практически не оказывает влияния.
Выполнение этого условия достигается путем установки нескольких блоков автоматического ввода резерва (АВР). В противном случае, насколько бы совершенной ни была система дублирования, риск нарушения ее работоспособности будет велик, так как один АВР является единой точкой отказа. Иногда заказчики сознательно ограничиваются одним АВР, стремясь сэкономить на стоимости системы электроснабжения, но в отношении высоконадежных ЦОД подобное упущение невозможно. Именно с АВР мы и начнем более подробный обзор систем, входящих в состав единой системы внутреннего электроснабжения.
АВР. В системе электроснабжения ЦОД должна быть реализована возможность переключение нагрузки с основного оборудования на резервное и обратно без малейших скачков электроэнергии. Для решения этой задачи предлагаются разные варианты АВР — и по типам переключения, и по принципу действия. Такое разнообразие позволяет обеспечить корректное завершение транзакций даже в тех случаях, когда на закрытие приложения в силу его сложности и инертности требуется длительное время — вплоть до нескольких часов. Исполнитель этого раздела проекта может разработать модель деградации системы и составить спецификацию на переключатели согласно с заданной заказчиком моделью приоритетов приложени. А значит, и стоимость закупок в данном случае окажется оптимальной.
Главный распределительный щит (ГРЩ). Это мощный и дорогой элемент внутренней системы электроснабжения ЦОД, и экономия на комплектующих для него недопустима. ГРЩ строится с расчетом на максимальную нагрузку ЦОД и вводится в эксплуатацию однократно. Впоследствии вносить какие-либо изменения в документацию и/или конфигурацию ГРЩ крайне нежелательно.
Ключевыми требованиями к ГРЩ являются максимальная надежность энергоснабжения и устойчивость к воздействию внешних факторов, использование стандартных базовых элементов, физическая доступность, соответствие единым для электросистем ЦОД уровням качества и надежности, возможность централизованного контроля, продуманные схемы проведения ремонтных работ.
Электрощитовое оборудование и электрораспределительная сеть. Электрораспределительная сеть — самый большой (по территориальному охвату) контур системы энергоснабжения ЦОД, что существенно затрудняет проверку ее целостности и исправности отдельных сегментов. Поэтому в международной практике при строительстве современных высоконадежных ЦОД для облегчения контроля, эксплуатации и монтажа электрораспределительной сети предпочтение всё чаще отдается шинопроводам. В России эта тенденция еще только наметилась, поскольку опыта строительства ЦОД уровня TIER III/TIER IV накоплено пока немного, а заказчики по-прежнему считают использование кабельной инфраструктуры более выгодным: на первый взгляд, она и стоит дешевле, и строится без жесткой привязки к графику выделения электрических мощностей городом. Что касается стоимости, то с ростом мировых цен на медь эта разница все более нивелируется.
Между тем, шинопровод обладает рядом бесспорных достоинств. Во-первых, его использование весьма удобно для построения электрораспределительной сети и изменения числа подключенных устройств. Точки подключения расположены на нем с заданным интервалом, а в спецификацию шинопровода могут быть включены стандартные электроустановочные изделия с учетом потребностей ЦОД. Благодаря этому операция подключения/отсоединения оборудования занимает считанные минуты. Во-вторых, как при неполном заполнении, так и при максимально возможном числе точек подключения шинопровод занимает значительно меньше места в серверном зале. В-третьих, материал, из которого изготовлен шинопровод, не горюч. Таким образом, при сопоставлении всех «за» и «против», общие затраты на создание и эксплуатацию шинопроводов оказываются более низкими.
Система бесперебойного электроснабжения (СБЭ). Это один из немногих элементов системы электроснабжения, который изначально проектируется и строится «на вырост». Иными словами, применяемые при создании СБЭ решения и устройства должны позволять и дальше развивать и наращивать инфраструктуру. Чрезвычайно выгодным и удобным является применение модульных устройств. Текущее обслуживание, плановые профилактические работы, горячая замена одного или нескольких функциональных модулей выполняются при этом без нарушения установленного режима штатной эксплуатации и резервирования, о котором стоит сказать несколько слов отдельно.
Как уже говорилось, для ЦОД TIER IV рекомендован алгоритм резервирования 2(N + 1). Совершенно необязательно закупать все элементы СБЭ сразу — использование модульных устройств дает возможность наращивать СБЭ по мере расширения ЦОД, т.е. позволяет вводить крупный ЦОД в строй постепенно и реализовать наиболее удобную для заказчика схему вложений в инфраструктуру. В этом отношении ЦОД большого масштаба оказывается куда более выгодным, чем несколько равных ему по площади серверных комнат, развитие которых ограничено и в пространстве, и во времени. Но в любом случае итоговая модель СБЭ должна быть намечена уже на этапе эскизного проектирования. Более того, при планировании следует учитывать необходимость неукоснительного соблюдения требований к надежности ЦОД на всех этапах развития системы энергоснабжения.
Еще до объявления конкурса на выбор подрядчика имеет смысл запросить у вендоров техническую документацию на предварительно отобранные решения. Это позволит составить наиболее удобный график наращивания основных и резервных элементов СБЭ, а также своевременно ознакомиться с конструктивными особенностями устройств (с какой стороны осуществляется обслуживание, как подводятся кабели и т.п.), что может повлиять и на выбор поставщика, и на общую стоимость проекта.
Групповая сеть. Розетки. От этой важной мелочи нередко зависит качество работы оборудования, размещенного в ЦОД. Дело в том, что в процессе эксплуатации ЦОД заказчику не раз придется производить замену морально устаревших устройств или устанавливать новые программно-аппаратные комплексы. Поэтому, приступая к строительству ЦОД, надо отдавать себе отчет в том, что телекоммуникационные устройства и вычислительная техника имеют разные типы электрических разъемов (терминалов). А это значит, что при планировании замены оборудования, установленного в стойках ЦОД, или заказе новых устройств необходимо либо заранее позаботиться о том, чтобы поставляемые блоки питания оборудования соответствовали корпоративному стандарту, либо спланировать распределение оборудования в серверной таким образом, чтобы разъемы подключения оборудования и типы розеток, установленных в данной зоне, соответствовали друг другу. В противном случае устройства физически не удастся подключить к системе электроснабжения без дополнительных усилий и затрат.
КАК СЭКОНОМИТЬ НА ПРОЕКТЕ СИСТЕМЫ ЭЛЕКТРОСНАБЖЕНИЯ ЦОД?
Как уже говорилось, система электроснабжения относится к числу наиболее затратных и сложных разделов проекта создания отказоустойчивого ЦОД (около 30% от общего бюджета на строительство). Причем величина целевых затрат зависит и от ожидаемого уровня надежности ЦОД, и от нагрузочной способности стоек, и от используемого климатического оборудования, и от плотности инженерных коммуникаций, а также от целого ряда других параметров.
Для наглядности приведем несколько цифр, которые позволяют продемонстрировать значимость инженерной инфраструктуры, в частности электросети, для ЦОД уровней надежности II и III — наиболее востребованных в России. Согласно расчетам Uptime Institute, подтвержденным практикой, при планировании ЦОД со стойками, нагрузка которых не превысит 5 кВт на стойку, следует ориентироваться на следующие показатели (см. Таблицу 1).
Таким образом, и системы электроснабжения надо строить с расчетом на большую энергоемкость ЦОД, что сразу повышает стоимость 1 м2 площадки до уровня, сравнимого с показателем для ЦОД TIER IV (12000 долларов/м2). Вот почему так важно, чтобы уже на этапе постановки задачи и разработки концепции ЦОД заказчик четко представлял себе необходимый ему уровень требований к определенным системам. В ряде случаев целесообразно разработать такую модель ЦОД, где система приоритетов, основанная на требованиях к непрерывности элекроснабжения оборудования и инженерных систем (о которой говорилось в разделе, посвященному СБЭ), позволяла бы установить разумное соотношение между несколькими уровнями надежности. Главное, чтобы стремление к экономии не заслонило собой прямые и косвенные выгоды от обеспечения непрерывности бизнес-процессов, зависящих от уровня надежности соответствующих сегментов ЦОД.
Разобравшись с этой весьма непростой задачей, заказчик может приступать к более детальным расчетам проектного бюджета. При этом он должен принимать во внимание, что в силу разных причин, в том числе и из-за постоянного и труднопрогнозируемого удорожания услуг энергообеспечивающих компаний и стоимости металлосодержащих элементов инфраструктуры, реальный бюджет проекта почти всегда превысит показатели запланированного. Однако при продуманном подходе к выбору и конфигурации ряда решений можно добиться такого перераспределения проектных затрат, которые позволят удержать погрешность планового бюджета на уровне 15-20% (естественно, при условии, что на этапе проведения предпроектных исследований и проработки концепции ЦОД за ориентир были взяты реалистичные показатели).
Не лишне будет напомнить, что при определении экономической эффективности электроснабжения ЦОД следует принимать во внимание две группы показателей: с одной стороны — это количество и взаимное расположение всех потребителей электроэнергии в ЦОД, с другой — затраты на создание и развитие систем электроснабжения. В первом случае важно заблаговременно просчитать и предусмотреть в проекте соотношение исторически унаследованных систем уникальной конфигурации, стоек с «юнитовым» оборудованием и решений высокой плотности. Каждый из этих показателей должен иметь два значения: расчет на момент введения в эксплуатацию первой очереди ЦОД (или реализации пилотного проекта) и прогноз на трех-пятилетнюю перспективу. При таком подходе можно добиться следующего:
-
оптимально спланировать усилия по удовлетворению потребности ЦОД в энергоресурсах на протяжении всего жизненного цикла центра обработки данных;
-
выбрать устройства и решения, использование которых всегда позволит выдерживать заданный уровень надежности ЦОД;
-
избежать экономической ловушки, связанной с необходимостью поддержания работоспособности мощных энергоемких охлаждающих систем, устанавливаемых в зонах повышенного сосредоточения решений высокой плотности.
Определившись с потребностью в электроэнергии, не стоит торопиться с выбором подрядчика. Прямое общение с вендорами (самостоятельно или при поддержке управляющей компании, хорошо знающей ситуацию на рынке систем нужного класса) не только позволит проверить правильность предположений, но и обеспечит наиболее выгодные условия приобретения и эксплуатации систем. При выборе источников бесперебойного питания (ИБП) нельзя оставить без внимания целый ряд факторов:
-
корпоративную политику и стандарты, влияющие на инфраструктуру будущего ЦОД;
-
данные о поставщиках ИТ и инженерного оборудования, уже имевших опыт сотрудничества с заказчиком;
-
условия поддержки оборудования: объем поставок, порядок формирования запросов и оперативность реагирования на них;
-
возможность и условия поддержки напрямую со стороны производителя;
-
наличие специализированных (не бытовых) решений, выступающих в роли инфраструктурной «обвязки» выбранных ИБП.
В результате переговоров с несколькими вендорами и осмотра выпускаемых ими систем (функционирующих на других объектах), спектр подходящих ему ИБП сужается до трех-четырех потенциально возможных решений.
Затем настает черед выбора поставщика, способного предложить оптимальное соотношение цены, условий поставок и последующего сопровождения. Одним из ключевых критериев выбора партнера является способность проектировщика взять на себя ответственность за весь цикл работ, связанных с введением систем энергоснабжения ЦОД — вплоть до организации послепроектного сервисного сопровождения. Это очень важно, так как в противном случае каждый подрядчик будет стараться списать всю ответственность за риски и недоделки на других, а пострадает надежность ЦОД и непрерывность жизненно важных бизнес-процессов компании.
Таким образом, очередная, третья рекомендация заказчику, намеревающемуся построить высоконадежный ЦОД и при этом избежать необоснованных трат, может быть сформулирована так: не соглашайтесь на многократное дробление проекта. Чтобы обеспечить требуемый уровень качества, достаточно распределить ответственность за результаты работ по внешнему и внутреннему контурам между исполнителем, рекомендованным энергоснабжающей компанией, и генподрядчиком, отвечающем за надлежащее функционирование всех компонентов внутренней системы электроснабжения. Последний может привлечь субподрядчиков для реализации отдельных работ (скажем, связанных с общим или аварийным освещением, заземлением, вводом в строй дизельной электростанции), но даже в этом случае он ответственен перед заказчиком за полный цикл работ по проектированию, поставкам, монтажу, пуско-наладке, получению акта допуска на электроустановку в органах Ростехнадзора и за сдачу объекта службе эксплуатации заказчика.
ЗАКЛЮЧЕНИЕ
Подводя итог сказанному, подчеркнем, что экономическая эффективность проекта создания системы жизнеобеспечения ЦОД может быть заметно повышена благодаря грамотному перераспределению бюджета при проектировании и создании отдельных систем. В этой связи очень важное значение имеют:
-
правильная и адекватная постановка задачи — она сводится к использованию ресурсов ЦОД для достижения конкретных бизнес-целей в течение установленного срока и обеспечения определенного качества работы оборудования;
-
правильный выбор платформы, которая позволит получить заданный уровень надежности и резервирования;
-
готовность и способность подрядчика демонстрировать должную компетенцию на протяжении всех этапов реализации проекта — от расчета системы электроснабжения до запуска ее в эксплуатацию;
-
приоритет критериев качества при выборе и монтаже систем электроснабжения;
-
тщательность проработки сценария развертывания электрораспределительной сети. Установка шинопроводов позволит сочетать оперативность подключения/замены телекоммуникационного и ИТ-оборудования с обеспечением требуемых параметров
качества ЦОД; -
разработка и соблюдение корпоративных стандартов, где задаются основные требования к конфигурации и функционалу всей системы электроснабжения;
-
получение поддержки со стороны вендоров и оценка реальных затрат на приобретение систем и отдельных элементов.
Знание и соблюдение этих правил поможет заказчику ограничиться лишь теми расходами, которые необходимы для создания ЦОД требуемого уровня надежности.
Александр Мартынюк — технический директор IntelinePro.