В первой части данного обзора (см. статью автора в августовском номере «Журнала сетевых решений/LAN») рассказывалось о применении в ЦОД энергоэффективных ИБП, у которых заявленный КПД достигает 96% (см. Рисунок 1). Еще более важной характеристикой источников бесперебойного питания является их надежность, а в некоторых случаях — масштабируемость. Так, именно надежность выделяет Дмитрий Ткачев, руководитель центра проектирования комплексных систем компании BCC, в качестве основного требования при выборе ИБП для ЦОД.
НАДЕЖНОСТЬ: ИБП И АКБ
Высокая надежность системы электропитания центра обработки данных достигается за счет резервирования по схемам N+1 (в ЦОД Tier III), 2(N+1) или S+S (в ЦОД Tier IV). В схеме 2(N+1) нагрузка получает энергию от двух независимых цепей электропитания, в составе которых — ввод от электроподстанции, АВР, ДГУ и резервируемые (N+1) ИБП. Поскольку стоит такое решение недешево, в зависимости от степени важности нагрузки имеет смысл применять другие схемы резервирования (например, 2N). Кроме того, использование схемы 2(N+1) часто означает работу ИБП с недостаточной нагрузкой (а значит — невысоким КПД) и предполагает установку более мощных ДГУ.
Олег Кущев, руководитель проектно-технического отдела департамента системной интеграции компании «Трансфер Эквипмент Восток» (TEV), отмечает, что наибольшая надежность обеспечивается за счет дублирования системы электроснабжения (щитов электропитания, статических переключателей нагрузки, блоков питания в оборудовании и т.д.), т.е. построения систем по схеме 2N или 2(N+1), использования электрооборудования известных производителей, а также благодаря защите кабельных линий и электро-оборудования от возможных внешних воздействий среды и «человеческого фактора».
В базе данных Uptime Institute содержится описание более четырех тысяч инцидентов, связанных с электропитанием. Причем, как отмечается, большинство отказов происходит в цепи питания критической нагрузки уже после ИБП. Наибольшим рискам подвержен отрезок между панелью распределения питания и компьютерным оборудованием. Поэтому такие цепи имеет смысл дублировать
(см. Рисунок 2).
Для укрепления этого «слабого звена» Андрей Шубравый, коммерческий директор компании Power-One LLC Energy Solutions, советует правильно рассчитывать цепи питания и поручать проект одной организации, а Андрей Вотановский, технический специалист компании Emerson Network Power, предлагает фиксировать кабели питания. Олег Соколов, менеджер по работе с системными интеграторами Powercom, рекомендует избирательнее подходить к построению систем электроснабжения здания, а в непосредственной близости к самым критичным потребителям устанавливать дополнительные малые ИБП. Дмитрий Ткачев считает необходимым резервировать подачу питания на каждую единицу ответственного оборудования от разных распределительных щитов и по разным кабельным трассам, как рекомендовано для ЦОД уровня Tier III и IV.
По мнению Анатолия Маслова, эксперта по оборудованию Chloride, доступ к распределительному оборудованию следует предоставлять только квалифицированным лицам. Цепи распределения следует периодически проверять, а перед сервером устанавливать автоматы выбора линии (например, Chloride CROSS Rack 16, 32 или 63А), оснащенные системами синхронизации для моментального перевода питания сервера с основного щита на резервный.
Как указывает Сергей Щербаков, руководитель отдела системных инженеров компании APC by Schneider Electric в России, во избежание отказов вследствие «человеческого фактора» — по данным Uptime Institute, их доля достигает 60% — можно максимально изолировать данную цепь от пользователя. Например, APC настоятельно рекомендует прокладывать кабель до конечной нагрузки не под фальшполом, а над шкафами, где он более защищен. Частично эту проблему решают и блоки розеток с управлением или с контролем потребляемого тока. При подключении нагрузки можно видеть текущую загрузку блока розеток и линии, что снижает риск подключения избыточного оборудования. Необходимо ограничить доступ к шкафу распределения электропитания, установить видеокамеры и т.д. Конечно, не все сбои происходят из-за нарушения требований эксплуатации — некоторые инциденты могут быть вызваны ошибками в проектировании, инсталляции и разработке.
Для увеличения мощности или надежности самих систем ИБП применяются схемы с параллельным включением. Например, GE использует параллельную систему Redundant Parallel Architecture (RPA), обеспечивающую работу до восьми ИБП (они могут быть разной мощности) на одну нагрузку. Все ИБП в системе RPA равноправны. Как отмечают специалисты компании, резервирование осуществляется на уровне отдельных узлов ИБП — выпрямителя, АКБ, инвертора, статического байпаса. По словам Константина Соколова, руководителя отдела технической экспертизы «Абитех», питание нагрузки осуществляется при этом с максимальным качеством и максимальным уровнем резервирования. Даже при отключении (аварии) выпрямителя или статического байпаса одного из устройств его инвертор и АКБ будут использоваться для питания нагрузки. Обмен данными осуществляется по шине CANbus с высокой помехозащищенностью, причем применяются два дублирующих канала передачи. Все ИБП могут выступать как управляющие, что многократно повышает отказоустойчивость.
Резервируемая шина CANbus, которую используют в своей технологии Flexible Multi-Master Technology (FMMT) и компания AEG, поддерживает параллельную работу до восьми ИБП серии Protect 3 и Protect 4. Применяемая в ИБП Eaton Powerware технология резервирования Hot Sync (см. Рисунок 3) позволяет создавать параллельные конфигурации в режиме «горячего» резерва, а для наращивания мощности не нужны кабели связи между модулями — все это повышает надежность и гибкость системы электропитания.
Еще одно «слабое звено» — аккумуляторные батареи (см. врезку «Альтернатива аккумуляторам»). Чтобы не оказаться жертвой одной из основных причин отказа системы бесперебойного питания — плохих аккумуляторов, рекомендуется составить график их обслуживания и четко ему следовать. Иногда вендоры предлагают аккумуляторы с разным сроком службы (3, 5, 10 лет). По словам Станислава Коларжа, генерального директора «Абитех», этот показатель существенно влияет на стоимость (по данным Socomec, разница составляет 10-15%), и если вендор предлагает АКБ со сроком службы 10 лет по цене «пятилетних», то к его предложению следует отнестись с недоверием. По данным Emerson, цены на «десятилетние» батареи в среднем на 20% выше, чем на «пятилетние». Компания старается предлагать батареи только с более продолжительным периодом эксплуатации, но по желанию клиентов может поставлять и другие модели. Длительность службы батареи оценивается по количеству циклов «заряд/разряд».
APC не рекомендует выбирать батареи с очень большим «сроком жизни». Во-первых, указанный период является, скорее, ожидаемым, чем реальным. Во-вторых, он достижим, как правило, при эксплуатации ИБП в идеальных условиях, что трудно осуществить на практике.
Оптимальная температура окружающей среды для АКБ — 20-25°С. При ее повышении на 8-10°С ресурс батарей падает вдвое (по данным BCC — на 50-60%). Для оптимизации времени подзарядки батарей и продления срока их службы применяются функции контроля температуры этих устройств. Как отмечают в APC, сегодня все «серьезные» ИБП имеют встроенную функцию для управления зарядом батареи и контроля температуры в батарейном отсеке, причем АКБ могут находиться в отдельном помещении. По данным Socomec, система контроля заряда АКБ значительно продлевает «жизнь» батарей (см. Рисунок 4). Андрей Вотановский подтверждает этот факт и указывает, что ИБП в таком случае имеет возможность точно дозировать ток заряда, компенсируя изменяющиеся с температурой зарядные характеристики АКБ.
На самом деле, как уточнил Станислав Коларж, заряд по стандартным методикам IU или IUI (DIN 41773) — необходимая и, как правило, базовая функция устройства. Нельзя говорить о том, что режим заряда герметизированных АКБ в соответствии со стандартом DIN продлевает срок службы аккумуляторов. Не имея такой поддержки, аккумуляторы просто выйдут из строя. То же самое касается термокомпенсации — этот режим (уменьшение зарядного напряжения при повышении температуры АКБ выше +25°С) обязателен для герметизированных АКБ в буферном режиме эксплуатации (постоянное напряжение непрерывно подается на клеммы батареи параллельно с нагрузкой). Данные функции преподносятся многими вендорами как отличительные достоинства их оборудования, но, по мнению Станислава Коларжа, это просто маркетинговый ход.
Для оптимизации времени зарядки и продления срока службы батарей некоторые вендоры используют технологию «плавающего заряда». В технологии Advanced Battery Management (ABM), применяемой в ИБП Eaton Powerware, батареи заряжаются только при необходимости, и происходит это в три этапа: заряд в режиме с постоянным током, плавающий заряд и отдых. Большую часть времени АКБ находятся в состоянии отдыха и заряжаются только через определенные интервалы.
Как отмечает Сергей Щербаков, в любом ИБП есть система автоматической диагностики, которая по умолчанию один раз в две недели (интервал настраивается по желанию владельца) проверяет аккумуляторы, выявляя неисправные, и предоставляет пользователю информацию о необходимости замены того или иного блока батарей.
В оборудовании GE предусмотрена функция, заранее уведомляющая пользователей о завершении срока службы как аккумуляторов, так и других компонентов с ограниченным периодом эксплуатации (вентиляторов, электролитических конденсаторов). При достижении порогового значения (устанавливаемого сервисным инженером) на панель управления (или удаленно по SNMP) выдается предупреждающий сигнал.
Для ИБП Powercom стандартной функцией является регулярное тестирование аккумуляторов. По словам Олега Соколова, периодичность задается при установке ИБП и позволяет с упреждением (за месяц) сообщить о необходимости замены батарей. В подсистеме мониторинга ИБП некоторых производителей реализованы функции проверки состояния АКБ без их разрядки, что, однако, увеличивает стоимость всего комплекса оборудования. Поэтому Powercom проверяет качество батарей по их разрядке в нагрузку через инвертор.
Возможность контроля и прогнозирования поведения АКБ — одна из основных функций, которыми должна обладать система мониторинга ИБП. По словам Андрея Шубравого, все ведущие производители ИБП используют контроллеры со встроенными тестами аккумуляторных батарей. Каждая АКБ рассчитана на определенное число циклов «заряд/разряд» (в среднем 600-800), а значит, ежемесячного тестирования вполне достаточно. Однако есть и нюансы. Например, во избежание нестандартного поведения АКБ и системы в целом автоматический тест АКБ не проводится в летние месяцы (период отпусков).
Как поясняет Андрей Вотановский, обычно частота испытаний при автоматической проверке АКБ задается инженером при инсталляции системы и утверждается заказчиком, причем эту функцию можно отключить (см. Рисунок 5). Однако ИБП тестирует весь батарейный массив целиком и определить неисправность отдельного батарейного блока на ранней стадии не может. Для более точной оценки состояния батарей необходимо регулярно тестировать каждый батарейный блок — вручную или через автоматическую систему мониторинга. Кроме того, при сдаче в эксплуатацию следует убедиться в работоспособности всей системы бесперебойного электропитания (см. врезку «ИБП на испытании»).
Обычно возможности управления системами бесперебойного питания ограничиваются производителем намеренно, чтобы не снизить их общую надежность из-за ошибки оператора или несанкционированных действий — в основном все сводится к мониторингу устройств. По словам Сергея Щербакова, APC всегда предлагает ограниченный набор средств дистанционного управления. Чтобы свести к минимуму влияние «человеческого фактора», нередко предусматриваются различные возможности контроля доступа (разграничение прав доступа, журналы операций и т.д.) и защиты от несанкционированных воздействий (протоколы HTTPS, SSL, шифрование данных и т. д.). Например, новая линейка карт сетевого управления ИБП AP9630 и AP9631 поддерживает функцию шифрования данных, а система InfraStruXure Central Enterprise теперь способна контролировать до 4025 узлов.
В центрах обработки данных ИБП используются для питания не только оборудования ИТ, но и систем кондиционирования, иначе при отказе электросети вычислительная техника очень быстро перегреется. Значительно сэкономить на мощности ИБП и количестве АКБ позволяет применение аккумулирующего бака с водой: в аварийном режиме эта вода используется системой охлаждения без включения чиллеров. До начала работы ДГУ бесперебойное охлаждение ЦОД обеспечат баки с водой емкостью в несколько тонн.
Как правило, продолжительность работы от аккумуляторов выбирается в зависимости от времени запуска ДГУ. Обычно необходимо 1-3 мин, поэтому специалисты компании TEV считают достаточным, если ИБП будет поддерживать нагрузку в течение 5-6 мин. Поскольку надежные дизель-генераторы запускаются за минуту, а персонал крупных площадок находится на дежурстве круглосуточно, время автономной поддержки можно снизить до 7-10 мин, считает Андрей Вотановский. Однако корректное завершение большого числа программных приложений занимает до нескольких десятков минут. Столь длительное питание от батарей крайне затратно, поэтому большое внимание следует уделить резервным источникам питания и резервным вводам.
По словам Сергея Щербакова, при наличии системы автоматического запуска ДГУ выходит на рабочий режим в течение 20-40 сек (включая запуск, прогрев и т.д.). Если допустить, что ДГУ будет включаться несколько раз, то запуск может быть выполнен лишь через 3-5 мин, а в случае отказа ДГУ придется останавливать оборудование ИТ. Все зависит от того, сколько времени потребуется, чтобы корректно завершить приложения и выключиться. В среднем на это уходит 10-15 мин автономной работы.
Как поясняет Дмитрий Ткачев, продолжительность работы оборудования ИТ от аккумуляторов ИБП рассчитывается исходя из времени запуска и выхода на рабочий режим ДГУ с учетом нескольких запусков, включая запуск резервного дизель-генератора при схеме резервирования N+1 или 2N. Предпочтительнее устанавливать ДГУ по схеме резервирования не ниже N+1, что позволяет избежать снижения надежности из-за «человеческого» фактора при запуске резервного дизеля.
Размеры первоначальных капитало-вложений в систему бесперебойного питания можно сократить, но для этого владелец должен четко представлять себе этапы развития ЦОД. Тогда, при наличии системы параллельного резервирования ИБП, можно установить только то количество источников, которое необходимо для конкретного этапа.
МОДУЛЬНЫЕ ИЛИ МОНОБЛОЧНЫЕ?
Если предполагается наращивать мощности ЦОД, важное значение приобретает масштабируемость. По мнению Сергея Шербакова, это одно из основных требований при проектировании и построении инженерных систем ЦОД. Масштабируемые системы электропитания/охлаждения способны поддерживать оптимальную загрузку и, соответственно, высокий КПД в целом даже при высокой динамике изменений. Использование модульных систем, позволяющих поэтапно увеличивать мощность и осуществлять переконфигурирование, а также обладающих малым временем восстановления, — один из основных подходов APC при построении инженерных систем ЦОД.
Применение масштабируемых систем бесперебойного питания помогает снизить риски, связанные с неправильной оценкой будущих потребностей в энергообеспечении. В ЦОД часто применяются модульные ИБП, состоящие из модулей ИБП и модулей батарей. И те и другие подключаются параллельно (с распределением нагрузки), а управляющий модуль дублируется. Преимущество такой конструкции заключается в возможности наращивания (модули можно добавлять, увеличивая мощность ИБП) и избыточности (отказ одного модуля не влияет на питание нагрузки), а эксплуатация системы становится более удобной. Если в моноблочных ИБП (APC Galaхy, Chloride 80-NET, Liebert HiPulsе или Socomec Masterys MP) надежность достигается за счет параллельного включения самих источников, то в модульных системах резервируются отдельные элементы.
Модульные системы можно приобрести с относительно небольшими затратами (на основной шкаф и систему распределения электропитания) и докупать в последующем дополнительные модули (см. Рисунок 6). В противном случае ЦОД приходится создавать таким образом, чтобы он полностью соответствовал будущим требованиям. Тогда объемы капитало-вложений и фиксированные затраты на электроэнергию и аренду окажутся слишком высокими, а нагрузка ИБП — неоптимальной. Однако, как указывает Дмитрий Ткачев, чтобы увеличить нагрузку на единичный ИБП, система должна быть многомодульной (N+1) с малой единичной мощностью одного модуля. Тем самым ее стоимость увеличивается, для электрощитовых приходится выделять более просторные помещения, а надежность снижается из-за повышения вероятности выхода из строя одного из модулей.
Хотя модульные ИБП позволяют инвестировать средства поэтапно, в конечном счете они обходятся дороже моноблочных. Между тем, по словам Владимира Башкирова, менеджера отдела Data Centre Solutions компании Rittal, за счет компактности, снижения эксплуа-тационных затрат и потребности в ЗИП модульные ИБП обеспечивают определенную экономию (см. Рисунок 7): TCO у них ниже на 30% по сравнению с моноблочными ИБП. К тому же модули можно заменять в «горячем» режиме. По данным Rittal, снижение затрат на обслуживание достигается за счет компактности модулей ИБП, упрощенного управления ими (технологии динамической настройки конфигурации) и простой замены модулей без прерывания работы устройства, что значительно упрощает ремонт ИБП. В качестве резервного достаточно хранить только один сменный модуль (с самой высокой производительностью). Поврежденный модуль можно отправить в сервисный центр для ремонта. Такая конструкция самым благоприятным образом сказывается на времени восстановления системы (обычно не более 15 мин) и не требует высокой квалификации от персонала.
Модульный ИБП Rittal PMC 200 (компонент Rittal RimatriX5) на 8-200 кВт предусматривает различные конфигурации, содержащие до трех-пяти модулей 24/32/40 или 8/12/16/20 кВт с внешним шкафом для батарей. Обычно мощность модульных ИБП не превышает 200 кВА, хотя, например, мощность одного модуля APC Symmetra MW составляет 200 кВт, а суммарная мощность системы — 1600 кВт. Значительное число элементов и контактов, а также наличие общей шины снижает надежность модульной архитектуры по сравнению с моноблочными ИБП. Однако, по мнению Андрея Шубравого, с точки зрения готовности (а не MTBF) ИБП модульной конструкции предпочтительнее: неисправный модуль всегда можно заменить, не оставляя оборудование без защиты по электропитанию.
Некоторые разработчики пытаются повысить надежность за счет уменьшения числа общих узлов в модульных ИБП, оснащая модули собственными блоками управления, байпасами и батареями (такой подход реализован в Eaton BladeUPS). Одно из интересных направлений развития архитектуры модульных ИБП представляет новая разработка AEG Power Solutions — ИБП Protect 8. Продукт предусматривает возможность индивидуального подбора функциональных блоков ИБП (модуля выпрямителя, инвертора и байпаса), исходя из потребностей заказчика. Первой моделью данной серии стал ИБП Protect 8 31 с трехфазным входом и выходом, однако это оборудование предназначено для промышленных приложений.
Андрей Вотановский считает, что модульные ИБП пользуются наибольшим спросом, если требуемая мощность не превышает 200 кВА. С точки зрения статистики, самой надежной модульной системой, когда питание общей нагрузки осуществляется от одного ввода, является устройство со схемой резервирования 1+1. Далее с ростом количества модулей увеличивается и количество точек отказа. Моноблочные системы со схемой резервирования 2N (где резервирование реализовано по двум независимым лучам питания, каждый из которых защищен моноблочным ИБП) способны обеспечить высокий уровень надежности, однако нагрузка должна поддерживать двойной ввод электропитания. Для тех случаев, когда соответствующая поддержка отсутствует, Emerson предлагает систему Liebert HiSwitch2, позволяющую зарезервировать такую нагрузку от двух источников.
В целом выбор модульной (например, APC InfraStruXure, Rittal RimatriX5) или моноблочной системы (производства Eaton, GE, NeuHaus, AEG или других вендоров) определяется целым рядом факторов: размером бюджета, динамикой изменений в ЦОД, организацией обслуживания, характером решаемой задачи, а также предпочтениями заказчика или системного интегратора. Обычно при условии правильного расчета мощности модульная система позволяет сэкономить на начальных инвестициях (если она не закупается сразу на полную мощность) и операционных затратах (на электроэнергии и обслуживании). Однако для приложений с потребляемой мощностью более 100 кВА Станислав Коларж рекомендует использовать моноблочные ИБП исходя из соображений надежности и масштабируемости. Он считает применение модульных ИБП оптимальным (преимущественно по ценовому фактору) для ЦОД меньшей мощности. По мнению Олега Кущева, наиболее приемлемый вариант использования модульных ИБП – отсутствие повышенных требований к надежности системы и небольшая мощность серверного оборудования.
Как подчеркивает Анатолий Маслов, для современных ЦОД типичная мощность составляет более 100 кВА, а добавление модулей «по горизонтали» приводит к ее чрезмерному «дроблению» (по силовой части и батареям), что значительно увеличивает расходы на сервисное обслуживание. Специалисты Chloride считают, что для современного большого ЦОД необходим моноблочный ИБП, имеющий некоторые преимущества модульного. Например, все новые линейки ИБП Chloride (серии с диапазоном мощностей 10-120 кВА) имеют модульную структуру для простоты обслуживания (отдельные силовые блоки по фазам, модули выпрямителя, инвертора и зарядного устройства). Таким образом, модульные системы с избыточностью целесообразно применять для малых ЦОД, а бесперебойность крупных должны поддерживать моноблочные ИБП с полным (по всем элементам) вертикальным резервированием.
«Горизонтальные» модульные системы, например, новый ИБП Chloride 80-Net (см. Рисунок 8), имеют малое время восстановления (MTTR). Однако слишком большое количество соединений и дробление по мощности понижает наработку на отказ (MTBF). «У моноблочных систем с «вертикальной» модульностью ситуация противоположная», — резюмирует Анатолий Маслов.
ЦЕНТРАЛИЗОВАННАЯ И РАСПРЕДЕЛЕННАЯ ЗАЩИТА
Общепринятой схемой в вычислительных центрах является централизованная защита электропитания, когда мощные системы ИБП защищают все оборудование ЦОД и систему его охлаждения. Станислав Коларж советует прорабатывать проект «вглубь», до уровня шкафа с серверным оборудованием. В таком случае удастся достичь необходимой унификации, что упростит задачу монтажникам и облегчит эксплуатацию оборудования. Отдельного внимания заслуживает вариант с иерархической архитектурой бесперебойного питания, где используется второй уровень ИБП.
Альтернативная схема — распределенная защита — предполагает, что каждый элемент оборудования обслуживается отдельным ИБП. Такой подход позволяет рационально расходовать средства и подбирать модели ИБП с адекватной мощностью и надежностью, однако при наращивании стоимость единицы мощности будет выше, чем у централизованной системы. Парал-лельно со снижением энергопотребления самих серверов (см. Рисунок 9) продолжается поиск экономичных вариантов децентрализованных систем бесперебойного электропитания.
В прошлом году группа инженеров Google подала заявку на патент высокоэффективной системы электропитания на уровне серверов, где ИБП и батареи перенесены с уровня ЦОД на уровень отдельных стоек. Высокая эффективность достигается за счет однократного преобразования переменного тока в постоянный (AC/DC). ИБП уровня сервера включает в себя систему обнаружения отказа питания и батарею. Кроме того, специальный контроллер следит за состоянием батареи и корректно завершает работу сервера, когда ее энергия исчерпана. Однако выбор серверов с питанием постоянного тока очень ограничен, и такое оборудование обходится дороже. Это одна из известных проблем давно обсуждаемой возможности перевода ЦОД на питание постоянным током. По оценкам большинства экспертов, весь ЦОД переводить на DC неэкономично.
Например, Анатолий Маслов называет следующие недостатки систем DC: невозможность применения байпаса при проведении сервисных работ (в некоторых случаях), риски появления дуг в разъемных соединениях (поэтому нужны системы дугогашения), соблюдение отличных от AC норм безопасности, иные методы подготовки кадров и др. Преимущества DC для ЦОД не столь очевидны, чтобы коренным образом менять схемы построения СБЭ.
Между тем предложенный Google вариант вполне жизнеспособен. В октябре прошлого года показатель эффективности (Power Usage Effectiveness, PUE), подсчитанный для шести ЦОД Google, достиг 1,21. В IV квартале он уменьшился до 1,16, а в текущем году — до 1,15. Ключевым фактором такого успеха Google считает именно применение встроенных в серверные стойки ИБП. Как утверждается, КПД у таких ИБП достигает 99,9% против 92-95%, характерных для большинства современных источников питания.
Олег Кущев полагает, что подобное решение может стать хорошим дополнением к централизованной системе бесперебойного питания, но вряд ли способно ее заменить. Кроме бесперебойного электроснабжения, централизованная система решает задачу обеспечения его качества, однако перенос оборудования на блоки питания увеличит стоимость решения и сделает его неконкурентоспособным. Андрей Шубравый обращает внимание на ненадежность подобной схемы. При появлении проблем в централизованном оборудовании электропитания проще найти причину и устранить ее, тогда как в децентрализованной системе сделать это намного сложнее.
Андрей Вотановский не сомневается в том, что данная концепция интересна только для малых и средних ЦОД. Чересчур рассредоточенная система имеет множество точек отказа и разную наработку на отказ, причем с вводом нового оборудования ситуация может только ухудшиться, а контроль за состоянием системы и ее восстановление станут очень сложными. Кроме того, обслуживающему персоналу придется регулярно вмешиваться в работу серверного и телекоммуникационного оборудования, что усилит влияние «человеческого фактора» на сбои системы. Помимо этого, возникают вопросы резервирования в момент замены батарей и обеспечения нормальных температурных условий для батарей в высоконагруженных стойках. Таким образом, проблем пока больше, чем преимуществ.
По словам Сергея Щербакова, централизованная система выгоднее в эксплуатации. Кроме того, она позволяет варьировать необходимое время автономной работы и уровень резервирования, в то время как возможности системы со встроенными батареями ограничены — едва ли можно встроить в сервер батарею большей емкости. Однако не исключено, что в каких-то ситуациях данная технология окажется более выгодной.
По мнению Люка Божерини, менеджера по продуктам AEG Power Solutions, делать выводы относительно новых идей и технологий преждевременно — необходима проверка временем. Особенно это касается такой области, как ИБП, где очень важна защита инвестиций. Консерватизм заказчиков — одно из основных препятствий в продвижении новых технологий ИБП. В любом случае главным качеством ИБП остается надежность.
ЗАКЛЮЧЕНИЕ
Для проектирования и выбора решений производители предлагают вспомогательные инструменты — специальные программные средства. Например, у APC это набор Web-приложений APC TradeOff Tools (см. Рисунок 10). По словам Сергея Щербакова, клиенты проявляют к ним интерес, и в последнее время при подготовке многих проектов компании приходится отвечать на вопросы относительно эффективности предложенного решения, его окупаемости и т.д. Что касается наиболее значимых инноваций, реализованных в ИБП, то APC указывает, прежде всего, на отказ от тиристорных выпрямителей, использование транзисторов IGBT или технологии MOSFET. Мощность решений APC на этой элементной базе достигла 500 кВт. К важнейшим инновациям можно отнести технологии, применение которых повышает эффективность и сокращает время восстановления системы, увеличивая тем самым ее надежность.
Экономическая привлекательность технического решения предполагает его тщательную проработку на этапе проектирования и учет всех задач, которые должен решать конкретный ЦОД, подчеркивает Олег Соколов. По словам Станислава Коларжа, актуальным является использование правильного подхода к проектированию систем электропитания с привлечением квалифицированных специалистов, знающих тонкости и специфику современного оборудования, а также экспертиза проекта независимыми консультантами. Такой подход хорошо работает в развитых странах и позволяет создавать максимально оптимизированные решения. Однако для этого требуется достаточное число грамотных проектировщиков, работающих в независимых организациях, а заказчики должны осознавать важность и экономическую эффективность системного сбалансированного подхода, реализованного с применением высококачественных технологий.
Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.
Рисунок 1. Ежегодная экономия (в Европе) в случае применения ИБП, КПД которого достигает 96%, по сравнению с источниками бесперебойного питания с КПД 93% и 94% (по данным Socomec UPS).
Альтернатива аккумуляторам
дно из направлений разработок в области ИБП связано с поиском альтернативы традиционным аккумуляторным батареям. Некоторые производители предлагают ИБП, где вместо аккумуляторных батарей используется маховик-ротор (Flyweel), накапливающий кинетическую энергию. В последние два-три года на такие устройства приходится около 5-6% мирового рынка. В отрасли широко известны разработки компании Pentadyne, с которой сотрудничают многие поставщики ИБП подобного типа. Часто такая система работает наряду с обычной моделью ИБП вместо аккумуляторов. Однако при очень высоком КПД ротора (например, КПД системы Socomec Flywheel VSS+ DC составляет 99,8%) и малом времени «зарядки» (примерно 5 мин) у подобных систем есть, по крайней мере, два очень серьезных недостатка: они стоят втрое дороже традиционных систем и обеспечивают очень малое (10-12 сек) время работы нагрузки при отказе основного питания.
По мнению Константина Соколова, внедрение роторных систем сдерживается желанием заказчика получить максимальную автономию для ИБП за счет АКБ (традиционный подход), низким уровнем сервиса ДГУ, не гарантирующим надежного и быстрого запуска при аварии в электросети, а также значительными первоначальными вложениями. Хотя системы с маховиком почти не требуют обслуживания и отличаются длительным «жизненным циклом», у них очень большой срок окупаемости (до двух десятков лет). Мало кто рассчитывает общую стоимость владения на столь длительный период. Кроме того, сказывается отсутствие опыта установки и эксплуатации таких систем. Однако перспективы у данных систем есть: они могут применяться как дополнение к аккумуляторным батареям, позволяя сохранять их ресурс во время краткосрочных перебоев питания — в этом уверены сотрудники компании Emerson, предлагающей накопители энергии Flywheel Energy Storage System Liebert FS мощностью 190 кВт.
Спрос на подобные решения низок. Например, Socomec пока не удалось осуществить ни одной поставки такого продукта российским заказчикам. Socomec и Liebert (подразделение Emerson Network Power) используют в своих роторных системах разработки Pentadyne. В числе других известных вендоров — компании Power Protection и Active Power, которая с 1992 г. в общей сложности продала 1500 роторных ИБП. Хотя разработки в области альтернативных источников энергии для ИБП (включая маховики и топливные элементы) продолжаются, по цене, надежности и удобству пока ничто не может заменить традиционные батареи. Между тем, как отмечают в компании Socomec, маховики рекомендуется устанавливать в агрессивных и труднодоступных средах, так как в результате существенно снижается ТСО. Именно это обстоятельство, наряду с экологичностью, — основное преимущество подобного оборудования.
ИБП на испытании
ак правильно организовать испытания ИБП (и системы бесперебойного электропитания в целом) при сдаче проекта ЦОД? Специалисты Emerson. При сдаче системы рекомендуют произвести запуск на тестовую нагрузку, близкую по мощности к расчетной нагрузке ЦОД (если это возможно физически), и проверить ИБП во всех режимах работы. Запускать систему должен сертифицированный инженер. Обычно, поясняет Олег Соколов, при тестировании проверяют ток заряда батарей, время автономной работы и реакцию ИБП на перегрузки. Одной из наиболее значимых инноваций последних лет он считает расширение средств внутренней самодиагностики ИБП средней и большой мощности.
Как рассказывает Сергей Щербаков, при сдаче в эксплуатацию системы ИБП обязательно проходят тестирование — «прогоняются» во всех возможных режимах работы (от сети, от батарей, в байпасном режиме, при смене режима и т. д.). В идеале нужно испытывать ИБП под нагрузкой, однако реализовать это очень сложно, поскольку ИБП сдается, когда полной нагрузки еще нет, и тестируется в холостом режиме, что, конечно, не совсем правильно. Однако найти необходимое испытательное оборудование (испытательный стенд) — непростая задача.
По словам Андрея Шубравого, все источники питания проходят тестирование на рассчитанную нагрузку еще на заводе. Если при составлении спецификации были учтены все потребители электропитания, то сложностей при подключении и дальнейшем использовании систем, скорее всего, не будет. Chloride предлагает свою методику проверки: выходное тестирование одиночных ИБП в различных режимах на заводе изготовителя, испытание всей системы на тестовой площадке представительства Chloride («Клорайд Рус»), причем схема соединения соответствует той, какой она будет на объекте, а также специальное тестирование на месте эксплуатации.
Если индивидуальные испытания ИБП при пуско-наладке — задача сервисного инженера, то системы бесперебойного питания в целом испытываются в каждом конкретном случае по своим схемам в зависимости от структуры их построения, рассказывает Андрей Ткачев. Такие комплексные испытания возлагаются на заказчика, а их программа разрабатывается инженерными службами владельца ЦОД или заказывается у разработчика системы бесперебойного питания.