Общие принципы электроснабжения компьютерных и телекоммуникационных систем.

Электроснабжение компьютерных и телекоммуникационных систем, сокращенно инфокоммуникаций, имеет во многом те же особенности, что и электроснабжение технических средств вообще.

Электроснабжение характеризуется надежностью и качеством. К понятию качества в первую очередь относится качество электроэнергии, на которое влияют различные нарушения и искажения формы питающего напряжения. Эти нарушения могут поступать из энергосистемы: например, грозовые импульсы, коммутационные перенапряжения вследствие коммутации участков электрической сети, провалы и отклонения напряжения во время автоматического включения резерва (АВР) и переключения потребителей на другие источники питания.

Искажения в электрическую систему нередко вносят и сами электроприемники с резкопеременным и нелинейным характером нагрузки: всевозможные преобразователи, промышленные потребители, электрический транспорт и т. д. Подобные свойства электроприемников относятся к электромагнитной совместимости — способности технических средств функционировать с требуемым качеством в заданной электромагнитной обстановке, не создавая недопустимых электромагнитных помех другим техническим средствам.

СТАНДАРТЫ НАДЕЖНОСТИ И КАЧЕСТВА ЭНЕРГОПИТАНИЯ

Требования по надежности электроснабжения потребителей изложены прежде всего в таком основополагающем нормативном документе, как «Правила устройства электроустановок» (ПУЭ). В качестве главного показателя надежности электроснабжения вводится категория надежности. В правилах различают три категории (с третьей по первую) в зависимости от требований к надежности и времени устранения неисправностей, при этом в первой категории выделяют особую группу. В Таблице 1 приведены сведения о количестве независимых, взаиморезервирующих источников электроснабжения и соответствующих категориях надежности. Следует иметь в виду, что энергосистема предоставляет потребителю не более двух источников электроснабжения, т. е. подключе ние обеспечивается не более чем к двум электрическим подстанциям. Прочие источники, ДЭС или ИБП, не являются объектами энергосистемы.

Качество электроэнергии влияет на работоспособность и эффективность функционирования питаемого оборудования. Применительно к инфокоммуникационным системам его следует рассматривать как воздействие кондуктивных помех (электромагнитных помех, распространяющихся по элементам электрической сети) на оборудование. Если уровень помех (показатели качества электроэнергии) не превышает устанавливаемых стандартом норм, то оборудование функционирует исправно, и нарушений (сбоев, снижения эффективности) инфокоммуникационных систем не происходит.

Качество электроэнергии (качество напряжения) нормируется в ГОСТе 13109-97 «Нормы качества электроэнергии в системах электроснабжения общего назначения». В стандарте определяются показатели и нормы качества электроэнергии в электрических сетях систем электроснабжения общего назначения переменного трехфазного и однофазного тока частотой 50 Гц в точках присоединения электрических сетей, находящихся в собственности различных потребителей электроэнергиии.

Показатели качества электроэнергии в электрических сетях, находящихся в собственности потребителей, регламентируются отраслевыми стандартами и иными нормативными документами, но они не должны быть ниже норм ГОСТа для точек общего присоединения. Когда указанные отраслевые стандарты и иные нормативные документы отсутствуют, нормы настоящего стандарта обязательны для электрических сетей потребителей электроэнергии.

Устанавливаемые ГОСТом показатели качества электроэнергии определяют предельный уровень электромагнитной совместимости для кондуктивных электромагнитных помех в системах электроснабжения общего назначения. При соблюдении этих норм обеспечивается электромагнитная совместимость электрических сетей систем электроснабжения общего назначения и электрических сетей потребителей электроэнергии (приемников электроэнергии), не возникает нарушений и помех в работе оборудования вследствие неудовлетворительного качества электроснабжения.

ВЛИЯНИЕ НАРУШЕНИЙ НА РАБОТОСПОСОБНОСТЬ

Различные показатели качества электроэнергии влияют на работоспособность инфокоммуникационных систем по-разному. Стандартом установлены нормально допустимые и предельно допустимые значения показателей. Ниже мы рассмотрим основные из них.

Отклонение напряжения. Отклонение напряжения (см. Рисунок 1) характеризуется показателем установившегося отклонения напряжения. Для него определены нормально допустимые и предельно допустимые значения отклонения на выводах приемников электроэнергии, соответственно, в +5 и +10% от номинального напряжения электрической сети. Этот показатель достаточно существенен, так как от его значений зависит работоспособность блоков питания.

Колебания напряжения. Для инфокоммуникационных систем значимым показателем колебания напряжения (см. также Рисунок 1) является диапазон изменения напряжения. Предельно допустимый диапазон изменения напряжения имеет достаточно сложную функциональную зависимость от частоты повторения и формы огибающей. Данные зависимости приводятся в ГОСТе 13109-97.

Сумма установившегося отклонения напряжения и диапазона изменений напряжения в точках присоединения к электрическим сетям в 380/220 В не должна превышать +10% от номинального напряжения.

Провал напряжения. Провал напряжения (см. Рисунок 1) характеризуется длительностью провала напряжения, величина которого в электрических сетях с напряжением до 20 кВ не должна превышать 30 с. Провал напряжения, так же как и его полное отключение, представляет наибольшую опасность для электроснабжения инфокоммуникационных систем.

Рисунок 2. Несинусоидальное напряжение.

Несинусоидальность напряжения. Несинусоидальность напряжения (см. Рисунок 2) включает следующие показатели:

  • коэффициент искажения синусоидальности кривой напряжения;
  • коэффициент n-й гармонической составляющей напряжения.

Нормально допустимые и предельно допустимые значения коэффициента искажения синусоидальности кривой напряжения должны быть не более 8% в точках общего присоединения к электрическим сетям с номинальным напряжением 380/220 В. Этот показатель не оказывает непосредственного влияния на качество электроснабжения инфокоммуникаций, поскольку современные блоки питания могут нормально работать от источников питания, у которых форма кривой напряжения близка к прямоугольной (меандр). Вместе с тем, несинусоидальное напряжение способно оказать вредное воздействие на обеспечивающее оборудование, например на двигатели компрессоров и вентиляторов систем кондиционирования технологических помещений. Следует также заметить, что данный вид искажений характерен для сетей электроснабжения промышленных предприятий, но не для жилых и офисных зданий.

Несимметрия напряжений. Несимметрия напряжений характеризуется следующими показателями:

  • коэффициентом несимметрии напряжений по обратной последовательности;
  • коэффициентом несимметрии напряжений по нулевой последовательности.

Эти показатели также не влияют в явном виде на качество электроснабжения инфокоммуникаций.

Отклонение частоты. Отклонение частоты напряжения переменного тока в электрических сетях характеризуется показателем отклонения частоты, для которого установлены нормально допустимое и предельно допустимое значения: +0,2 и +0,4 Гц, соответственно. Частота — общесистемный параметр, т. е. она одинакова во всех точках объединенной энергосистемы. При возникновении существенных отклонений частоты в действие вводится противоаварийная автоматика энергосистемы. Отклонение частоты может привести к отключению целых районов и даже общесистемной аварии, что случается далеко не каждое десятилетие. Кроме того, современные блоки питания средств вычислительной и телекоммуникационной техники на 50 и 60 Гц остаются работоспособными при отклонениях в несколько герц, а не процентов, как это устанавливается стандартом.

Импульс напряжения. Импульс напряжения (см. Рисунок 3) характеризуется показателем импульсного напряжения. Значения импульсных напряжений для грозовых импульсов, возникающих в электрических воздушных и кабельных сетях 380/220 В энергоснабжающей организации, не превышают 10 и 6 кВ, соответственно. Для коммутационных импульсов в сетях 380 В значение импульса — не более 4,5 кВ. Появление грозового импульса в кабельной сети возможно, если он проникает в нее из воздушной. Например, если питание на трансформаторную подстанцию 10/0,38 кВ подается посредством воздушной линии, что характерно для сельских сетей, то появление грозового импульса в сети низшего напряжения 380/220 В не столь уж невероятно. В городских сетях, где линии как высшего, так и низшего напряжения, как правило, кабельные, возникновение грозового импульса трудно объяснимо.

Временное перенапряжение. Временное перенапряжение (см. Рисунок 1) характеризуется коэффициентом временного перенапряжения (отношением максимального значения огибающей амплитудных значений напряжения за время существования перенапряжения к амплитуде номинального напряжения). Значение коэффициента зависит от времени перенапряжения, но не превышает 1,47.

При обрыве нулевого рабочего проводника в трехфазных электрических сетях напряжением до 1 кВ с наглухо заземленной нейтралью (т. е. нейтраль трансформатора или генератора непосредственно присоединена к заземляющему устройству) возникают временные перенапряжения между фазой и землей. Уровень таких перенапряжений при значительной несимметрии фазных нагрузок может достигать значений межфазного напряжения, а длительность — нескольких часов. Этот вид нарушений опасен не только из-за риска повреждения оборудования и нарушения режима его работы, но и представляет собой реальную пожарную опасность вследствие высокой вероятности возгорания электрооборудования и электроприемников.

Таким образом, можно констатировать, что электропотребляющее оборудование инфокоммуникационных систем чувствительно к нарушениям качества энергоснабжения в разной степени в зависимости от вида искажений. Возможные последствия выражаются в сбоях в работе аппаратно-программных средств и, в меньшей степени, — в повреждениях оборудования. Наиболее критичными нарушениями являются провалы напряжения, поскольку они приводят к отключениям и перезагрузке оборудования. Перенапряжения и импульсы напряжения могут вызывать повреждение оборудования. Отклонения, колебания, несинусоидальность напряжения практически не влияют на работоспособность инфокоммуникационных систем. Эти нарушения, включая отклонения частоты, в большей степени оказывают воздействие на оборудование инженерных систем.

КАЧЕСТВЕННОЕ БЕСПЕРЕБОЙНОЕ ПИТАНИЕ ИНФОКОММУНИКАЦИЙ

Обеспечение качества электроснабжения и его надежность достигаются различными схемными решениями и применением специального оборудования. Широкое распространение получило наиболее универсальное средство обеспечения качества и надежности электроснабжения инфокоммуникаций — источники бесперебойного питания (ИБП — Uninterruptible Power Supplу, UPS). На их основе строятся системы бесперебойного электроснабжения (питания) инфокоммуникационных систем.

В последние годы на повестку дня выдвинулись отказоустойчивые системы. Под отказоустойчивостью системы бесперебойного электроснабжения на базе ИБП понимают сохранение способности осуществлять бесперебойное снабжение потребителей током в случаях проведения плановых (регламентных, сервисных) и ремонтных (восстановительных) работ.

Функции отказоустойчивости напрямую зависят от эксплуатационной готовности системы. Длительная эксплуатационная готовность оценивается как вероятность того, что система при определенных условиях будет в полном объеме выполнять свои задачи.

На практике решающим фактором является длительность перерыва в подаче электроэнергии к потребителям. В этой связи при электроснабжении инфокоммуникационных систем эксплуатационная готовность системы электроснабжения должна быть не ниже эксплуатационной готовности технических средств инфокоммуникаций. По отношению к инфокоммуникационным системам эксплуатационную готовность электроснабжения будем характеризовать коэффициентом доступности электроснабжения.

Доступность системы зависит от ее надежности. А что является количественной характеристикой надежности? Наиболее часто прибегают к таким показателям, как среднее время между сбоями или среднее время наработки на отказ (Mean Time Between Failure, MTBF). Однако к ним надо подходить с осторожностью. Дело в том, что производитель той или иной техники указывает величину MTBF равной, скажем, 30 тыс. ч, т. е. примерно 10 лет. При этом само устройство производится в течение всего трех лет. Да и срок его реальной эксплуатации ввиду морального устаревания вряд ли превысит, допустим, пять лет. Как же было определено приводимое значение MTBF? Речь идет о хорошо известном в статистике «усреднении по ансамблю»: если для 1000 работающих устройств за год произошло в общей сложности 100 сбоев, то на этом основании среднее время между сбоями вычисляется как 1000 х 1 год/100 = 10 лет. Очевидно, что определяемая таким образом величина MTBF является статистическим параметром и справедлива для большого количества работающих устройств, а отнюдь не для отдельного устройства. Иными словами, устройство, значение MTBF которого составляет 10 лет, может запросто выйти из строя на следующий день после ввода в эксплуатацию. Просто кому-то не повезет.

Однако на этом неприятности могут не закончиться. Ремонт может занять пять минут, а может и пять рабочих дней, и хорошо, если в результате информационная система не будет простаивать. Таким образом, кроме параметра MTBF очень важное значение имеет другая величина — среднее время восстановления устройства (Mean Time To Repair, MTTR). В статьях и обзорах, посвященных надежности ИС, все чаще встречается понятие коэффициента доступности. Он определяется весьма просто — как относительное значение общей продолжительности нормальной работы системы за год. Обычно компании измеряют коэффициент доступности для приложений, так как от этого напрямую зависит продуктивность пользователей. В условиях современного предприятия важнейшие приложения или их составляющие физически распределены по всей организации, а иногда даже за ее пределами, включая компьютеры потребителей и поставщиков. Поэтому администраторы ИТ должны принять необходимые меры, чтобы обеспечить высокое значение доступности приложений по предприятию в целом.

Исходя из того, что время нормальной работы в среднем равно MTBF, а время простоя возникает после аварии или отказа и, соответственно, равно MTTR, коэффициент доступности (Availability) можно определить следующим образом:

Availability = MTBF/(MTBF + MTTR)

Очевидно, что MTBF должно быть как можно больше, а MTTR — как можно меньше. Как же достичь этого для аппаратного обеспечения?

КАКОЙ ИБП НАДЕЖНЕЕ?

Надежность любой сложной системы (в том числе ИС) ограничена надежностью самого слабого узла. На сегодняшний день в таких общих для любой ИС процессах, как обработка и хранение данных, давно применяются технологии кластеризации и «зеркализации», дисковых массивов хранения данных RAID и т. п. Поэтому тем, кто инвестирует немалые средства в подобные технологии для всемерного повышения надежности работы ИС, имеет смысл задуматься: а какое же звено осталось самым слабым? Чаще всего таковым оказывается ИБП традиционной моноблочной конструкции, а ведь именно он, как правило, защищает серверные комнаты и прочие критичные приложения. За последние годы к этому выводу пришло большое количество исследовательских и консалтинговых институтов, а также ассоциаций пользователей компьютерных технологий.

Даже при увеличении затрат на разработку изделия, всемерной изощренности схемных решений, 100-процентном входном контроле компонентов, многократном тестировании изделия в процессе производства отдельные компоненты имеют некий потолок надежности. Так, типичные современные системы защиты питания, где делается ставка лишь на высокую надежность отдельных узлов, имеют максимальное значение MTBF в пределах от 50 тыс. до 500 тыс. ч. В то же время применение резервирования самих ИБП позволяет добиться существенного увеличения MTBF при тех же затратах на себестоимость изделия. На Рисунке 4 изображен качественный характер изменения надежности изделия в зависимости от его себестоимости, при этом кривая 1 соответствует устройству без резервирования, кривая 2 — устройству с применением резервирования.

Рисунок 4. Изменение надежности изделия в зависимости от затрат.

Общепризнанным подходом для радикального снижения MTTR стало сегодня в конструировании следование принципу «горячей» замены неисправных или требующих обслуживания узлов.

При создании наиболее ответственных и критичных узлов и устройств, работающих в составе ИС, применяется следующий метод. Узел (устройство и т. п.) разбивается на N параллельно соединенных модулей с добавлением одного (N+1), двух (N+2) и т. д. модулей для повышения уровня резервирования (или, что одно и то же, избыточности), дополнительно разработчиками обеспечивается возможность замены этих модулей (увеличения или уменьшения их числа) на ходу, в «горячем» режиме. Таким образом, достигается:

  • высокая отказоустойчивость за счет наличия N+1, N+2 и т. д. модулей. При отказе любого из модулей остальные просто перераспределяют между собой его нагрузку;
  • нулевое MTTR - для замены вышедшего из строя модуля не требуется отключать устройство в целом. Остающиеся в работе модули обеспечивают полноценное функционирование;
  • гораздо более высокая экономическая эффективность по сравнению с удвоением (утроением и т. п.) устройства в целом;
  • масштабируемость устройства, причем изменения конфигурации возможны без выключения устройства, в "горячем" режиме.

Соотношения между доступностью, избыточностью и возможностями «горячей» замены легко пояснить с помощью диаграммы (см. Рисунок 5), где системы защиты электроснабжения располагаются на плоскости в зависимости от того, насколько они удовлетворяют двум составляющим доступности — избыточности и возможности «горячей» замены.

Рисунок 5. Диаграмма КДЭ.

С ростом числа узлов с поддержкой режима «горячей» замены соответствующая системе точка на плоскости перемещается вверх, а с ростом числа избыточных узлов — слева направо. В зависимости от требуемой величины доступности и планируемых затрат, администраторы ИС могут найти оптимальное решение.

На основании диаграммы современные системы защиты электропитания можно классифицировать по уровню доступности следующим образом.

  1. Традиционный (моноблочный) ИБП (Standalone UPS) не обладает ни избыточностью, ни возможностями "горячей" замены. Как видно из таблицы, устройство обеспечивает достаточную доступность электропитания благодаря надежности ИБП как такового. Подобные системы наиболее эффективны в диапазоне малых мощностей (до 5кВА), в этом случае несколько моноблочных ИБП могут защитить отдельные критические звенья системы. Чтобы получить централизованное решение для систем большей мощности (более 5 кВА), пользователи должны выбрать систему с более высоким уровнем доступности.
  2. Отказоустойчивый ИБП (Fault Tolerant UPS) иногда описывают как систему с "разумной избыточностью", поскольку такие системы содержат избыточные компоненты. Однако не все главные узлы можно заменять в режиме "горячей" замены. Системы этого типа имеют более высокий коэффициент доступности, продолжая защищать нагрузку даже в случае отказа одного из избыточных компонентов. Но поскольку неисправность недублируемых компонентов часто означает необходимость замены всего ИБП, в числе их серьезных недостатков - дорогостоящий и требующий времени ремонт. Это неизбежно приводит к простою систем и большим неудобствам для администраторов ИС. Отказоустойчивые системы ИБП могут иметь часть узлов, допускающих "горячую" замену, например батареи или блоки силовой электроники. В основном же большое число критически важных узлов, в частности блоки процессорной электроники, невозможно заменить в "горячем" режиме. И чем больше таких незаменяемых компонентов, тем ниже коэффициент доступности электропитания.
  3. Модульный ИБП (Modular UPS). Как и отказоустойчивый ИБП, он обеспечивает высокий уровень доступности. Эти системы имеют многочисленные компоненты с режимом "горячей" замены и обычно используются в многосерверных средах и телекоммуникационном оборудовании. Многие модульные ИБП предусматривают также избыточность батарей. Однако важнейшее преимущество таких систем по сравнению с отказоустойчивыми ИБП состоит в том, что отказ любого из основных компонентов может быть ликвидирован в "горячем" режиме, что исключает плановые простои на вызов сервисной поддержки.
  4. Высшую степень защиты электроснабжения обеспечивают системы матричной архитектуры - так называемые "энергетические массивы" (Power Array). В Power Array все блоки - силовой электроники, батарей и процессорные - являются и избыточными, и заменяемыми в "горячем" режиме. Системы такого типа характеризуются очень высокими значениями доступности и реализуют защиту высшего уровня для ИС. Power Array обычно на 10-20% дороже моноблочных ИБП сходной мощности и в среднем на 5-10% дороже отказоустойчивых или модульных ИБП.

Диаграмма может быть уточнена далее, поскольку в каждой системе защиты электропитания имеется три важнейших блока: батареи, силовая электроника и процессорная электроника. Чем больше компонентов обладают свойствами «горячей» замены и избыточности, тем выше доступность системы. Реальные ИБП часто относятся к «гибридным» системам, у которых часть узлов обладает свойством «горячей» замены, а другая часть — свойством избыточности.

Подытоживая сказанное в статье, отметим: во-первых, электроснабжение инфокоммуникаций зависит от качества электроэнергии и надежности электроснабжения; во-вторых, согласно сложившейся технической практике, основным средством обеспечения надежности и качества электроснабжения являются источники бесперебойного питания; в-третьих, наилучшие показатели надежности электроснабжения можно получить, используя резервируемые системы с архитектурой «энергетический массив».

Александр Воробьев — сотрудник Управления информационных систем «ОАО Внешторгбанк». Он является автором книги «Электроснабжение компьютерных и телекоммуникационных систем», вышедшей в издательстве «ЭкоТрендз» в 2003 г. С ним можно связаться по адресу: vorobyov@vtb.ru или elektric@veernet.iol.ru.