Проектировщики и операторы ЦОД уже более двух десятков лет используют стандарты, разработанные в The Uptime Institute, и ориентируются на критерии классификации физической инфраструктуры центров обработки данных, предложенные в стандартах Tier Standard: Topology и Tier Standard: Operational Sustainability.
Стандарты The Uptime Institute регламентируют требования к организации электропитания, охлаждения и технического обслуживания центров обработки данных и помогают предусмотреть необходимые уровни готовности инфраструктуры на всех этапах их жизненного цикла, включая проектирование, строительство, ввод в эксплуатацию. Они позволяют также сравнивать различные объекты, созданные по индивидуальным проектам, и сопоставлять объем инвестиций в инфраструктуру ЦОД с бизнес-стратегией их владельцев и операторов.
The Uptime Institute сертифицирует центры обработки данных на соответствие собственным стандартам, с помощью которых оцениваются и сравниваются уровни надежности и доступности ЦОД. Стандарты Tier применяются при строительстве корпоративных и коммерческих ЦОД и используются для оценки качества услуг по размещению в них оборудования. Однако классификационные уровни надежности и избыточности Tier I — -Tier IV с самого начала их появления были предметом дискуссий отраслевых экспертов.
ПРИЧИНЫ ИЗМЕНЕНИЙ
В настоящее время подобные обсуждения обретают вполне конкретные формы, так как технологические инновации предоставляют возможности, ранее отсутствовавшие в инфраструктурных решениях современных ЦОД. Один из примеров — использование возобновляемой энергии (sustainable energy).
Такая энергия, по одному из определений, способна обеспечить все нужды современных потребителей, не ограничивая возможности будущих поколений в удовлетворении энергетических потребностей. Ее источники характеризуются также незначительным расходованием имеющихся ресурсов и контролируемым влиянием на окружающую среду.
В компании Schneider Electric считают, что, благодаря снижению стоимости возобновляемых источников энергии и прогрессу в области цены и технологий литий-ионных аккумуляторных батарей, около 70% вводимых в действие к 2040 году ЦОД будут применять возобновляемую энергетику.
Однако такая энергетика, вообще говоря, не соответствует инфраструктурным требованиям The Uptime Institute. Стандарты этой организации предписывают, к примеру, установку дизель-генераторов для обеспечения подачи электроэнергии на случай возникновения нештатных ситуаций во входных фидерах. Это значит, что ЦОД, полностью работающий на солнечной энергии и имеющий значительные ресурсы для ее хранения, не сможет получить статус, соответствующий требованиям старших спецификаций Tier.
Кроме того, многие отмечают, что система классификации Uptime Tier распространяется только на комплексы электропитания и системы охлаждения, в то время как для работоспособности и готовности центров обработки данных столь же важны сетевая инфраструктура и безопасность. Основной акцент в стандартах The Uptime Institute делается на внутреннем резервировании, но у него имеется эффективная альтернатива — дублирование функций центра обработки данных в рамках сети территориально распределенных ЦОД.
Наряду с классификацией The Uptime Institute существуют и другие стандарты для центров обработки данных. Так, Международная консультативная служба строительной отрасли (Building Industry Consulting Service International, BICSI) выпустила собственный стандарт 002–2010: Data Center Design and Implementation Best Practices, который был обновлен и расширен в 2015 году с выходом ANSI/BICSI 002–2014.
Принятая в конце 2015 года новая серия европейских стандартов EN 50600, разработанных Европейским комитетом электротехнической стандартизации (Comit Europen de Normalisation lectrotechnique, CENELEC), регламентирует различные вопросы проектирования «Сооружений и инфраструктуры центров обработки данных».
Ассоциация телекоммуникационной отрасли (Telecommunications Industry Association, TIA), разрабатывающая стандарты на кабельные системы, выпустила стандарт ANSI/TIA-942-A Telecommunications Infrastructure Standard for Data Centers, подготовленный в содружестве с Американским национальным институтом стандартов (American National Standards Institute, ANSI). Ориентированный в большей степени на кабельную и сетевую инфраструктуру, он предусматривает концепции избыточности и надежности, основанные на уровнях The Uptime Institute.
Стандарт ANSI/TIA 942-A, популярный прежде всего в Европе, а не в США, гораздо реже упоминается в проектной документации центров обработки данных по сравнению с показателями классификации The Uptime Institute. The Uptime Institute предложил его авторам отказаться от термина Tier, поэтому для описания уровней надежности в нем используются показатели Rated 1–4.
TIER 5
Tier 5 — название разработанного компанией Switch проприетарного стандарта, о котором было объявлено летом 2017 года.
Основной сферой деятельности Switch, штаб-квартира которой находится в Лас-Вегасе, являются проектирование, строительство и эксплуатация крупных современных центров обработки данных, например SuperNAP 8 с сертификацией Tier IV, а также предоставление услуг по размещению оборудования на базе собственных ЦОД (collocation).
Для оценки надежности инфраструктуры ЦОД специалисты Switch решили использовать гораздо больше критериев и показателей, чем это предусмотрено в стандартах, созданных на основе предложенной The Uptime Institute методологии Tier.
Разработчики методологии The Uptime Institute, многие из которых уже не являются сотрудниками этой организации, поясняют, что первоначально стандарты были ориентированы на использование в корпоративных центрах обработки данных, но теперь технологические возможности современных ЦОД, в том числе предоставляющих сервисы аренды площадей и стойко-мест, заметно возросли, что, в свою очередь, стимулирует расширение области действия инфраструктурных стандартов. Некоторые из этих специалистов приняли участие в создании стандарта компании Switch.
Tier 5, как утверждают его разработчики, не только вводит критерии отказоустойчивости и избыточности, присущие другим системам оценок инфраструктуры центров обработки данных, но и содержит более трех десятков дополнительных параметров.
Стандарт предусматривает, к примеру, возможность использования в ЦОД только возобновляемых источников энергии и описывает способы достижения долгосрочной стабильности основанных на них энергосистем, а кроме того, выдвигает требования к размещению линий системы охлаждения в машинных залах, числу доступных коммуникаций и операторов связи, наличию средств физической и сетевой безопасности, учету региональных рисков.
Различия в требованиях к инфраструктурным системам ЦОД, соответствующим спецификациям Tier IV по классификации The Uptime Institute и выполненным согласно нормам проприетарного стандарта Switch Tier 5, можно найти на сайте компании.
Tier 5 содержит множество требований, которые в Tier IV отсутствуют. Среди них следующие: центр обработки данных может эксплуатироваться в течение неограниченного времени без подвода воды, каждый из лучей питания остается подключенным при обслуживании как минимум 90% времени, связь для площадки обеспечивают не менее 10 операторов связи, клиентам предоставляется услуга по противодействию DDoS, каждая стойка защищена и т.?д.
Разработку собственного стандарта Tier 5 компания Switch рассматривает в качестве первого шага на пути создания независимого некоммерческого фонда Data Center Standards Foundation, призванного контролировать использование операторами ЦОД стандарта Tier 5 и предотвращать некорректную сертификацию ЦОД их владельцами.
Миссия нового фонда, как ее представляют в Switch, должна заключаться в повышении достоверности оценок возможностей центров обработки данных и способствовать повышению прозрачности всей отрасли ЦОД. По мнению сотрудников Switch, фонд сможет обеспечить реализацию недорогой программы сертификации корпоративных и коммерческих центров обработки данных.
Однако Switch, как любая частная компания, руководствуется прежде всего интересами собственного бизнеса. Поэтому еще неясно, как методология оценки ЦОД, предложенная в стандарте Tier 5, будет воспринята отраслью и захотят ли ее применять другие игроки рынка ЦОД.
Индикатор производительности
В ассоциации Green Grid разработали новый показатель, характеризующий состояние инфраструктуры охлаждения центров обработки данных, который получил название индикатор производительности (Performance Indicator, PI).
Он формируется на основе трех компонентов, позволяющих оценить, как охлаждается ИТ-оборудование в штатном режиме работы инженерной инфраструктуры, в процессе ее технического обслуживания, а также при возникновении сбоев и отказов.
PUEr (PUE ratio), относительная энергоэффективность, показывает, насколько расход электроэнергии в ЦОД соответствует целевому значению PUE.
Green Grid предложила использовать семь диапазонов?значений PUE: от A (1,15–1,00) до G (4,20–3,20). PUEr,?в свою очередь, вычисляется как отношение реального?и желаемого показателя PUE (к примеру, если PUE = 1,5,?а его целевое значение — верхняя граница сектора С,?то PUEr (C) = 1,35: 1,5 × 100% = 90%).
IT thermal conformance, тепловое соответствие ИТ, определяет измеренную в процентах долю ИТ-оборудования, работающего в температурных диапазонах, рекомендуемых американским обществом ASHRAE (American Society of Heating, Refrigerating and Air Conditioning Engineers).
IT thermal resilience, тепловая устойчивость ИТ, устанавливает процентную долю ИТ-оборудования, функционирующего в температурных режимах, рекомендованных ASHRAE, после отключения избыточных устройств охлаждения из-за их неисправности или планового технического обслуживания, то есть характеризует риски перегрева оборудования при изменении проектных конфигураций 2N или N+1.
Визуализация этих показателей, представленная на паутинообразной диаграмме Green Grid (см. рисунок), делает наглядной их взаимосвязь, позволяя оценить влияние изменений, с помощью которых оптимизируются тепловая производительность и энергоэффективность ЦОД.
.jpg "Паутинообразная диаграмма — инструмент учета нескольких метрик?для определения близости к намеченной цели") |
| Паутинообразная диаграмма — инструмент учета нескольких метрик?для определения близости к намеченной цели |
Для определения PI ассоциация Green Grid предложила четыре уровня измерений. Базовый, Level 1, предусматривает измерение температуры в стойках, а уровень Level 2 — более подробные измерения в каждом сервере.
Уровни Level 3 и Level 4 добавляют ко всему этому применение методов вычислительной аэродинамики и моделирования воздушных потоков, которое позволяет прогнозировать будущие состояния инфраструктуры и особенности ее поведения при внесении различных изменений.
Индикатор производительности, таким образом, предоставляет возможность оценить и спрогнозировать влияние предполагаемых изменений в инженерной инфраструктуре до их реального внедрения, помогает выбрать конфигурации, обеспечивающие наилучшую комбинацию параметров эффективности, устойчивости и соответствия температурным режимам.
Разработчики PI считают, что теперь владельцы и операторы центров обработки данных могут более осознанно подходить к выбору параметров инфраструктуры, оптимизируя эффективность охлаждения.
СТАНДАРТ КОНСОРЦИУМА GREEN GRID ASSOCIATION
В 2016 году ассоциация Green Grid Association предложила открытый стандарт готовности ЦОД (Open Standard for Data Center Availability, OSDA). Ассоциация представляет собой открытый отраслевой консорциум, основная цель которого — совершенствование ИТ-решений и повышение эффективности инженерной инфраструктуры центров обработки данных. Он объединяет конечных пользователей отрасли информационных и коммуникационных технологий, директивные органы, поставщиков технологических решений, проектировщиков ЦОД, а также предприятия, которые снабжают необходимыми ресурсами центры обработки данных.
В состав Green Grid входят более 60 организаций, включая такие известные компании, как Cisco, Schneider Electric, AMD, Dell, IBM, Intel, Interxion. Именно эта ассоциация предложила столь популярный сегодня показатель энергоэффективности ЦОД (Power Usage Effectiveness, PUE) и коэффициент эффективности инфраструктуры ЦОД (Data Center Infrastructure Efficiency, DCIE). Теперь одним из ее проектов стала разработка стандарта OSDA.
Как утверждают его разработчики, OSDA призван усовершенствовать методики определения доступности центров обработки данных, а также улучшить сравнительные оценки различных ЦОД таким же образом, как показатель PUE упростил сравнение их энергоэффективности.
Создаваемый стандарт является открытым, поскольку не выражает интересов какой-либо конкретной организации, поддерживается многочисленными членами Green Grid и будет служить документом, добровольно принятым участниками рынка ЦОД. OSDA, по мнению членов ассоциации Green Grid, должен стать таким же общеупотребительным — и при этом непроприетарным — отраслевым стандартом, как и стандарты The Uptime Institute и ANSI/TIA 942-A.
Регламентируемая им процедура классификации надежности инфраструктуры ЦОД тоже основана на четырех уровнях: базовом, базовом с резервированием, обеспечивающем работоспособность в процессе ремонтных и профилактических работ, полностью отказоустойчивом.
В то же время стандарт OSDA позволяет применять в центрах обработки данных несколько технологий и решений, которые в ранее выпущенных стандартах отсутствуют.
Он позволяет использовать в качестве основных источников электроснабжения ЦОД объекты альтернативной энергетики, в том числе солнечные батареи, ветроэлектрические установки, топливные элементы, приливные электростанции, а также допускает внедрение инновационных решений при проектировании подстанций, если они будут отвечать тем же требованиям, что и современные комплексы энергетики ЦОД.
Кроме того, для обеспечения резервирования ЦОД стандарт разрешает применять не только методы повышения отказоустойчивости комплексов энергоснабжения и охлаждения, но и функциональность сети распределенных центров данных. Именно так поступает, например, компания Google.
Наконец, разработчики OSDA предприняли попытку решить проблему «уровня+», предоставляя возможность уточненной классификации тех ЦОД, где применяемые решения для обеспечения доступности выходят за пределы конкретного Tier, но недостаточны для того, чтобы получить сертификацию следующего уровня. Иначе говоря, они пытаются устранить отсутствие гибкости в требованиях к сертификации The Uptime Institute, что вызывает сегодня наибольшую критику на рынке ЦОД.
Впрочем, в Uptime уже добавили к своим четырем уровням «металлические» сертификаты: золотой, серебряный и бронзовый,?— но они характеризуют в основном успешность операционной практики ЦОД.
В декабре 2016 года Green Grid опубликовала внутренний документ «WP#71 — Open Standard for Datacenter Availability», где изложены основополагающие принципы нового стандарта. Бесплатно он доступен только членам Ассоциации, прочие участники рынка могут получить его на коммерческой основе. Тем не менее WP#71 — первый этап на пути признания нового стандарта, полагают в Green Grid.
Green Grid — добровольная организация, поэтому, как считают эксперты, внедрение OSDA, необходимое для предоставления реальных услуг сертификации на основе этого стандарта, может потребовать довольно длительного времени.
Алексей Чернобровцев, обозреватель «ComputerWorld Россия»