По данным, которые привел Гай Рэддок, вице-президент компании Colt, в Европе средняя стоимость построения ЦОД площадью 10 тыс. м2 традиционным способом составляет 95 млн долларов, а время выполнения такого проекта — около 27 месяцев. Модульный подход (см. далее) позволяет построить ЦОД площадью 10 тыс. м2 всего за шесть месяцев, затратив при этом 35 млн долларов, то есть почти в три раза меньше (см. Таблицу 1). При этом в два раза (с 10 до 5 млн долларов) сокращаются расходы на возведение здания, поскольку для установки модулей не требуется каких-то специальных условий, а потому подойдет и недорогое помещение ангарного типа. Если при традиционном подходе к возведению такого ЦОД г-н Рэддок оценивает расходы на покупку, доставку, размещение и проверку оборудования в 75 млн долларов, то при использовании модулей — всего в 15 млн долларов (поскольку объект сооружается из готовых модулей, процесс покупки отдельных элементов и стыковки их между собой исключается).

 

Таблица 1. Стоимость построения ЦОД традиционным способом и с использованием модульных решений.

 

Все эти оценки привязаны к технологии, предлагаемой самой Colt. Компания предлагает строить ЦОД из модулей размером со стандартный контейнер (для удобства транспортировки). Такие ?кубики? изготавливаются, оснащаются и тестируются на заводе, потом перевозятся на место строительства, и из них уже собирается ЦОД типовой площадью 500 м2 (имеются варианты и для ЦОД меньшей площади: 125, 250, 375 м2). Боковые стены у большинства модулей отсутствуют (чтобы получился единый дата-холл), а сами модули устанавливаются в два ?этажа?.

Помимо более высокой стоимости, существенным недостатком традиционного подхода Гай Рэддок считает то, что за названные 27 месяцев технологии в своем развитии уходят далеко вперед и появляются более эффективные технические решения. Поэтому на момент ввода объекта в эксплуатацию все приходят в выводу: будь возможность начать все заново, лучше было бы выбрать другие решения.

Косвенно это подтверждает опыт компании ?Крок?. В своем новом ЦОД на 2 МВт (110 стоек), введенном в эксплуатацию в июне 2011 года, компания установила динамические ИБП, причем осталась очень довольна этим решением: сэкономлено место, для ИБП не потребовалась дорогостоящая система кондиционирования (поскольку нет традиционных аккумуляторов), ожидаемые операционные расходы существенно ниже. Однако в еще одном новом ЦОД (на 8 МВт и 800 стоек), который вводится в эксплуатацию в ноябре, использованы традиционные статические ИБП. Как поясняет Руслан Заединов, заместитель генерального директора ?Крок?, это связано с тем, что ЦОД на 8 МВт проектировался раньше, а потому в нем и не были предусмотрены динамические ИБП.

Тема динамических ИБП набирает обороты, о чем свидетельствует активность поставщиков этого оборудования на конференции DatacenterDynamics. Преимущества и недостатки этих решений уже подробно обсуждались на страницах журнала (см. статью автора ?Старые новые динамические ИБП? в февральском номере «Журнала сетевых решений/LAN» за 2011 год), а потому не будем повторяться и вернемся к нашим модулям.

ИСЛАНДИЯ — ПАРАДИЗ ДЛЯ ЦОД?

Недавно Colt выполнила необычный проект по развертыванию ЦОД в Исландии для компании Verne Global. Его уникальность заключается прежде всего в том, что поддержание необходимого для оборудования температурного режима осуществляется исключительно за счет естественного охлаждения — никакие компрессорные системы кондиционирования не используются. Это стало возможным благодаря климатическим особенностям Исландии, где среднегодовая температура составляет +3–5°C, и даже в июле воздух редко прогревается выше +20°C.

ЦОД был построен в рекордно короткие сроки — от момента подписания контракта до сдачи объекта прошло 105 дней. Как рассказывает Гай Рэддок, первые две недели ушли на разработку проекта и его адаптацию к специфическим требованиям заказчика. Затем в течение семи недель модули изготавливались и тестировались на заводе, расположенном на севере Англии. Далее они были перевезены на место установки (вблизи города Кефлавик на юго-западе Исландии) и собраны. Важнейшим этапом подобных проектов является тестирование ЦОД при полной нагрузке. За неделю специалисты Colt проверили собранный ЦОД, сымитировав различные варианты сбоев и аварий.

 

Рисунок 1. Дешевая электроэнергия — главное преимущество Исландии для ЦОДостроения (на фото геотермальная электростанция
в Тингвеллире).

Компания Verne Global, которая специализируется на предоставлении в аренду стойко-мест (Сo-location), активно пропагандирует размещение ЦОД именно в Исландии. Помимо уже названных климатических особенностей, эта островная страна имеет еще одно преимущество: едва ли не самые низкие цены на электроэнергию — всего несколько евроцентов за 1 кВт. Во многом это достигается благодаря активному использованию геотермальных станций (см. Рисунок 1), работающих за счет тепловой энергии, содержащейся в недрах земли (гейзеры). В Исландии геотермальные электростанции производят 25% всей электроэнергии, остальное обеспечивает гидроэнергетика. В целом все 100% генерирующих мощностей этой страны базируются на возобновляемых источниках энергии. Себестоимость электричества столь низка, что Исландия планирует проложить по дну моря электрический кабель для транспортировки электроэнергии в страны Европы.

Важным преимуществом размещения ЦОД в Исландии в компании Verne Global считают и то, что этот остров располагается между двумя крупнейшими мировыми центрами — Лондоном и Нью-Йорком, где находятся многие клиенты компании. Это делает его отличным местом для резервирования ИТ-систем, размещенных в США и Европе. С каналами связи проблем нет: канал Greenland Connect до США имеет пропускную способность 1,9 Тбит/с и задержку 41 мс, а канал Farice-1 до Великобритании — 720 Гбит/с и 20 мс соответственно. Кроме того, новая кабельная система Danice, обеспечивающая связь с Данией и Голландией, способна передавать до 5,1 Тбит/с.

Пытливый читатель наверняка спросит: ?А как там с сейсмической активностью, пресловутым вулканом Эйяфьятлайокудль и транспортной доступностью?? По утверждению Гая Рэддока, ЦОД находится в той части Исландии, в которой не бывает землетрясений, а двойная система фильтров полностью исключает вероятность попадания вулканического пепла в серверный зал. Регулярное авиасообщение позволяет добраться до Исландии из большинства городов Европы за три часа, а с восточного побережья США — за пять часов.

А ЧТО РОССИЯ?

Пример Verne Global наглядно показывает ключевые критерии, которые используют ведущие западные компании при выборе места размещения ЦОД, а именно:

  • наличие недорогих энергетических ресурсов;
  • климат, способствующий максимальному использованию естественного охлаждения;
  • высокоскоростные каналы связи по разным направлениям;
  • хорошая транспортная доступность.

 

Таблица 2. Степень риска при размещении ЦОД в различных странах (Data Centre Risk Index 2011).

В России большинство ЦОД сконцентрированы в Москве и Московской области, а также в Санкт-Петербурге. В этих регионах хорошо выполняется третье условие, иногда четвертое — если закрыть глаза на пробки, которые зачастую делают ?путешествие? из одного конца Москвы в другой более продолжительным, чем перелет из Европы в Исландию. При этом с доступностью энергоресурсов возникают серьезные проблемы. А резкие колебания температуры — вспомним аномально жаркое лето 2010 года — не позволяют полагаться только на естественное охлаждение и требуют развертывания дорогостоящих систем охлаждения. Эксперты, которые призывают строить ЦОД в наших северных регионах, по-видимому, забывают о слабой развитости там канальной инфраструктуры. А ведь с переводом информационных и коммуникационных ресурсов в ЦОД требования к пропускной способности каналов связи стремительно возрастают.

Компании Cushman & Wakefield и Hurleypalmerflatt недавно опубликовали исследование рисков размещения ЦОД в разных странах мира. При этом учитывались не только обсуждаемые выше критерии, но и политическая стабильность в стране, уровень налогов и стоимость рабочей силы, инфляция, доступность водных ресурсов, подверженность стихийным бедствиям и пр. Результаты этого масштабного исследования сведены в таблицу с соответствующими индексами (см. Таблицу 2) — чем выше индекс, тем благоприятнее условия для строительства ЦОД.

Наилучшим местом для ЦОДостроения оказались США с их низкой стоимостью электричества и благоприятной средой для бизнеса. Следом идут Канада и Германия. Россия заняла довольно высокое 15-е место, опередив такие страны группы BRIC, как Китай и Индия, в которых, как посчитали эксперты, существуют серьезные барьеры для иностранных инвестиций. Четвертая страна группы BRIC, Бразилия, оказалась в рейтинге немного выше России, став наилучшим местом для ЦОД в Южной Америке. Комментируя пятое место Великобритании, составители рейтинга указали на высокие налоги, дороговизну электричества и квалифицированной рабочей силы.

ПОСЛАБЛЕНИЕ ТРЕБОВАНИЙ

Говоря об энергоэффективности ЦОД, технический директор Hurleypalmerflatt Робер Торогуд рекомендует учитывать не только место размещения объекта и характеристики систем охлаждения, но и специфику самого ИТ-оборудования. Если это оборудование подходит для работы в температурно-влажностном режиме в соответствии с последними рекомендациями Американской ассоциации инженеров в области отопления, холодоснабжения и кондиционирования (ASHRAE 2011) или Европейского института телекоммуникационных стандартов (ETSI 2009), то обеспечить более низкий коэффициент PUE гораздо проще, чем для оборудования, которое было разработано с учетом рекомендаций ASHRAE 2004 года.

Напомню, что в первой редакции своих рекомендаций (Thermal Guidelines for Data Processing Environments), опубликованной в 2004 году, ASHRAE установила температурный предел в +25°С, во второй (2008 год) увеличила его до +27°С, значительно расширив и допустимый диапазон влажности. В последних рекомендациях 2011 года появились два новых класса оборудования для ЦОД — А3 и А4, которые отсутствовали ранее. Допустимый температурный диапазон для такого оборудования увеличен до +40 и +45°С соответственно (см. Таблицу 3).

 

Таблица 3. Характеристики рабочей среды для оборудования разных классов (А1-А4 относится к оборудованию ЦОД) в соответствии с рекомендациями ASHRAE 2011 года.

 

Что касается рекомендаций ETS I2009 года, то для оборудования класса 3.1 (то есть устанавливаемого в помещении с контролируемой температурой) нормальными считаются температура от +5 до +40°С, а влажность — от 5 до 85%, при этом допускаются расширение указанных диапазонов и эксплуатация оборудования при температуре от -5 до +45°С и влажности от 5 до 90%.

Если рассмотреть типичное оборудование, устанавливаемое сегодня в ЦОД, то оно является достаточно жароустойчивым: например, современные модели блейд-серверов без проблем выдерживают температуру до +35°С, а сетевое оборудование (коммутаторы) — и еще более высокую (см. Таблицу 4).

 

Таблица 4. Эксплуатационные параметры некоторых моделей оборудования, устанавливаемого в ЦОД.

 

Применение оборудования более высокого класса, например А3 или А4 вместо А2, позволяет значительно увеличить время, когда можно воспользоваться естественным охлаждением (см. Рисунок 2). И это следует обязательно учитывать при выборе ИТ-оборудования для нового ЦОД. Как видно из Рисунка 2, установка ИТ-оборудования класса А4 даст возможность полностью перейти на режим естественного охлаждения во многих городах мира — не только в Исландии.

 

Рисунок 2. Время работы чиллера в системах с функцией естественного охлаждения (драйкулер) для разных городов мира.

 

Ведущие ИТ-компании активно включились в работу по созданию ?высокотемпературных? решений, внедрение которых позволяет минимизировать использование традиционных кондиционеров и чиллеров или исключить потребность в них вовсе. Например, компания Dell в рамках проекта Chillerless Fresh Air сформировала и протестировала такое решение, состоящее из серверов, систем хранения, сетевого и электропитающего оборудования. Его можно эксплуатировать при температурах от +5 до +45°С и влажности от 5 до 90% — таким образом, оно полностью соответствует требованиям класса А4.

МОДУЛЬНЫЙ ПОДХОД — ХОРОШАЯ СТРАХОВКА

Выступая на конференции DatacenterDynamics, Ихаб Али, руководитель подразделения Dell по вертикальным решениям, еще раз обратил внимание на растущий интерес заказчиков к модульным решениям. Подход Dell схож с описанным выше подходом Colt: из модулей в форм-факторе контейнеров могут собираться различные по размеру ЦОД. На реализацию подобных проектов уходит около пяти месяцев, при этом Dell, что вполне логично, предпочитает комплектовать свои модульные ЦОД сразу серверами и системами хранения, тогда как Colt ограничивается только инженерными системами, оставляя установку ИТ-оборудования на усмотрение заказчика. Представитель Dell отметил и спрос на мини-ЦОД, рассчитанные на установку всего нескольких стоек с оборудованием.

Томас Зиммерман, директор по продажам департамента Workplace & Data Center Services компании IBM, называет модульный подход — ?наилучшей страховкой на будущее?. При этом он полагает, что не существует единого универсального модульного решения. IBM, специалисты которой реализовали более 500 проектов по созданию модульных ЦОД за последние три года, разработала четыре основных варианта:

  • Масштабируемый модульный ЦОД (Scalable Modular Data Center) предназначен для установки в уже имеющихся помещениях. Этот ЦОД под ключ площадью 50–250 м2 развертывается за 10–14 недель.
  • Модульный ЦОД масштаба предприятия (Enterprise Modular Data Center) формируется из четырех зон площадью 500 м2 каждая. По данным IBM, на строительство EMDC, состоящего из быстровозводимых конструкций, потребуется в среднем на 25% меньше времени, чем на возведение объекта по традиционной технологии.
  • Передвижной модульный ЦОД (Portable Modular Data Center) состоит из традиционных контейнеров, которые могут объединяться для создания объекта большей площади.
  • Решения по построению инфраструктуры высокой плотности (High Density Zone) позволяют формировать зону с более плотным размещением оборудования, не прерывая работу существующего ЦОД.

Использование модульных ЦОД, по мнению экспертов IBM, — один из ключевых способов сократить стоимость и повысить эффективность ИТ-систем. Другой способ — продлить жизнь существующих ЦОД. В этой связи очень поучителен пример модернизации собственного ЦОД компании IBM в городе Лексингтон. Как рассказывает Томас Зиммерман, когда возникла задача расширения этого ЦОД, выяснилось, что ресурсы средств охлаждения уже исчерпаны. Как вариант рассматривалось строительство рядом нового ЦОД, но высокая стоимость проекта (около 50 млн долларов) заставила более тщательно проанализировать состояние имеющегося. Оказалось, что многие серверы недогружены — их загрузка находилась на уровне 5–10%. Убрав 85% (!) серверов и распределив нагрузку по виртуальным машинам, организованным на остальных, компания не только на 15–20% сократила энергопотребление, но и освободила площади для установки нового оборудования.

За последние годы IBM серьезно реструктуризировала свои собственные ИТ-системы: с 1997 по 2007 год число ЦОД было сокращено с 225 до 12, число приложений — с 15 000 до 4700, а от 31 разрозненной сети компания перешла к одной-единственной сетевой инфраструктуре. В настоящий момент рационализация продолжается, и к концу 2011 года, как сообщил Томас Зиммерман, число приложений уменьшится до 2300, то есть их будет в 6,5 раза меньше, чем 15 лет назад. В целом трансформация ЦОД позволила IBM сэкономить 4,1 млрд долларов.

Эксперты IBM проанализировали расходы на центры обработки данных при различных сценариях их развития. Если компания собирается продолжать эксплуатацию имеющихся ЦОД, ничего кардинально не меняя, то расходы будут увеличиваться в среднем на 6% в год (см. Рисунок 3). Модернизация ЦОД с использованием современных технических средств потребует немалых капитальных затрат, но позволит уже на следующий год добиться существенной экономии. Консолидация ресурсов по мере закрытия имеющихся ЦОД обеспечит наиболее плавную кривую изменения затрат, но и выгода будет совсем незначительной. Наконец, перевод всех ресурсов в новый ЦОД потребует высоких капитальных затрат, но в последующие годы даст и максимальное снижение расходов.

 

Рисунок 3. Суммарные расходы при различных сценариях
развития ЦОД.

 

Рассмотренные в статье вопросы выбора оптимального места размещения ЦОД и использования модульных решений связаны между собой. Наилучшее место с точки зрения доступности энергетических ресурсов и климатических условий далеко не всегда является самым удобным для ?большой стройки?. В случае модульных решений стоимость и сложность строительных работ могут быть существенно снижены. Так что модули ЦОД рано или поздно ?выйдут? за пределы МКАД и ?пойдут на север? или в другое место, где им будут обеспечены наилучшие условия.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.