Эффективность — это связь между достигнутым результатом и использованными ресурсами.
ISO 9000


Такие цели преследует будущий владелец коммерческого ЦОД (КЦОД), затевая столь масштабный и сложный проект? Какие задачи он планирует решить в ближайшее время и на что рассчитывает в долгосрочной перспективе? Как правило, во-первых, речь идет о создании и продвижении устойчивого бренда с отличной репутацией, а во-вторых, — о максимальном сокращении срока окупаемости проекта. В процессе реализации проекта возникает еще одна задача — удержание затрат в пределах изначальной сметы.

Все эти цели действительно важны, но сначала придется решить две другие задачи: определить целевую аудиторию и найти «якорного» заказчика, причем в зависимости от того, насколько последний заинтересован в проекте, первое иногда следует из второго. Для будущего владельца КЦОД крайне важно правильно расставить приоритеты, так как срок окупаемости проекта составляет не менее пяти лет, и быстрых денег сделать не получится. Поэтому, имея предварительные договоренности с одним или несколькими покупателями сервисов будущего КЦОД, владелец и инвестор обеспечат себе тем самым как можно более ранний возврат затраченных средств.

Ситуация на рынке коммерческих центров обработки данных такова, что, не имея четкого представления о своих потенциальных заказчиках (кто из них будет первым, вторым, третьим и т. д.), будущий владелец рискует получить прибыль очень и очень не скоро. Выбор целевой аудитории оказывает непосредственное влияние на формирование требований к предлагаемым сервисам, конструктивным характеристикам объекта, включая его расположение, и применяемым технологиям. В свою очередь, такой подход позволяет значительно сократить затраты на этапе проектирования, а также на исправление ошибок в будущем.

ОТ ВЫБОРА КЛИЕНТА ДО ПОСТАНОВКИ ТРЕБОВАНИЙ

Каким общим требованиям должен отвечать будущий КЦОД? Все зависит от того, какие клиенты намерены воспользоваться его ресурсами. В настоящий момент можно выделить пять основных потребителей услуг КЦОД.

Самую массовую группу составляют небольшие интернет-проекты: разнообразные, не доросшие до мегауровня, проекты в Интернете, корпоративные сайты компаний малого и среднего бизнеса, мелкие интернет-магазины, социальные сайты, поставщики услуги хостинга и т. д. Основное их требование — минимальная цена, при этом они готовы мириться с отсутствием внятных гарантий безостановочности бизнеса. Обычно такие арендаторы приобретают либо единичный сервер, либо место под один-два сервера и стремятся минимизировать стоимость трафика.

Вторую группу потребителей КЦОД составляют заказчики с «раскрученными» порталами. Это крупные интернет-проекты: известные поисковые системы, масштабные социальные сети, информационные сайты и т. д. Они арендуют одну стойку или сразу несколько, а иногда устанавливают свои. Дополнительным привлекательным фактором для них могут служить выплата неустойки, страховка, мониторинг и другие сервисы, контроль доступа и т. д. Важным условием является наличие нескольких недорогих каналов доступа (лучше от трех независимых провайдеров).

В отличие от первой аудитории, эти компании дорожат своей репутацией и, хотя еще не решились построить собственный ЦОД, не будут довольствоваться первым попавшимся: им необходим высокий уровень отказоустойчивости при минимуме минут простоя в год. На примере Google можно ожидать, что в будущем им понадобится услуга «виртуальный сервер». Однако этот рынок может сократиться, так как некоторые из этих компаний сейчас занимаются развертыванием собственных ЦОД.

Компании малого или среднего бизнеса, решившие разместить свою инфраструктуру ИТ на стороне, составляют группу «мелкие коммерсанты». Для них вопрос отказоустойчивости, несомненно, важен, правда требование в отношении ограничения времени простоя в течение года может быть не столь категоричным, как у второй группы, но все же выше, чем у первой. Стоимость трафика тоже не так существенна, как для двух предыдущих групп. Обычно им необходим непосредственный доступ для обслуживания и контроля размещенного оборудования, что предполагает расположение площадки поблизости от метро либо наличие оперативной группы реагирования.

Крупные компании с развитой ИТ-инфраструктурой составляют следующую группу — «крупные коммерсанты». К ней относятся финансовые организации, торговые сети и т. д. Среди таких заказчиков высоко востребованы услуги контроля доступа, управления и мониторинга вплоть до полного видеоконтроля зоны ЦОД, где установлено принадлежащее им оборудование. Несомненным плюсом будет возможность разместить технику в отдельном помещении с независимой инженерной системой питания и кондиционирования и специальным ограждением.

Процесс остановки, запуска или перезагрузки мощного оборудования заказчика может занимать много времени. Поэтому для этой группы продолжительность работы от батарей более критична. Часто для такого оборудования требуется нестандартная архитектура охлаждения, а инфраструктура распределяется между несколькими площадками, включая собственную. Для них наиболее важны факторы гарантированной отказоустойчивости и высокой пропускной способности каналов, причем они должны предоставляться известными провайдерами и обеспечивать доступ ко всем площадкам. Именно такой заказчик обратит внимание на наличие сертификата UpTime Institute.

Постепенно начинает формироваться спрос со стороны государственных и бюджетных организаций. Пока их доля очень мала, однако трудно найти причину, почему в ближайшие два-три года они не будут проявлять большей активности. Такие учреждения нуждаются, прежде всего, в обеспечении отказоустойчивости, контроле доступа и защите информации, причем решение должно быть недорогим.

Кроме перечисленных выше категорий заказчиков существует внутренний рынок оптовой перепродажи ресурсов операторами КЦОД друг другу. Такая ситуация обусловлена отсутствием достаточного количества площадок, что, в свою очередь, является следствием заморозки инвестиций в результате кризиса. Однако этот рынок не оказывает определяющего влияния на спрос на услуги КЦОД в целом.

Надо отметить, что приведенная классификация рынка потребителей услуг КЦОД и тенденции его развития характерны, в основном, для Москвы и Санкт-Петербурга. За их пределами структура рынка прослеживается уже не столь четко, да и предложений услуг КЦОД на порядок меньше. Тенденции изменения структуры спроса представлены в Таблице 1. Исходя из прогноза запуска в ближайшем году новых проектов, к концу 2011 года произойдет удвоение российского рынка КЦОД.

Для каждого заказчика необходимо обеспечить определенную совокупность технических характеристик площадки, предлагаемых услуг, гарантий, стандартов, сертификатов, местоположения, пула провайдеров и т. д., а также приемлемый уровень цен. Однако вряд ли найдется хотя бы один владелец, который решится строить свой ЦОД только для одной группы заказчиков, даже если это позволит удешевить внедрение. Вместе
с тем попытка «удовлетворить всех» приведет к тому, что окупаемость проекта окажется под вопросом.

Чтобы не оказаться в этой ситуации, надо из описанных выше групп выбрать две-три целевые и максимально подробно расписать требования потребителей сервисов будущего КЦОД. Это могут быть следующие статьи: приемлемый уровень цен, степень отказоустойчивости, типичный запрос места в зале (юнит, стойка, несколько стоек и т. д.), допустимая мощность на стойку, фиксированная или сдельная оплата электроэнергии, необходимость в виртуализации, наличие услуги резервного копирования, время работы от батарей, требования к трафику, физическая и информационная защита, дополнительное оборудование, дальность от метро и т. д.

Затем каждое требование потенциального заказчика надо перевести в требование к инженерной инфраструктуре ЦОД, с помощью которой можно предоставить нужные услуги. К их числу относятся: глубина и гибкость средств мониторинга, размещение и физический доступ к оборудованию, тип системы кондиционирования и способ распределения воздуха, класс и подключение ИБП, возможность проведения профилактических работ без остановки оборудования, количество служебных помещений и офисов, сдаваемых в аренду, количество, пропускная способность и известность провайдера оптических каналов, наличие дополнительных сервисов. На основании этих параметров можно определить, на какой класс отказоустойчивости следует ориентироваться при проектировании и построении центра обработки данных; оценить целесообразность его сертификация, и т. д.

Скорее всего, в результате удастся выделить один – три набора одинаковых требований к инфраструктуре ЦОД. После чего внутри одного объекта следует реализовать две или даже три разные — с технологической точки зрения — инженерные зоны, отвечающие этим требованиям. От того, насколько точно удастся совместить и структурировать общие для разных типов заказчиков требования, зависит срок возврата инвестиций. А сценарий развития и технические характеристики каждой зоны могут значительно отличаться.

Зона ЦОД определяется набором требований. Физически каждая зона может состоять из одного или нескольких серверных залов. При этом существует внешняя общая часть инфраструктуры, предоставляющая одинаковые ресурсы для всех зон: трансформаторная подстанция, система видеоконтроля, система подготовки холодной воды, система диспетчеризации, вентиляция, аварийное освещение и т. д.

ФАКТОРЫ, ВЛИЯЮЩИЕ НА СРОК ОКУПАЕМОСТИ

Прежде чем начать действовать, любой менеджер составляет бизнес-план, где пытается оценить, когда и каким образом он вернет затраченные средства и начнет зарабатывать. Одним из показателей эффективности инвестирования является срок возврата вложений. По этому показателю современный коммерческий ЦОД оказывается далеко не лучшим объектом бизнеса. Даже при тщательном планировании и идеальной концепции владелец начнет получать отдачу только через пять лет — и то при наличии везения. Думаю, для неискушенного инвестора найдутся объекты поинтереснее.

О несомненном «везении» можно говорить, если к моменту старта проекта 30% площадей будущего КЦОД будут уже проданы, а на вторую треть заключены предварительные договоренности. Определив модель бизнеса, концепцию ЦОД, сценарий развития и др., — все то, о чем говорилось выше, — можно просчитать финансовую часть проекта. Возможно, после проведения анализа, будущему владельцу КЦОД придется пересмотреть основные параметры, причем, что вполне вероятно, не раз.

Какие параметры должна учитывать финансовая модель? Как они влияют на окупаемость? Далее перечислены некоторые основные данные, необходимые для начальной оценки инвестиционной привлекательности проекта. В общем случае существуют два типа исходных данных: внешние и внутренние.

Внешние данные — это внешние факторы, повлиять на которые владелец будущего КЦОД может далеко не всегда. Определившись с одним из требований как основным, например, расположением будущего центра, часто приходится сталкиваться с тем, что удовлетворить другие очень сложно — скажем, стоимость получения технических условий оказывается слишком высокой. К основным факторам относятся следующие:

  • необходимость аренды или выкупа помещения, если оно не находится в собственности будущего владельца КЦОД. В результате период возврата инвестиций увеличивается на полгода;
  • средства могут быть собственными или привлеченными. В зависимости от условий кредитования, во втором варианте к сроку окупаемости нужно добавить от года до двух;
  • дополнительные расходы (получение ТУ, выкуп площадей или строительство, подключение коммуникаций и т. д.).

Например, получение технических условий (ТУ) на подключение электроэнергии — «дело» очень тонкое, и во многом зависит от того, где строится будущий КЦОД. В пределах Третьего транспортного кольца в Москве получение ТУ обойдется не менее чем в 100 тыс. рублей за 1 кВт, а сразу за МКАД — потребуется уже не более 40 тыс. рублей за 1 кВт. Данные приведены только для демонстрации разницы, реальные цифры могут несколько отличаться. В зависимости от затрат на ТУ срок окупаемости может увеличиться еще на год.

Стоимость электроэнергии зависит от того, к какому напряжению осуществляется подключение: как правило, чем оно выше, тем ниже тарифы. Степень влияния цены на использование электроэнергии можно понять из таких цифр: в Москве стоимость электроэнергии для граждан составляет 3,4 руб за 1 кВт. При таком тарифе ЦОД на энергообеспечение объекта мощностью 2 МВт за год придется потратить 1 млн 920 тыс. долларов. Разница от снижения стоимости хотя бы на 25% окажется весьма ощутимой.

Иногда одна из перечисленных статей расходов может отсутствовать в бизнес-плане: помещение, например, находится в собственности — и его не придется выкупать, или средства для инвестирования имеются — и кредит брать не надо. Если же удача не улыбнулась, то каждое из упомянутых условий добавит к сроку возврата инвестиций, как уже отмечалось, от полугода до года.

Внутренние статьи расходов инвестиционной модели будущего КЦОД зависят от того, какую модель бизнеса и концепцию выбрал владелец или менеджер проекта. Но даже внутри одной концепции некоторые параметры можно менять. Вот основные:

  • отказоустойчивость,
  • энергоэффективность,
  • стационарная часть инфраструктуры,
  • средняя мощность стойки.

Одной из основных характеристик является отказоустойчивость по классу UpTime Institute TIER 1–4. Как уже говорилось, внутри одного ЦОД можно создавать зоны с разным уровнем отказоустойчивости. Выбор класса отказоустойчивости оказывает значительное влияние на размер инвестиций. Старая редакция UpTime Institute определяет следующую стоимость реализации квадратного метра машинного зала ЦОД (для американского рынка): TIER 1 — 4800 долларов, TIER 2 — 6500, TIER 3 — 9700, TIER 4 — от 12000 долларов. Для России эти цифры можно смело увеличивать в полтора-два раза. Вывод очевиден: с указанным параметром владельцу ЦОД надо определиться прежде всего.

Для оценки энергоэффективности центра данных наиболее часто применяют параметр Power Usage Effectiveness (PUE), который измеряется как отношение общего энергопотребления объекта к энергопотреблению нагрузки. Для большинства работающих в России ЦОД его значение равно 2 или более, в мире оно зачастую составляет меньше 1,5, а заявленный (но не проверенный) рекорд принадлежит Google — 1,13 на отдельно взятом ЦОД. Для приведенного выше примера объекта (2МВт общего потребления и 1 млн 920 тыс. долларов затрат на электроэнергию в год) снижение PUE с 2 до 1,5 будет означать уменьшение расходов на электроэнергию на 480 тыс. долларов. За 10 лет эксплуатации сумма экономии составит почти 5 млн долларов.

Доля инфраструктуры, которая внедряется изначально и не развивается с вводом новых этапов, слабо влияет на общий объем инвестиций. Данная величина может варьироваться в зависимости от того, будет ли, например, каждая субзона ЦОД (зона, рассчитанная под определенную целевую аудиторию — см. выше) иметь собственный расширяемый вместе с ней ИБП, или такое оборудование изначально вносится в проект как часть базовой инфраструктуры. Однако, если деньги заемные, в субзоны выгоднее вынести большее количество оборудования, то есть снизить долю неразвивающейся инфраструктуры.

Средняя мощность стойки в каждой субзоне впрямую влияет на уровень энергопотребления объекта и косвенно — на площадь, занимаемую обеспечивающей ее работу инженерной инфраструктурой. А площадь тоже стоит денег. Чем выше мощность, тем больше площадь инженерной инфраструктуры. Именно поэтому в последней редакции классификации UpTime Institute в качестве параметра, для которого рассчитывается стоимость, фигурируют уже не квадратные метры, а киловатты: TIER 1 — 11500 долларов за киловатт, TIER 2 — 12500, TIER 3 — 23000, TIER 4 — 25000 (в классификации присутствует еще и стоимость квадратного метра фальшпола — 2880 долларов/м2). Как отмечается, для инженерной инфраструктуры, обеспечивающей работу стойки на 3 кВт TIER 4, потребуется выделить столько же метров, сколько площади фальшпола занимает стойка. Однако для стойки на 9 кВт соотношение площадей инфраструктуры и фальшпола достигнет 3 к 1.

Цена продажи стойки в действующем ЦОД является единственной доходной частью финансового плана. Ее величина во многом зависит от выбранной целевой аудитории, конкуренции на рынке и особенностей конкретного КЦОД.

Для расчета инвестиционного плана объекта необходимо знать множество параметров. Ряд из них условно независимы от выбранной концепции ЦОД, другие же являются ее прямым результатом. Вполне возможно, что уже после первого расчета окупаемости, концепцию придется пересмотреть. Если финансовый анализ будет принят инвестором, то все положения концепции пригодятся для дальнейшей разработки ТЗ и эскизного проекта, проектирования и т. д.

ВЛИЯНИЕ ОТКАЗОУСТОЙЧИВОСТИ НА ЭФФЕКТИВНОСТЬ ИНВЕСТИРОВАНИЯ.

Отказоустойчивость и эффективность ЦОД — взаимосвязанные параметры. С одной стороны, чем выше отказоустойчивость, тем ниже энергоэффективность (из-за дублирования), с другой — чем выше отказоустойчивость, тем ниже затраты на сбои и обслуживание. Далее приводится ряд тезисов о преимуществах инвестирования в более отказоустойчивый КЦОД.

Как уже говорилось, чем большей отказоустойчивостью обладает центр, тем выше его конкурентоспособность среди определенных групп заказчиков, прежде всего мелких и крупных коммерсантов, а возможно, и госструктур, так как таким организациям необходимы гарантированное снижение риска сбоев по вине инфраструктуры и высокая устойчивость к внешним факторам. В результате места в стойках можно продавать дороже, добавляя к ним различные дополнительные сервисы и оборудование. Из Таблицы 1 видно, что именно для этой части рынка КЦОД прогнозируется активное развитие, а значит, все более востребованными будут центры обработки данных класса TIER 3 и даже — через год-два — TIER 4!

Более высокая отказоустойчивость ЦОД позволит его владельцу внедрять новые, пока еще не слишком распространенные в России, сервисы, например, предоставление заказчикам услуги катастрофоустойчивых виртуальных ресурсов. В этом случае уже владелец КЦОД будет предъявлять к своей инфраструктуре самые высокие требования.

Немало клиентов требуют 100-процентной гарантии от остановок и, в связи с отсутствием в настоящее время коммерческих центров обработки данных класса TIER 4, строят собственные ЦОД. Однако, если КЦОД уже имеет класс отказоустойчивости TIER 3, то, вложив сравнительно небольшие средства, часть его инфраструктуры или центр обработки данных целиком можно перестроить для поднятия его уровня, и тем самым привлечь самых требовательных клиентов. Такая возможность существует благодаря тому, что в TIER 3 все пассивные элементы схемы уже продублированы, и остается лишь продублировать активные. Конечно, достичь полного соответствия требованиям максимального уровня TIER 4 вряд ли удастся из-за его архитектурных требований к размещению инфраструктуры.

Стоимость сервисного контракта на обслуживание инженерной инфраструктуры, при прочих равных условиях, всегда окажется для владельца КЦОД тем ниже, чем выше уровень ее отказоустойчивости. Это связано со снижением требований к SLA. Например, для системы ИБП, построенной по схеме 2N, не надо предусматривать максимально короткого периода ее восстановления. В случае выхода из строя одного источника ИТ-нагрузка будет обеспечена бесперебойным питанием от второго. При этом ремонт первого можно выполнять без особой спешки. Таким образом, срок восстановления, зафиксированный в сервисном контракте, можно изме-нить — с нескольких часов до нескольких дней, что, естественно, удешевит услугу. Этим принципом можно руководствоваться при рассмотрении всех систем ЦОД.

Кроме того, для TIER 3 и TIER 4 нет необходимости отключать нагрузку с целью проведения профилактических работ. Это значит, что ИТ-оборудование заказчиков не будет простаивать, а обслуживающему персоналу не придется платить двойную ставку за работу в праздничные дни или ночью. Наконец, если вдруг владелец КЦОД захочет его продать, то стоимость сделки будет зависеть от того, насколько высок уровень отказоустойчивости.

Как правило, проектирование отказоустойчивых систем выполняется с большей тщательностью. Например, в типичном ЦОД уровня TIER 2, скорее всего, кондиционирование будет осуществляться путем подачи холодного воздуха из-под фальшпола, где прокладываются, кроме прочего, силовые и информационные кабели. Никакого специального проектирования архитектуры кондиционирования обычно не делается. При подготовке проекта TIER 3 — а это, как правило, более высокая плотность нагрузки — будет просчитано распределение воздушных потоков, применено более мощное и дорогое современное оборудование кондиционирования и бесперебойного питания и использована усовершенствованная система диспетчеризации. Такой ЦОД стареет, а значит и дешевеет, медленнее.

Кроме того, исходя из тенденций развития ИТ-оборудования, можно с уверенностью сказать, что через четыре-пять лет большинство современных TIER 2 с 3–4 кВт на стойку окажутся невостребованными.

ИТОГ

Мы рассмотрели наиболее важные аспекты выбора правильной, с точки зрения эффективности, концепции КЦОД. Они затрагивают вопросы, которые решаются обычно ИТ-директором компании и ее владельцем.

В следующей части статьи будут описаны правила, соблюдение которых — полное или хотя бы частичное — позволит получить уверенность в том, что разработанная концепция окажется максимально эффективной. Мы расскажем о технологиях и особенностях архитектуры ЦОД, применяемых при внедрении и обеспечивающих снижение стоимости владения центром обработки данных, что благотворно влияет на отношения с инвестором.

Олег Михнев — эксперт по эффективности ЦОД. С ним можно связаться по адресу: omikhnev@gmail.com.

Таблица 1. Структура спроса услуг КЦОД по группам заказчиков в процентном выражении.