Вопросы затрат широко обсуждались и в период активного строительства центров данных, а сегодня инвестиции анализируются еще более тщательно: в условиях сокращения финансирования проектов приходится особенно внимательно взвешивать и просчитывать различные варианты и подходы к созданию ЦОД (см. Рисунок 1), выбирать наиболее подходящие альтернативы, искать эффективные и недорогие решения, которые сопровождаются наименьшими рисками. Вместе с тем, стремление к экономии в настоящем не должно препятствовать расширению бизнеса в будущем. Пятая конференция по центрам обработки данных, проведенная в июне «Журналом сетевых решений/LAN» и агентством корпоративных коммуникаций OSP-Con, получила название «ЦОД 2009: Лучшая практика. Оптимизация операционных и капитальных затрат». Она состоялась в очень непростой для отечественной отрасли ИТ период.
ЭКОНОМИКА КАК КАТАЛИЗАТОР ИЗМЕНЕНИЙ
По прогнозам IDC, рынок ИТ в России сократится в этом году почти вдвое — с 24,31 до 13,61 млрд долларов. Кризис не мог не затронуть и рынка ЦОД. Как отмечает Олег Письменский, руководитель департамента консалтинга APC by Schneider Electric, уже в III квартале 2008 г. ситуация на быстро развивающемся российском рынке центров данных радикально изменилась. Если раньше можно было построить ЦОД на привлеченные средства, то теперь стало выгоднее инвестировать в высоколиквидные активы. Поэтому корпоративные клиенты занимают выжидательную позицию и стремятся получить наибольшую отдачу от эксплуатации уже имеющихся объектов. Что касается коммерческих ЦОД, то игроки данного сегмента действуют избирательно, реализуя четко продуманные стратегии. Этот бизнес не остановился, но темпы развития значительно снизились.
Как считает Дмитрий Мацкевич, консультант и эксперт в области ЦОД, центры обработки данных будут развиваться в любой ситуации — это определяется потребностью современного человека в получении информации, развитием Internet, увеличением зависимости бизнеса от ИТ. С ним согласен Дмитрий Мариничев, президент Radius Group, подчеркнувший, что, исходя из общей тенденции, со временем большая часть информации будет храниться централизованно, в ЦОД, при этом он указывает, что наиболее яркие примеры построения и использования ЦОД сегодня можно найти в телекоммуникационной отрасли.
В условиях конкуренции телекоммуникационные компании вынуждены строить ЦОД, к которым предъявляются повышенные требования. Они создаются как для собственных нужд, так и для хостинга, обычно обладают высоким уровнем надежности (до Tier IV), используют схемы гарантированного электропитания с резервированием 2N+1. ЦОД обслуживают все критически важные приложения операторов связи, поддерживают сервисы и бизнес-процессы, обеспечивают инфраструктуру для дальнейшего развития бизнеса. Однако в целом российское «ЦОДостроение» находится пока на ранней стадии развития, и кризис его серьезно притормозил.
У коммерческих и корпоративных ЦОД разные задачи и цели. Первые обеспечивают внутренние потребности предприятий в надежном и безопасном хранении, обработке и передаче данных. Надежность и безопасность — основные требования, которые опосредованно влияют на экономические показатели. У вторых, напротив, первична именно «экономика» — инвестиционная привлекательность и извлечение прибыли; она и определяет параметры надежности и безопасности.
Для коммерческих ЦОД важен маркетинг, выбор подходящей ниши, и только потом — техническое решение. Таких ниш немало, и отыскать их можно при помощи анализа рынка — по крайней мере, в этом уверен Дмитрий Мацкевич. Примеры удачного развития бизнеса можно найти даже в случае небольших ЦОД, которые при скромных инвестициях могут давать высокую отдачу, если сфера их деятельности выбрана правильно. По мнению Алексея Медунова, руководителя департамента проектирования инженерных систем «Ай-Теко», главное — определить целевого клиента и сроки окупаемости коммерческого ЦОД.
Алексей Сивидов, заместитель генерального директора IBS DataFort, замечает, что на мировом рынке среди важнейших аспектов при строительстве и эксплуатации ЦОД остаются растущие требования к отказоустойчивости и бесперебойности его работы. Кроме того, можно выделить такие тенденции, как повышенный уровень качества, создание ЦОД высоких категорий (не ниже Tier III), увеличение энергетической плотности, реализация масштабных проектов.
Прогнозы Gartner начинают сбываться: в ЦОД ощущаются ограничения по доступным энергетическим мощностям и возможностям отвода тепла. По мнению Александра Храмова, системного архитектора Sun Microsystems, экономическую ситуацию можно рассматривать как катализатор изменений, стимул к появлению новых продуктов и технологий. Кризисы нередко рождают инновации. В эти периоды происходят серьезные изменения в восприятии технологий и рынка, идет поиск скрытых резервов, оптимизация ресурсов. Если раньше главным приоритетом было решение задачи, то сейчас очень важно добиться экономии, высвободить средства, оптимизировать инфраструктуру ИТ.
CAPEX ПРОТИВ OPEX
Многие корпоративные ЦОД, построенные 5-7 лет назад, когда еще не было мощной инженерной практики и культуры создания центров данных, уже заканчивают свой жизненный цикл, считает Олег Письменский. Оптимизация таких объектов обычно обходится дороже, чем строительство новых или переход на аутсорсинг, поэтому корпоративным клиентам нужно найти баланс между капитальными (CAPEX) и операционными (OPEX) затратами. В условиях сокращения капитальных затрат многие компании склоняются к аутсорсингу услуг ЦОД, что в среднесрочной перспективе экономически выгодно.
Однако проблема оптимизации капитальных и операционных затрат не имеет однозначного решения, а в зависимости от задач бизнеса эффективность ЦОД может пониматься по-разному — как финансовая и операционная эффективность, экономия энергозатрат, надежность системы, обеспечение непрерывности сервисов ИТ, высокий уровень услуг, низкие показатели OPEX, гибкость развертывания новых технологий и сервисов, соответствие нормативным требованиям. Поэтому эффективность и оптимизация (подстройка под задачи и требования клиента) у каждого своя. Иногда (в случае привлечения заемных средств) на первый план выходит быстрая окупаемость ЦОД.
По мнению Алексея Солодовникова, руководителя подразделения Schneider Electric Datacenter Solution Team, сроки окупаемости новых технологий четко просчитываются, а любое техническое решение – всегда результат компромисса. Однако Дмитрий Горбатко, руководитель направления ЦОД компании Schneider Electric, уверен, что не все решения «лежат на поверхности», да и компромисс не является непременным атрибутом выбора: иногда, обеспечивая экономию капитальных затрат, удается сократить и последующие операционные расходы.
Зависимость стоимости строительства ЦОД от уровня надежности описывается в документах Uptime Institute. На эти данные следует ориентироваться при планировании строительства ЦОД. Если эффект от повышения надежности коммерческого ЦОД можно оценить в деньгах, то для корпоративного ЦОД подходящей оценкой будет стоимость минуты простоя. Снижения расходов на проект можно добиться за счет сокращения первоначальных инвестиций и поэтапного вложения средств. Если рассмотреть два варианта, в одном из которых первоначальные инвестиции составляют 3,5 млн долларов и в течение пяти лет тратится по 0,1 млн в год (итого 4,0 млн), а в другом при инвестициях всего в 1 млн долларов затраты за тот же период составляют по 0,7 млн в год (итого 4,5 млн), то последний интереснее с финансовой точки зрения. Он требует привлечения меньшего объема инвестиций, под него проще найти инвесторов, риски не столь велики, а с учетом инфляции реальная стоимость ЦОД окажется ниже.
Как подчеркивает Олег Письменский, нередко задачи бизнеса и конечная реализация значительно расходятся, поэтому важно грамотное планирование ЦОД (Рисунок 2). Для этого необходима культура управления финансами (эффективность инвестиций), реализации инженерных систем (выбор архитектуры и топологии) и управления проектами, от которой на 80% зависит успех. Кроме того, не обойтись без эффективного взаимодействия подразделений компании (бизнеса и ИТ), правильного обоснования проекта, изучения отраслевых примеров, помогающих оценивать результаты. От эффективности управления проектом, квалифицированного применения тех или иных решений зависит и финансовая эффективность.
По мнению Дмитрия Мариничева, многие организации уже «вырастают» из своих серверных комнат. Одни начинают строить ЦОД, для других подобный проект пока слишком дорог. На решение о строительстве собственного ЦОД или использовании услуг коммерческого (см. врезку «Аутсорсинг как альтернатива») влияет очень много факторов, а спектр требований заказчиков чрезвычайно широк.
СПОСОБЫ ОПТИМИЗАЦИИ
Издержки на строительство и эксплуатацию ЦОД растут быстрыми темпами, поэтому, как считают специалисты Radius Group, задача оптимизации очень актуальна. По подсчетам аналитиков, наиболее значительный вклад в экономию вносят выбор оборудования ИТ (56%), систем электропитания и охлаждения (23%) и использование лучших практик в ходе проектирования (23%). В первую очередь следует оптимизировать составляющую ИТ — саму нагрузку. При этом создается каскадный эффект, то есть один сбереженный на нагрузке ватт позволяет сэкономить 2,84 Вт в масштабах всего ЦОД. Энергосбережение следует предусмотреть уже на этапе проектирования ЦОД и при выборе оборудования (см. Рисунок 3): предпочтение стоит отдавать серверным системам, оснащенным процессорами с низким энергопотреблением и блоками питания с высоким КПД, надо также осуществлять управление энергопотреблением серверов, внедрение модульных серверных платформ и технологий виртуализации.
Кроме того, чтобы достичь максимального результата, нужно свести к минимуму температурные потери и используемое пространство, применять энергоэффективное инженерное оборудование, обеспечить масштабируемость решения и мониторинг энергопотребления.
Однако, как предупреждает Алексей Сивидов, нельзя забывать, что отказ от необходимого — опасный способ сокращения затрат. Каждый сэкономленный рубль ведет к потере надежности. В случае эксплуатации серверов в ненадлежащих условиях возможны финансовые потери — прерывание бизнес-процессов, непредвиденные затраты на восстановление данных, ремонт вышедшего из строя оборудования, утрата ценной информации.
При выборе оптимального варианта надо учесть множество факторов и ответить на ряд важных вопросов: для чего строится ЦОД, какие задачи он решает, учтены ли в архитектурном решении особенности всех систем, насколько высок должен быть уровень надежности, как распределить финансирование по отдельным системам, предусмотрена ли возможность прерывания работы ЦОД для его модернизации.
По мнению Александра Храмова, есть несколько способов оптимизации (см. Рисунок 4). Для специалистов ИТ главные направления — консолидация и виртуализация, применение новых технологий и оптимизация инфраструктуры ЦОД. Теоретически можно повысить загрузку мощностей ЦОД до 85%, плотность размещения оборудования увеличить вдвое, а потребление электроэнергии уменьшить наполовину. Решение всех трех задач в комплексе позволит получить весьма эффективный ЦОД. Для этого Sun предлагает собственные технологии и разработки, охватывающие процессорный уровень, архитектуру серверов, экономичные СХД и средства виртуализации.
Виртуализация — ключевая технология для создания более энергоэффективных ЦОД. Однако она требует инвестиций, на которые сейчас нет средств, поэтому заметного роста можно ожидать лишь через год-два. По мнению Дмитрия Мариничева, в корпоративных ЦОД наиболее эффективна аппаратная виртуализация (гипервизоры), тогда как в ЦОД, предоставляющих услуги хостинга — виртуализация на уровне ОС (контейнеры). По оценкам Radius Group, для серверного парка стоимостью 80 тыс. долларов с годовыми издержками 1,735 млн долларов решения на базе гипервизора обойдутся в 680 тыс. долларов и дадут ежемесячную экономию в 89 тыс. долларов, а решения на основе контейнерной виртуализации будут стоить около 422 тыс. долларов, при этом ежемесячные расходы окажутся на 110 тыс. долларов меньше. Таким образом, в первом случае вложения окупаются за восемь месяцев, а во втором — за четыре.
В области кондиционирования и охлаждения ЦОД значительных результатов можно добиться за счет управления воздушными потоками. Применение защитных экранов (между стойками и потолком, в конце холодного коридора), создание изолированных зон поможет сократить энергопотребление на 20-25%. Избежать смешивания горячего и холодного воздуха позволяют также замкнутые холодные коридоры и вентилируемые стойки: тогда с одной стойки отводится до 7 и до 9 кВт, соответственно. Системы адаптивного охлаждения предусматривают вертикальное (внутри стойки) и горизонтальное (вне стойки) наращивание и резервирование, что дает возможность инвестировать в систему по мере роста парка компьютерного оборудования. В долгосрочном плане оправдывают себя системы свободного охлаждения, хотя обходятся они дороже обычных.
По данным исследования Uptime Institute, на которое ссылается Владимир Башкиров, менеджер подразделения Data Center Solution компании Rittal, 90% ЦОД снабжены значительно большими мощностями для охлаждения, чем требуется. Число холодильных устройств в обследованных ЦОД в 2,6 раза превышало реальную потребность, однако одновременно были выявлены «горячие области» (до 10% занимаемой оборудованием площади). При высокой плотности оборудования ИТ имеет смысл применять жидкостные системы охлаждения, например, Rittal Liquid Cooling (LCP), благодаря которым, по данным Rittal, экономия составляет 4-20%, энергопотребление снижается до 40%, уменьшаются занимаемые оборудованием площади, а со стойки можно отвести больше тепла. Однако универсального решения нет, и на этапе проектирования заказчик должен сам оценивать преимущества той или иной системы охлаждения.
По мнению Алексея Солодовникова, резервы экономии можно найти, если провести ревизию используемого в ЦОД оборудования. «Выкинув старье», можно до 15% сократить потребление электроэнергии, затрачиваемой на питание работающего вхолостую оборудования. Дмитрий Мацкевич предлагает крупные ЦОД вводить поэтапно. Такое строительство сложнее, но позволяет в несколько раз сократить первоначальные инвестиции. К тому же, как считает Алексей Медунов, в ЦОД могут быть залы разной категории надежности, и в случае коммерческих центров данных подобный подход обеспечит более широкий охват рынка.
КОНТЕЙНЕРЫ: МАСШТАБИРОВАНИЕ И БЕЗОПАСНОСТЬ
Может оказаться, что ЦОД загружен не полностью, либо наоборот, его площадей не хватает, а инженерные системы в стационарном ЦОД плохо поддаются масштабированию. О вероятности такого положения дел напоминает Алексей Мелешенко, директор по инфраструктурным проектам ИТ компании «Ситроникс». В качестве альтернативы «Ситроникс» разработала архитектуру ЦОД, состоящего из стационарного ядра и набора автономных модулей расширения (АМР), связанных общей системой мониторинга и управления. Она получила название Right In Time Extension (RITE). Стационарное ядро опционально и предназначено для оборудования, которое нецелесообразно устанавливать в модули расширения.
По мнению разработчиков, применение мобильных модулей Sitronics Daterium (см. Рисунок 5), для которых характерна низкая цена за единицу емкости (стойку или кВт) и очень малое время ввода в эксплуатацию (14-16 недель с момента заказа), дает существенный экономический эффект, а расширяемость модульного ЦОД позволяет управлять его емкостью в течение всего срока жизни проекта: при необходимости устанавливается дополнительный модуль. В числе интересных конструкторских решений — перемещаемые внутри контейнера в поперечном направлении стойки с оборудованием ИТ. В отличие от контейнерного ЦОД IBM, они установлены на раму и сдвигаются, как единый массив, с помощью электрического привода, что решает проблему ограниченного пространства.
Спрос на контейнерные системы пока невелик, однако это нишевое решение находит свое применение. «ЦОД в контейнере» предлагают как российские системные интеграторы, так и ведущие зарубежные производители серверов и инженерного оборудования. Одним из пионеров в этой области является компания Sun. Ее Sun Modular Datacenter S20 представляет собой ЦОД в виде модульной самодостаточной единицы. Как утверждают разработчики, по сравнению с обычным ЦОД, он на 40% эффективнее по электропитанию и охлаждению.
Другой вариант применения контейнеров — защита находящегося внутри ценного оборудования. С этой целью используются модульные помещения. В России наиболее известный производитель таких продуктов — компания Lampertz (входящая в Rittal International). По мнению Евгения Тарзиволова, руководителя российского подразделения Lampertz, модульные помещения, защищенные сейфы для стоек шириной 19” и модульные контейнеры позволяют полностью решить задачу обеспечения физической безопасности информационных систем. Они гарантируют защиту от огня, проникновения воды, отключения электроэнергии, вандализма, несанкционированного доступа, пыли, различных излучений, взрывов.
Стоимость защищенной комнаты составляет примерно 15% от общей стоимости ЦОД. В числе достоинств предлагаемого решения специалисты Lampertz называют минимальные сроки монтажа, страхование как самой комнаты, так и находящегося в ней оборудования, которое осуществляет международная компания Chubb Insurance Company, и сохранение инвестиций (комнату можно разобрать и перевезти). Поскольку решение масштабируемое и модульное, на начальном этапе можно потратить относительно небольшую сумму. По данным Lampertz, в России выполнено уже не менее двух десятков инсталляций таких комнат.
Еще один вариант защиты — модульные сейфы. С учетом модульности, независимости от структуры здания и места расположения Lampertz полагают, что это решение идеально подходит для средних компаний. Базовый сейф Lampertz LBS 9.1C с внутренней высотой 15U по сути является маленьким кондиционируемым ВЦ. Контейнер безопасности уличного исполнения имеет огнестойкость F30, а его полезная площадь составляет 13 м2. Он обеспечивает защиту от воды и пыли (IP55), от взлома (WK2 или WK3), оснащается ИБП и кондиционером мощностью 20 кВт, позволяет разместить до семи стоек типа TS8. Преимущества контейнера — мобильность, комплексность решения и быстрота установки. Чтобы запустить его в работу, нужно подвести каналы связи и обеспечить электроснабжение.
ОПТИМИЗАЦИЯ ЭЛЕКТРОСНАБЖЕНИЯ
Компания Schneider Electric разработала несколько решений для малых и крупных ЦОД, обеспечивающих заметное снижение капитальных и операционных затрат. В их числе — новая децентрализованная архитектура электроснабжения и компактная недорогая система для контроля энергопотребления в стойках. По словам Дмитрия Горбатко, концепция децентрализованного распределения энергии в ЦОД активно используется в Европе (см. Рисунок 6), однако практически неизвестна в России и не применяется ни одним из проектных институтов. Соответствующая система включает в себя изготовленные и испытанные на заводе силовые шинопроводы Canalis, модули со встроенными устройствами измерения тока и электроэнергии, сенсорную ЖК-панель для доступа к информации о расходе электроэнергии в каждой стойке и другие модули. В Schneider Electric надеются, что это решение найдет применение в нашей стране и сможет составить конкуренцию более дорогим и сложным продуктам.
Система легко наращивается и переконфигурируется, для нее предусмотрена возможность демонтажа и повторного использования. По данным Schneider Electric, Canalis дешевле решений на основе силового кабеля, однако его эффективность проявляется при достаточно большом числе стоек – от 15 и выше. В сравнении со стандартным решением, оснащенным низковольтными щитами и кабелями, TCO уменьшается на 5-10%, обеспечивается полный мониторинг для нагрузок ИТ, что удобно для управления загрузкой стоек и расчетов с клиентами коммерческих ЦОД. Наконец, значительно снижается число ошибок, причина которых — «человеческий фактор».
Как указывает Владимир Башкиров, анализ совокупной стоимости решений для центров данных требует учета не только стоимости покупки, но и «скрытых» затрат. В TCO учитывается стоимость электроэнергии, арендная плата, расходы на содержание, среднее время ремонта (Mean Time To Repair, MTTR) и среднее время между отказами (Mean Time Between Failure, MTBF), финансирование капиталовложения и обслуживания. К тому же скрытые затраты могут быть гораздо больше первоначальных.
В Rittal считают, что эти проблемы во многом решаются за счет использования модульных систем электропитания и охлаждения (например, Rittal RimatriX5), позволяющих наращивать мощность ЦОД постепенно и тем самым сократить первоначальные инвестиции. В противном случае уже на начальной стадии развертывания центры данных зачастую приходится создавать таким образом, чтобы они соответствовали и будущим требованиям. Такой подход неизбежно влечет значительные капиталовложения и высокие фиксированные затраты на электроэнергию и аренду.
Как отмечают специалисты Rittal, использование модульных систем электропитания позволяет снизить затраты на обслуживание до 30%, а на хранение ЗИП — до 50%. Хотя расходы на покупку традиционного ИБП будут меньше, они не являются решающим фактором при анализе совокупной стоимости, подчеркивает Владимир Башкиров. По сравнению с моноблочными источниками питания для модульных ИБП Rittal снижение TCO составляет от 30% до 40% в зависимости от размеров ЦОД. К тому же во время ремонта модульная система ИБП продолжает защищать нагрузку, а поврежденный модуль можно изъять и заменить без отключения системы.
По словам Дмитрия Мариничева, важная составляющая оптимизации ЦОД — энергоэффективные источники питания с высоким КПД. Например, если ЦОД потребляет 6,9 МВт, то благодаря повышению КПД на 5% расходы на электроэнергию уменьшаются на 384 тыс. кВт или 38 тыс. долларов (при цене 0,1 доллара за кВт) ежегодно. К этому добавляется экономия за счет сокращения потребности в охлаждении. Применение модульных ИБП позволяет увеличить КПД за счет большей нагрузки на каждый модуль, но при значительном «дроблении» мощности нужно больше пространства для размещения оборудования.
ОПТИМИЗАЦИЯ ПРОЦЕССОВ УПРАВЛЕНИЯ И ЭКСПЛУАТАЦИИ
Как подчеркивает Антон Разумов, технический консультант компании Check Point Software Technologies, приобретая любое решение, следует просчитать стоимость владения за три-пять лет. Очень весомой статьей расходов является «человеческий фактор» и стоимость управления системой. Неудобное управление может вести к ошибкам и недоступности данных.
Сергей Довгань, технический директор представительства BMC Software, напоминает, что основа экономической эффективности ЦОД — оптимизация и автоматизация процессов эксплуатации. По оценкам аналитиков, затраты на администрирование и управление серверами более чем вдвое превышают стоимость нового серверного оборудования, и эта диспропорция продолжает увеличиваться. ПО BladeLogic от BMC Software помогает автоматизировать задачи управления конфигурациями серверов, контроля изменений в настройках серверов и сетевого оборудования, проверку соответствия реальных конфигураций оборудования ожидаемым результатам, снизить риски эксплуатации ЦОД, повысить уровень информационной безопасности, ускорить внедрение нового ПО и оборудования. В итоге снижаются затраты и растет производительность персонала ЦОД.
Продуктов для сбора информации о конфигурации оборудования, для аудита (контроля соответствия) и распространения конфигураций существует немало. Однако BladeLogic представляет собой комплексное решение, позволяющее автоматизировать управление конфигурацией на основе заданных правил. Оно дает многоуровневую и актуальную картину состояния конфигурационной единицы (например, сервера), имеет функции интеллектуального обнаружения ПО, реализует замкнутый цикл контроля конфигураций. Как утверждают сотрудники BMC Software, в текущем году им удалось добиться рекордных продаж: интерес заказчиков к таким решениям растет.
Избежать многих трудностей при эксплуатации ЦОД помогают и интеллектуальные системы управления физическим уровнем инфраструктуры. По прогнозам компании RiT Technologies, разработанная ею интеллектуальная система PatchView for the Enterprise может стать основой эффективного управления.
Каждый ЦОД — это уникальный проект со специфическими аспектами эксплуатации, однако, по словам Дмитрия Никулина, технического директора RiT в России, поддержка функционирования любого центра обработки данных предполагает планирование использования вычислительных ресурсов и монтажного пространства, контроль среды эксплуатации, обеспечение безопасности. Интеграция разрозненных процессов оптимизирует управление, повышая его эффективность. Основу же эффективного управления составляет точная и достоверная документация.
Программно-аппаратный комплекс PatchView имеет понятный графический интерфейс и обеспечивает учет данных в виде не абстрактных текстовых документов и таблиц, а графической структуры с привязкой объектов (шкафов, серверов, сетевого оборудования), а также перечня их характеристик, к реальному местоположению. Он поддерживает широкий перечень учитываемого оборудования, имеет гибкую систему отчетов. Система автоматически отслеживает все связанные с сетевой инфраструктурой изменения, возникающие, например, в результате установки оборудования, поэтому документация всегда достоверна.
Новый продукт RiT Paladin реализует мониторинг параметров среды эксплуатации (см. Рисунок 7). Использование системы PatchView совместно с Paladin позволяет управлять информационно-вычислительным комплексом из единого центра, повышает надежность функционирования оборудования, дает возможность легко наращивать вычислительные ресурсы, снижает время восстановления после сбоев. Администратор ИТ будет получать достоверную информацию о событиях в реальном времени, контролировать параметры среды эксплуатации и безопасность на физическом уровне.
Повышение физической безопасности ЦОД достигается за счет выявления несанкционированных действий персонала на коммутационном поле, контроля незарегистрированного оборудования, мониторинга несанкционированных подключений и местоположения всех устройств в реальном времени.
ЦОД создается ради обеспечения непрерывной доступности данных и приложений (см. врезку «От теории к практике»), поэтому наряду с физической безопасностью для его надежного функционирования требуется информационная безопасность. Данные нужно защитить от несанкционированного доступа и обеспечить их целостность. Кроме того, при росте числа виртуальных серверов усложняется политика безопасности — приходится поддерживать тысячи правил доступа и управлять ими. Сложность управления может вести к отказам и пробелам в защите.
Как считает Антон Разумов, устанавливать множество аппаратных межсетевых экранов для защиты серверов нерационально — более эффективным решением является их виртуализация и выделение программного брандмауэра каждому серверу. Такой подход реализован в решении VPN-1 Power VSX компании Check Point. На уровне VLAN сервисы направляются на разные межсетевые экраны, к которым применяются правила безопасности. Всем этим можно управлять централизованно. Физически VSX представляет собой кластер из двух серверов (стандартной платформы или готовых программно-аппаратных комплексов от Check Point), причем систему можно наращивать.
Согласно расчетам Check Point, подобная «виртуализация безопасности» обеспечивает снижение TCO, поскольку уменьшаются затраты на администрирование, оборудование, электропитание, упрощается внедрение и поддержка. Еще один продукт Check Point — «виртуальное устройство» VPN-1 VE, сертифицированное VMware, — защищает как от внешних угроз, так и от атак внутри самой виртуальной среды. Единая консоль управления позволяет задавать правила безопасности для виртуальных и физических машин и контролировать виртуальные шлюзы внутри VMware, внешние шлюзы безопасности и другие решения Check Point. В настоящее время компания тестирует новые версии своих продуктов безопасности, предназначенные для VMware vSphere.
ЗАКЛЮЧЕНИЕ
Хотя универсальных решений не существует, участники рынка сходятся во мнении, что нужна стандартизация подходов к построению ЦОД на уровне общих рекомендаций. Очень важен опыт эксплуатации, которого в России пока не так много, требуется повышение квалификации проектировщиков. С осени Uptime Institute планирует ввести подготовку и сертификацию специалистов Accredited Tier Designer (ATD). Кроме того, уже в этом году специалисты Uptime Institute приступят к сертификации центров данных на соответствие категории Tier, которая предполагает независимую оценку проекта, включая анализ проектной документации и аудит объекта на функциональном уровне.
Любое решение при проектировании и строительстве центров данных, играющих все более важную роль в деятельности различных организаций, всегда индивидуально и требует тщательных расчетов, а возможности снижения издержек следует предусматривать на ранней стадии проекта.
Сергей Лысаков, генеральный директор Stack Group считает, что отечественная индустрия ЦОД сегодня переживает двойной кризис: и без того затянувшийся процесс зарождения цивилизованного рынка услуг усугубился проблемами глобальной перестройки мировой экономики. В этой ситуации участникам рынка важно правильно расставить приоритеты и найти верные подходы к решению вопросов обеспечения эффективности ЦОД в России. Он призывает к осознанному объединению усилий и консолидации действий, нацеленных на достижение качественно нового для страны уровня строительства и эксплуатации центров обработки данных. А для этого, в частности, необходимо преодолеть противоречия, которые возникают из-за консерватизма проектировщиков и поставщиков решений.
Эффективность функционирования ЦОД уже сейчас должна стать единой точкой отсчета в системе профессиональных и коммерческих ценностей всех участников рынка: они должны оценивать качество своей работы, исходя из того, как она повлияет на результат — услугу, предоставляемую конечному пользователю. Развитие отрасли во многом будет зависеть от того, как площадка строится, масштабируется, насколько эффективно используются ресурсы, заложенные возможности подстраиваются под изменяющиеся потребности клиентов, в какой мере выстроенная система эксплуатации в состоянии соответствовать этим потребностям.
Если откладывать решение всех этих задач на будущее, то вряд ли удастся получить необходимый кредит доверия, который позволит выйти на более комфортный уровень ведения бизнеса — как с точки зрения получения налоговых льгот, так и с позиций более активного развития аутсорсинга.
Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.
Рисунок 1. Специалисты компании «Инфосистемы Джет» рассматривают ЦОД как комплекс, в котором установлены вычислительные системы и системы хранения данных, поддерживающие функционирование бизнес-приложений, обеспечивается информационная безопасность при предоставлении сервисов удаленным пользователям, гарантируются необходимые параметры окружающей среды. Определяющими являются задачи бизнеса и требования приложений.
Рисунок 3. Цели оптимизации энергопотребления ЦОД (по данным Radius Group).
Рисунок 4. Sun выделяет несколько способов экономии, требующих разных усилий и дающих разные результаты.
Рисунок 7. Контроллер RiT Paladin обеспечивает контроль доступа в помещения ЦОД, а также параметров окружающей среды и электроснабжения. К нему подключаются различные датчики (температуры, влажности и т.д.), IP-камеры для видеонаблюдения.
Рисунок 8. В настоящее время клиентам IBS DataFort предоставляются три основных вида услуг: аренда площадей, вычислительных мощностей/ресурсов хранения или аренда приложений (например, системы электронной почты или технической поддержки — Service Desk). IBS DataFort берет на себя все заботы по эксплуатации и обеспечивает требуемый уровень качества.
Аутсорсинг как альтернатива
Альтернатива строительству собственного ЦОД — обращение к услугам коммерческого центра данных. Тогда впоследствии, утверждает Алексей Сивидов, заказчик не сталкивается с проблемами масштабирования и с необходимостью серьезных капитальных вложений (что важно в сегодняшней ситуации), однако в России потенциал рынка аутсорсинга ЦОД реализован едва ли на 20-30%. Между тем услуги коммерческих ЦОД позволяют свести непредвиденные и косвенные затраты к минимуму, а кроме того, избежать высоких расходов на персонал. В таком случае, как считают в IBS DataFort, оборудование находится в стабильных и комфортных условиях, подключено к резервируемым каналам, обслуживается квалифицированными специалистами, длительность его работы без сбоев и ремонтов увеличивается, а бизнес-процессы становятся стабильнее и безопаснее.
Компания предлагает услуги размещения и обслуживания оборудования и инфраструктуры заказчика в ЦОД (colocation), аренду оборудования и инфраструктуры (dedicated server), круглосуточную техническую поддержку, защиту от несанкционированного доступа и антивирусное сканирование (см. Рисунок 8). Дополнительные услуги включают резервное копирование и восстановление, аренду и расширенную поддержку ПО, аренду каналов, мониторинг серверов, сетевых соединений и работоспособности оборудования, защиту от атак DDoS, восстановление в случае аварий (Disaster Recovery, DR). В настоящее время IBS DataFort добавляет новейшие сервисы, переходя от аутсорсинга ресурсов к аутсорсингу функций («система как сервис»). Основные клиенты — достаточно крупные коммерческие компании (500-3000 рабочих мест).
Как показывает пример системы ERP одного из клиентов, которая размещена в ЦОД IBS DataFort и там же обслуживается, хостинг ПО SAP на 1500 пользователей обходится в 452 тыс. руб. в месяц (с арендой оборудования и ПО), тогда как обслуживание эквивалентной системы силами заказчика стоило бы ему 1770 тыс. руб. в месяц. Стоимость обслуживания снижается за счет разделения затрат на привлечение квалифицированных специалистов с другими клиентами.
Как рассказывает Андрей Егоров, менеджер по работе с ключевыми заказчиками компании DataLine, владеющей сетью ЦОД, в случае базовых услуг ЦОД (colocation) структура расходов включает в себя затраты на электроэнергию, инженерные системы, безопасность, каналы передачи данных и на эксплуатацию, а также косвенные затраты. Коммерческий ЦОД помогает сэкономить еще больше и сократить ненужные расходы путем предложения выгодного типового решения, для чего клиентам необходимо правильно сформулировать свои задачи. На основе клиентских запросов в DataLine составлена база знаний, где собраны типичные ситуации. Специалисты компании советуют выбирать коммерческий ЦОД, где к их требованиям не отнесутся формально. Технические задания следует составлять совместно с сотрудниками аутсорсера.
В настоящее время DataLine строит несколько ЦОД. Два из них (на 340 и 300 стоек) находятся в Москве и заработают в этом году, а ЦОД в Подмосковье на 800 стоек будет введен в строй весной. Мощность стойки в них составляет 5-6 кВт.
По мнению Дмитрия Мацкевича, хотя спрос на услуги ЦОД упал, в дальнейшем он будет возрастать, поэтому нужно думать о перспективе, искать новых потребителей и не ограничиваться простым набором сервисов. Сейчас подходящее время, чтобы пересмотреть имеющиеся предложения и взять на вооружение новые варианты, обеспечивающие конкурентные преимущества для работы в изменившихся условиях.
От теории к практике
На конференции были представлены примеры оптимизации существующих и развертываемых вычислительных комплексов ЦОД. Андрей Шапошников, руководитель направления системной архитектуры компании «Инфосистемы Джет», рассказал об оптимизации расходов на ИТ на примере проектов для крупных отечественных компаний.
В частности, проект, реализованный в компании «M-Видео», заключался в переносе комплекса SAP в коммерческий ЦОД и передаче администрирования вычислительного комплекса и SAP на аутсорсинг. При этом ставилась задача повышения качества инфраструктуры ИТ (доступность, производительность, масштабируемость) при минимизации капитальных и эксплуатационных расходов. Проект был начат в 2006 г. и завершен в 2008 г. модернизацией «системного ландшафта» SAP.
Комплекс базируется на серверах Sun Enterprise M8000, приложения SAP выполняются в виртуальных контейнерах Solaris, и, кроме того, серверы приложений и баз данных разнесены по разным динамическим доменам. Использование кластерного ПО обеспечивает необходимый уровень доступности, а при необходимости вычислительные мощности можно наращивать. Аренда ЦОД позволила не тратить средства на строительство собственного центра данных и расширение штата персонала.
В другом оптимизационном проекте для крупного телекоммуникационного оператора специалисты компании «Инфосистемы Джет» заменили 40 устаревших серверов RISC на три сервера Sun T5440. В результате консолидации серверов потребность в стоечном пространстве сократилась сo 180RU до 12U, а потребности в электрической мощности и тепловыделение уменьшились более чем в 30 раз. Учитывая капитальные затраты (замену оборудования), стоимость миграции и эксплуатационные затраты, данный проект позволил заказчику заметно сэкономить: хотя в первый год инвестиции превысили 400 тыс. долларов, в последующие два года вместо 307 тыс. долларов ежегодных затрат на эксплуатацию он тратил менее 48 тыс. долларов. При использовании рассрочки экономия была достигнута уже в первый год.
По мнению Андрея Шапошникова, на сегодняшний день существуют все технологии, позволяющие эффективно оптимизировать инфраструктуру ИТ: высокопроизводительные и относительно недорогие серверы, промышленные средства виртуализации, усовершенствованные системы хранения. Каждому заказчику можно предложить индивидуальные направления оптимизации — как технические, так и организационные, при этом выбор будет определяться величиной экономического эффекта и временем его получения. Однако, зачастую, для достижения экономии могут потребоваться некоторые затраты.
При реализации проектов по оптимизации важно также учитывать необходимость сохранения в процессе выполнения работ высокой доступности бизнес-приложений. Это требует тщательной проверки предлагаемых решений и четкого планирования всех этапов работ. К основным этапам работ в компании относят: макетирование решения на стенде, оценку экономической эффективности, перенос на новую платформу тестовых сред и сред разработки, нагрузочное тестирование и, наконец, внедрение в рабочих системах.
При строительстве ЦОД нередко приходится реконструировать помещения, решать задачи отсутствия свободных площадей и нехватки мощностей на подстанции. По словам Алексея Медунова, в «Ай-Теко» с такими задачами справляются поэтапно: поочередно выполняется поиск ресурсов, формирование технического решения, выбор партнеров, планирование и реализация проекта.
Созданный «Ай-Теко» ЦОД «Траст-Инфо» имеет полезную площадь 3000 м2 и рассчитан на 800 стойко-мест, а потребляемая электрическая мощность машинных залов составляет 4240 кВА. Заявленный общий уровень доступности ЦОД – 99,98% (Tier III). Для сдачи в аренду оборудованы офисные помещения площадью 1000 м2.
При выборе партнеров «Ай-Теко» опиралась на конгломерат Schneider Electric, что позволило получить выгодные финансовые условия и добиться унификации решений, поскольку входящие в Schneider Electric компании поставляют широкий спектр инженерных систем для ЦОД. В «Ай-Теко» считают, что такой «моновендорный» подход ускоряет проектирование и внедрение ЦОД на 20%.
ЦОД разбит на четыре независимых блока с резервированием по питанию. По мнению специалистов компании, решения важно выбирать таким образом, чтобы для ускорения возврата инвестиций отдельные залы можно было сдавать в эксплуатацию по ходу строительства. Первый блок мощностью 1 МВт запущен через восемь месяцев после принятия решения о строительства ЦОД.
ЦОД проектировался таким образом, чтобы максимально снизить эксплуатационные затраты. При этом основной акцент сделан на автоматизацию. Для максимальной унификации и быстроты развертывания использована система распределения питания АРС, а на основе оборудования APC PDU Metered создана система учета электроснабжения для каждой стойки, что позволяет взимать плату за потребляемое оборудованием электричество.
В системе охлаждения используется водяной «аккумулятор холода»: в случае аварии бак с водой емкостью 2000 т будет охлаждать оборудование в течение 2-3 ч. Это позволило сэкономить на мощностях ИБП и распределительной сети, а за счет внедрения процесса аккумулирования холода затраты на электроэнергию снижаются на 30%. Кроме того, в решении применяются чиллеры с системой свободного охлаждения и компрессоры Turbocor, потребляющие на 30-40% меньше электроэнергии. Все это дало возможность добиться минимальной разницы между установленной и потребляемой мощностью: совокупная мощность серверов составляет 4000 кВт, а трансформаторной подстанции — 6400 кВА.
ЦОД будет предоставлять стандартные услуги (colocation, dedicated server) и дополнительные услуги поддержки оборудования. По мнению проектировщиков, проект станет рентабельным в течение трех-пяти лет.