.
Некоторые крупные российские ЦОДы используют системы непрямого естественного охлаждения. Они дороже менее эффективных классических систем (фреоновых, чиллерных). Каковы ваши рекомендации при выборе систем охлаждения: снизить CAPEX или рассчитывать на экономию эксплуатационных расходов (OPEX)?
Все зависит от требований заказчика. Если необходимо построить систему, которая будет эффективна на протяжении короткого периода времени — это одно. Если система должна быть эффективной на протяжении 10 лет и более — совсем другое. Экономическая ситуация постоянно изменяется, а большая часть оборудования производится за рубежом и цены на него привязаны к курсу евро и доллара. Электроэнергия генерируется в России, платим мы за неё в рублях и стоимость киловатт/часа в евро и долларах сильно «плавает». Важно понять, что означает формулировка «высокоэффективная система охлаждения». Речь может идти об экономии электроэнергии или, например, о простоте и скорости внедрения, когда стоит задача быстро и дёшево нарастить существующую мощность.
Фреоновые системы дешевы, быстро производятся, просто монтируются и хорошо работают. Системы с применением чиллеров (даже с естественным охлаждением) — это промежуточный этап развития решений для охлаждения. Они довольно гибкие, позволяют сочетать различные виды внутреннего оборудования системы холодоснабжения, ставить центральные и межрядные кондиционеры, охлаждаемые двери и т. д. Мы можем гибко наращивать систему, получать средние показатели энергоэффективности – но её стоимость в полтора раза выше стоимости фреоновой системы.
Системы непрямого естественного охлаждения громоздки, их элементы размещаются в основном на крышах и требуют больших воздуховодов — с этим связан ряд ограничений применения таких систем в разных зданиях и для различных типов нагрузки. Когда в одном машинном зале нагрузка может составлять от 2 до 35 киловатт на стойку, приходится оснащать их какими-то дополнительными системами. Стоимость начальных вложений при внедрении здесь достаточно высокая, но показатели энергоэффективности лучшие в отрасли.
Важно понять, как будет развиваться внутренний или внешний заказчик и как это будет соотноситься с бизнес-планом. Как, в случае коммерческого ЦОДа, будут списываться капитальные затраты, сильно ли будет влиять энергоэффективность ЦОДа на ценообразование и что она даст в смысле коммерческих результатов – все это вопросы, обойти которые стороной нельзя. Энергоэффективная система позволяет уменьшить стоимость стойки, это может стать преимуществом в глазах заказчика, а также быстрее заполнить площади, ускорив возврат инвестиций.
Несколько лет назад мы пересчитывали стоимость продвинутых с точки зрения эффективности систем охлаждения — срок их окупаемости составлял 3,5 года. Сейчас стоимость электроэнергии в пересчете на евро упала в два раза, цена оборудования возросла, и расчётный срок окупаемости увеличился до 6-7 лет. Если брать десятилетний горизонт планирования, нужно прогнозировать стоимость киловатт/часа и профиль ИТ-нагрузки, смотреть выходящие на рынок международные стандарты и как в связи с этим будет меняться поведение заказчиков. Допустимые диапазоны температур для ИТ-оборудования изменяются. Раньше мы говорили про 20-21°C, а сейчас речь идёт уже про 25 и есть тенденция к росту. Но будут ли заказчики готовы переходить в течение 2-3 лет с 25°C на 32 и выше — это вопрос.
Искусство проектирования, планирования и создания инженерной инфраструктуры датацентров состоит в правильном прогнозировании, исходя из множества предпосылок. Мы видим разные реализации систем охлаждения у одного заказчика, часто даже на одном объекте. Если для небольших центров обработки данных есть типовые решения, то крупные объекты всегда уникальны. Нужно постараться грамотно спрогнозировать эволюционирование профиля ИТ-нагрузки в центре обработки данных. Это очень сложный и всеобъемлющий вопрос — однозначного ответа на него нет.
Системы непрямого естественного охлаждения окупаются достаточно долго, как это совместить с жизненным циклом ЦОДа в 10 лет?
На базовом уровне из-за скачка курса евро они стали окупаться почти в два раза дольше. Но это не повод сбрасывать системы естественного охлаждения со счетов, потому что тарифы на электроэнергию изменяются, курс изменяется, сами системы развиваются, а стоимость за киловатт холода падает. Нужно тщательно учесть все за и против.
Считается, что жизненный цикл дата-центров составляет 10 лет; с этим утверждением я отчасти согласен, отчасти нет. Сейчас успешно функционируют создававшиеся 10 лет назад ЦОДы: ИТ-нагрузка растёт не в геометрической прогрессии, поэтому систему охлаждения можно модернизировать. Самый главный вопрос здесь — это профиль ИТ-нагрузки. Несомненно, через 10 лет может произойти технологический скачок, который полностью поменяет архитектуру инженерных систем, но при чуть более консервативном планировании в десятилетней перспективе системы естественного охлаждения предпочтительнее остальных.
Во многих крупных ЦОДах устанавливают динамические ИБП. На каких объектах они эффективны и какие козыри остаются у статических ИБП? Какие решения вы рекомендуете для систем бесперебойного питания крупных ЦОДов?
Системы динамических источников бесперебойного питания эффективны только на крупных ЦОДах. Эти ИБП прежде всего экономят площадь в дата-центре. Классический источник бесперебойного питания с батареей и системой охлаждения занимает процентов на 20 больше места, чем дизель-роторный ИБП аналогичной мощности. С точки зрения энергоэффективности все примерно одинаково.
В статических ИБП появились разные режимы кондиционирования электроэнергии и мы можем доводить их эффективность до 99%, чего в дизель-роторных ИБП пока нет — их эффективность как правило остается на уровне 97%. Если мы посмотрим кривую зависимости эффективности от нагрузки, то увидим, что у дизель-роторных ИБП со снижением нагрузки эффективность падает быстрее, чем у статических.
Самый важный, на мой взгляд, момент: с точки зрения надежности центра обработки данных и защищенности ИТ-оборудования, у дизель-роторных ИБП есть большая проблема. Там нет так называемой технологии VFI, которая является технологическим стандартом для источников бесперебойного питания двойного преобразования (суть в том, что частота и напряжение в защищённом ИБП контуре центра обработки данных не зависит от частоты и напряжения за пределами дата-центра). Если от пожара или от попадания молнии возникнут колебания напряжения за пределами ЦОДа, то защищённое дизель-роторным ИБП оборудование может выйти из строя, что выльется в часы и дни простоя.
В смысле эффективности они примерно одинаковы?
Традиционно считается, что источник бесперебойного питания двойного преобразования менее эффективный, чем дизель-роторный ИБП. На самом деле это не так. Все ведущие производители несколько лет назад подняли эффективность статических ИБП до уровня практически идентичного уровню дизель-роторных. Но у всех ИБП свои режимы кондиционирования электроэнергии. Когда мы начинаем отключать некоторые компоненты в составе статического источника бесперебойного питания, его эффективность возрастает до 99%. У дизель-роторных ИБП этого нет.
Выбор решения зависит от того, чего вы хотите добиться. Если нужна максимальная защита оборудования, тут важен не столько продукт, сколько схема электроснабжения и способ её применения. За счёт некоторых хитростей в проектировании мы можем снижать количество оборудования на 25% при сохранении такой же степени резервирования, как по схеме 2N. Если площади позволяют и для вас главное — надежность и защита ИТ-оборудования, то я бы рекомендовал ставить статику. Если вы можете допустить простой, если у вас есть сложности с площадями и если мощность центра обработки данных позволяет, то схема дизель-роторных ИБП достойна рассмотрения. В маленьких и средних ставить ЦОДах дизель-роторные ИБП смысла нет, а на крупных объектах всегда делается индивидуальный расчёт. Но важно понимать, что колебания напряжения и частоты вне ЦОД могут повредить защищённое дизель-роторными ИБП ИТ-оборудование.
В каких случаях вы рекомендует использовать модульные и предсобранные (prefab) ЦОДы? Каковы их преимущества над традиционными решениями, предполагающими капитальное строительство или реконструкцию здания? Пожалуйста, приведите примеры успешных внедрений модульных ЦОДов в России.
Основные преимущества — это скорость и мобильность. Если у вас нет возможности в здании выделить дополнительные помещения под ИТ-оборудование, вы можете на парковке или на крыше поставить контейнерный центр обработки данных. Можно поставить модульный ЦОД, который собирается из нескольких контейнеров. Иногда ИТ-нагрузка требуется в малопригодном для строительства регионе или просто на короткий срок. Словом, должна быть какая-то причина, не позволяющая возвести традиционный ЦОД. Пока в наших рыночных условиях заливать российский бетон дешевле, чем использовать даже российские контейнерные центры обработки данных. Стоимость создания подобного ЦОД за стойку выше и это мешает распространению префабов.
Емкость модульных центров обработки данных можно наращивать постепенно, здесь не нужно сразу строить здание и всю инженерную инфраструктуру. Не делает ли это модульные варианты привлекательными, несмотря на более высокую стоимость в пересчете на стойку?
Это снижает затраты, но незначительно. Мы упираемся только в стоимость строительства или реконструкции зданий и в согласование строительства. Каждый проект требует отдельных подсчетов. Как правило, стройка съедает больше времени, чем денег. Если вам нужно запуститься в сжатые сроки, то имеет смысл рассмотреть предсобранные варианты.
Универсальных рецептов нет?
В отрасли есть лучшие практики (от англ. best practice — прим. ред.), а консервативный подход — тоже подход. Там известны все проблемы, все уже отточено — результат более или менее гарантирован. Можно ли получить лучший результат? Это вопрос для изучения в каждом конкретном случае.
Есть ли интересные примеры внедрения модульных ЦОД в России?
Один из крупнейших примеров — построенный компанией Вымпелком в Ярославле дата-центр. Частично он модульный, а частично — классический. Есть много примеров внедрения отдельных подсистем в виде предустановленных модулей, такие решения часто применяют для модернизации классических дата-центров. Существуют и несколько контейнерных дата-центров. Примеров хватает, но заказчик должен точно знать, какие опции подходят именно ему.