В конце мая прошел форум «МИР ЦОД. Инфраструктура», организованный издательством «Открытые системы». Традиционно многие участники форума в своих выступлениях делятся с другими наработанным опытом. Несколько из таких рассказов заслуживают отдельного внимания. Их объединяют действия команды в условиях сжимающихся бюджетов и желание несмотря ни на что добиться максимальной эффективности создаваемой инфраструктуры.

Быстро, дешево и качественно

Одним из центральных в рамках форума стал рассказ Дмитрия Дворникова, руководителя департамента ИТ и биллинга Tele2, о новом ЦОД, запущенном в эксплуатацию в конце декабря 2015 года. Дата-центр был построен в Ростове-на-Дону всего за семь месяцев, при этом удалось уложиться в рублевый бюджет, выделенный осенью 2014 года, еще до девальвации национальной валюты.

Дмитрий Дворников, руководитель департамента ИТ и биллинга Tele2:
«У нас нет амбиций ни по красоте, ни по сертификации, ни по энергоэффективности. Наша задача как дискаунтера – оптимизировать операционные затраты»

Создание совместного предприятия с «Ростелекомом» в 2014 году дало толчок не только развитию мобильных активов Tele2, но и трансформации ИТ-департамента. Помимо чисто количественного роста, у компании появились принципиально новые задачи. Во-первых, разом добавились 23 региона, где требовалось обслуживать мобильные сети. Во-вторых, были поставлены задачи как можно скорее вывести на рынок услуги связи третьего и четвертого поколения. Кроме того, в Tele2 стали открывать монобрендовые салоны, уделяя тем самым повышенное внимание розничной торговле и обслуживанию абонентов. Наконец, произошли изменения в позиционировании компании. Традиционно она выступала дискаунтером и основным направлением ее бизнеса были розничные клиенты. Когда же удалось выйти на федеральный уровень, то оказалось, что рынок В2В и В2G занят конкурентами далеко не полностью, это побудило активно работать в новом направлении. Но для успеха требовалось не только модернизировать существующую инфраструктуру, но и внедрить новые ИТ-системы.

«Сильно вырос объем обрабатываемых данных, ужесточились требования к аналитике. Пришлось задуматься о развитии существовавшей инфраструктуры, – говорит Дворников. – Две имеющиеся на тот момент площадки были заполнены примерно на 80%, и встал вопрос о выборе пути расширения – собственными ресурсами или посредством аренды».

При этом компании пришлось столкнуться с серьезными ограничениями. Архитектура бизнес-критичных приложений подразумевает территориальную распределенность, но для обеспечения необходимых показателей отказоустойчивости нужно, чтобы расстояние между площадками не превышало 100 км. Другим фактором, повлиявшим на выбор площадки, стало то, что исторически весь ИТ-департамент Tele2 находится в Ростове-на-Дону. Именно в этом городе и пришлось развивать свою инфраструктуру.

«Поскольку мы стали быстро развиваться и внедрять новые системы, то самым простым вариантом была бы аренда мощностей на коммерческих площадках. Однако в Ростове на тот момент отсутствовали провайдеры, способные обеспечить требуемые энергетические мощности и параметры по безопасности», – констатирует Дворников. В итоге было решено искать площадку для собственного дата-центра. Не новость, что в крупных городах доступная электрическая мощность – один из камней преткновения, особенно если требуется получать ее из двух независимых источников. Оказалось, что такими мощностями обладают только бывшие заводские площадки. Большая часть из «развалившихся» заводов либо трансформировались в логистические склады, либо находятся в ужасном состоянии в плане физической безопасности – это громадные ангары площадью несколько десятков тысяч метров. После долгого отбора нашли две площадки, удовлетворявшие нужным критериям, в том числе по надежности собственника, и уже из них выбрали лучшую.

Здание внутри здания

Оптимистичные планы натолкнулись в 2014 году на проблемы. Бюджет на новый ЦОД был утвержден акционерами в самом начале года. Так как компания должна была развивать и свой основной бизнес – мобильную связь, а все телеком-оборудование закупается за валюту, то совет директоров потребовал реализовывать проект без изменения бюджета. При этом весьма сжатые сроки тоже никто не пересматривал – планы по развитию и миграции клиентов «Ростелекома» в инфраструктуру Tele2 никто не отменял. На реализацию проекта было отведено 14-15 месяцев, а его бюджет внезапно стал весьма скромным.

В какой-то момент в качестве основного варианта рассматривалась модульная архитектура ЦОД. Специалисты даже побывали в компаниях, использующих такие решения. «Заводские площадки, которые мы просматривали, были огромными, а высота помещений варьировалась от 7 до 30 метров. На этом фоне ЦОД выглядит маленькой коробочкой, ему необходима физическая изоляция от остального помещения», – объясняет Дворников. Однако выяснилось, что модульная архитектура пока несколько дороже классической, а стесненное пространство внутри модулей не позволяет гибко наращивать инфраструктуру желаемыми ресурсами.

Большинство российских компаний пока останавливают свой выбор на экономичных – пусть не самых передовых, но зато проверенных и надежных решениях

Пришлось вернуться к классическому решению, с которым и вышли на конкурс, куда пригласили крупнейших интеграторов, имеющих опыт реализации подобных объектов. Переживали, что многие кандидаты не согласятся из-за бюджета, но оказалось, что у большинства он не вызвал особых проблем. А вот со сроками согласились немногие. Фактически на работы было отведено семь месяцев – объект требовалось сдать к январю 2016 года. По итогам конкурса победила компания «Техносерв», а компания «ДатаДом» была приглашена осуществлять полный технический надзор за проектом.

После отказа от модульного ЦОД концепция «здание внутри здания» тем не менее осталась. Реализовав ее в рамках строительства классического ЦОД, удалось бы решить сразу несколько проблем. Главной из них была физическая безопасность: внешнее здание ветхое, а кроме того, склады могут сдать в аренду кому угодно, поэтому предсказать, с кем придется соседствовать, невозможно. Нужно было подумать и о пожарной безопасности. К ней отнеслись очень серьезно: рассчитывали такую выносливость конструкций, чтобы даже при полном обрушении внешнего здания с инфраструктурой ничего серьезного не произошло. Попутно удалось получить замечательную теплоизоляцию, а этот фактор в условиях южного климата крайне важен.

ЦОД рассчитан на 100 стоек. Для коммерческой площадки это очень немного, а для Tele2, по признанию Дворникова, весьма прилично, особенно с учетом того, что сейчас практически все платформы виртуализуются.

Надежно и без амбиций

Проект показал, что даже в тяжелой экономической ситуации можно не только построить ЦОД, но и сделать это быстро и качественно.

Все инфраструктурные системы зарезервированы по схемам от N+1 до 2N, а все бизнес-критичные приложения – по схеме 2N+1. Любая система ЦОД может выйти из строя на неопределенное время, но резервные будут продолжать обслуживание абонентов.

«У нас нет амбиций ни по красоте, ни по сертификации, ни по энергоэффективности. Наша задача как дискаунтера – оптимизировать операционные затраты», – подчеркивает Дворников. ЦОД напрочь лишен эстетики, это инженерный объект, а не гламурное здание. Кроме того, ограниченный бюджет не позволил использовать самые передовые решения. Например, в техническое задание пытались включить определенные показатели энергоэффективности, но после финансовой оценки от них отказались. К сожалению или к радости, в России электроэнергия пока самый дешевый ресурс.

На четверть облачный «Акадо»

Если в Tele2 строили ЦОД для себя, то в «Акадо Телеком» – для клиентов. В Москве у компании насчитывается более 7 тыс. корпоративных клиентов, и среди них много государственных организаций. Два ЦОД у «Акадо» уже было; после того как их наполнение приблизилось к максимуму, было принято решение о развертывании третьего.

Как известно, строительство нового ЦОД всегда начинается с поиска площадки. После безуспешных поисков было решено расположить дата-центр в собственном здании, достроив один из существующих ЦОД.

Илья Астахов, директор департамента развития сетей и платформ «Акадо Телеком»:
«Размещение чужого оборудования уже невыгодно. ЦОД может приносить доход, только если часть его ресурсов будет использоваться для предоставления облачных услуг»

Объем нового дата-центра составил около 200 серверных стоек, а одним из условий конкурса стало построение в рамках проекта готовой платформы виртуализации.

«Наша практика показывает, что строить ЦОД просто под услуги размещения – colocation – уже невыгодно. Он может приносить доход, если часть его ресурсов будет использоваться для предоставления облачных услуг», – отмечает Илья Астахов, директор департамента развития сетей и платформ «Акадо Телеком».

Как и в Tele2, бюджет проекта верстался в 2014 году, и к моменту проведения конкурсных процедур его долларовый эквивалент оказался урезан. Более того, появилось дополнительное условие: начальное финансирование проекта должен был осуществлять интегратор. В конкурсе участвовали пять компаний, три из них выбыли по финансовым соображениям.

В Минкомсвязи уже давно ходит идея «государственного облака», но до практики пока далеко

Победителем конкурса была признана Huawei, которая смогла выполнить не только технологические, но и финансовые требования, обеспечив создание решения под ключ. В результате ЦОД удалось построить с первоначальным бюджетом, оставшись «в хорошем выигрыше».

«Работы проводились отечественными специалистами. Компания собрала весьма сильную команду российских экспертов по всем направлениям, включая инженерную инфраструктуру, став полноценным системным интегратором», – подчеркивает Астахов.

При реализации проекта была использована гиперконвергентная платформа Huawei FusionCube с собственным гипервизором FusionSphere. В «Акадо» ее начали эксплуатировать еще до строительства ЦОД, и компания успела получить значительный опыт ее использования – полтора года. Под облачную часть отведена примерно четверть площади ЦОД, в остальном он рассчитан на размещение оборудования для основных клиентов.

«Мы построили операторский ЦОД. Его ключевое отличие – гораздо более высокая, чем у независимых провайдеров, обеспеченность телеком-инфраструктурой. Именно ради нее многие заказчики выбирают телеком-оператора в качестве поставщика услуг», – говорит Астахов. Конкурировать на рынке услуг colocation с другими ЦОД, дающими демпинговые цены и ориентирующимися на совершенно другие ниши, «Акадо» не может и не будет.

Благодаря тому, что новый ЦОД расположен в том же здании, что и один из старых, их обслуживает одна команда. Это позволяет сильно экономить.

Уже завершено строительство первой очереди нового ЦОД. Как только площадка будет заполнена на 70%, начнется строительство второй очереди. А поскольку инфраструктура полностью готова, реализация этой части проекта займет очень мало времени.

Подмосковные облака

Все чаще облачные решения используют государственные организации. Эта тенденция продиктована стремлением к оптимизации ИТ. Кроме того, процедуры обслуживания граждан заметно ускоряются. Под эти изменения приходится адаптировать и ИТ. Поэтому подмосковным правительством было решено построить частное облако для обеспечения работы региональных информационных систем.

Тенгиз Алания, заместитель директора ГКУ: «Московский областной центр информационно-коммуникационных технологий»:
«Мы должны рано или поздно отказаться от собственных ЦОД и их эксплуатации и перейти к гибкой модели получения ресурсов от внешних поставщиков»

«Когда в 2014 году мы начинали проект централизации, для него были очевидные предпосылки: 40 внутренних клиентов – ведомств, которые явно нерационально тратили бюджетные деньги на собственные серверные и свой штат эксплуатации. Нужно было убрать из ведомств непрофильные функции», – говорит Тенгиз Алания, заместитель директора ГКУ «Московский областной центр информационно-коммуникационных технологий».

Первым этапом стала техническая консолидация ресурсов: были собраны воедино около 300 физических серверов. После уточнения требований к производительности систем начали быструю миграцию, ее удалось завершить за полгода.

К концу 2014 года непрофильные активы из организаций были изъяты, а ответственность за инфраструктуру полностью переложена на выделенное ведомство. При этом заказчики получили гибкость в вопросе доступа к вычислительным ресурсам для размещения своих систем.

«Имея лишь платформу виртуализации, мы начали “погибать” под объемом заявок в техподдержку. Отказывать внутренним клиентам было нельзя, а число запросов росло лавинообразно», – вспоминает Алания. Самым простым выходом стало создание системы самообслуживания – фактически переход к облачной модели. Она была запущена в промышленную эксплуатацию в 2015 году, и в результате заказчики смогли самостоятельно получать пул необходимых ресурсов и разворачивать на них информационные системы. Техническая поддержка была разгружена: от сотен заявок в день удалось перейти к десяткам.

«С платформенной точки зрения мы стояли на перепутье. С одной стороны, у нас была элегантная и выверенная платформа виртуализации VMware, а с другой – экономичные альтернативы: свободное решение ManageIQ и его коммерческая реализация Red Hat CloudForms», – отмечает Алания. Главным критерием для любой государственной структуры является стоимость, на втором месте – функционал и поддержка. Что касается цен, то все прекрасно знают, как обстоит дело с лицензиями на vCloud, и с этой точки зрения VMware не может конкурировать с открытыми платформами. Но CloudForms в ряде направлений уверенно выигрывает и по функционалу.

Справедливости ради стоит отметить, что это решение пришлось модифицировать, чтобы сделать его более дружественным по отношению к пользователям. По признанию Алании, «родной» интерфейс CloudForms способен привести в ужас рядового чиновника, поэтому портал самообслуживания практически стал собственной разработкой.

В первую очередь в результате построения регионального облака ведомства получили гибкость и экономию во времени. Чиновникам не нужно дни и ночи заниматься подготовкой спецификаций, обсуждать производительность, тестировать. Они оперируют простыми понятиями: процессоры, память, хранилище, сеть. Московский областной центр ИКТ, в свою очередь, стал «единым окном» предоставления ИТ-услуг. Сейчас 130 физических серверов поддерживают работу 1,2 тыс. различных информационных систем.

Развитие созданного решения идет по пути дальнейшей экономии.

«Первая и самая важная возможность для оптимизации – отказаться от собственных ЦОД и их трудоемкой эксплуатации и перейти к гибкой модели получения ресурсов от внешних поставщиков», – считает Алания. В Минкомсвязи уже давно ходит идея «государственного облака», но до практики пока далеко.

Вторая возможность – снижение стоимости облака посредством перехода на более дешевые гипервизоры, надо постараться максимально уйти от корпоративного сегмента решений. Это не всегда удается: по некоторым направлениям позиции VMware пока выглядят незыблемыми.

***

Можно констатировать, что большинство российских компаний пока останавливают свой выбор на экономичных – пусть не самых передовых, но зато проверенных и надежных решениях.

Согласно ожиданиям экспертов, рынок будет двигаться в направлении модульных и конвергентных систем. Их нельзя отнести к способам мгновенной экономии, но зато они дают поэтапное развитие инфраструктуры и заметно ускоряют реализацию проектов.