ЦОД «ФосАгро» в Череповце

«ФосАгро» — российская вертикально интегрированная компания, основное направление деятельности которой — производство фосфорсодержащих удобрений, фосфатного сырья (апатитового концентрата), а также кормовых фосфатов, азотных удобрений и аммиака. В группу «ФосАгро» входят АО «Апатит» и его Балаковский филиал, АО «ФосАгро-Череповец», АО «Метахим», ООО «ФосАгро-Транс», ООО «ФосАгро-Регион» и АО «НИУИФ». Группа является крупнейшим европейским производителем фосфорных удобрений, а также крупнейшим мировым производителем высокосортного фосфорного сырья.

Как рассказывает Сергей Диденко, ИТ-директор «ФосАгро», главными целями создания нового ЦОДа стали централизация всего серверного комплекса компании в одном месте, а также реорганизация ядра сети. Но прежде чем остановиться на решении строить свой ЦОД в одном из зданий на территории предприятия «ФосАгро-Череповец», специалисты компании тщательно проанализировали и другие возможные варианты решения своих ИТ-задач.

ВЫБОР МОДЕЛИ И МЕСТА

Сергей Диденко: «Мы хотели показать ИТ-сообществу, что можно быстро и качественно построить энергоэффективный объект. Хотели, чтобы наш ЦОД стал лучшим, по крайней мере, в Вологодской области»

Один из вариантов — использование услуг коммерческих ЦОДов. «Мы рассматривали предложения нескольких провайдеров по разным моделям: размещение оборудования, его аренда, покупка сервисов. Но поняли, что все они существенно повышают операционные затраты (OPEX), что неперспективно при длительном горизонте планирования, — рассказывает Сергей Диденко. — Как известно, в России коммерческие ЦОДы сосредоточены в Москве и Санкт-Петербурге. Перевод серверного комплекса в одну из столиц — это большие затраты. Перенастройка инфраструктуры тоже немалые расходы. А если мы не будем удовлетворены качеством сервиса, то придется опять мигрировать, тратя значительные средства». По итогам проведенных расчетов общей стоимости владения (TCO) за пять лет специалисты «ФосАгро» сделали выбор в пользу создания собственного ЦОДа.

Далее встал вопрос выбора технологии исполнения ЦОДа. На начальных этапах подготовки проекта рассматривалась возможность установки мобильного/контейнерного ЦОДа. Однако выгода оказалась неочевидна, тем более что в существующем здании имелось достаточно ресурсов и его модернизация не потребовала бы больших затрат. Контейнерные ЦОДы востребованы в тех случаях, когда ощущается дефицит физического места для размещения оборудования или предполагается возможность его перебазирования в другое место. Ни то ни другое для «ФосАгро» актуальным не является.

В качестве «дома» для будущего ЦОДа было выбрано трехэтажное здание ИТ-службы на территории АО «ФосАгро-Череповец». Здесь следует отметить, что это предприятие образовано в результате слияния ОАО «Аммофос» и ОАО «Череповецкий «Азот»» и, соответственно, имеет две площадки в Череповце. До реализации описываемого проекта на каждой имелось по две серверные комнаты, организованные в обычных офисных помещениях. При этом ИТ-оборудование, размещенное на фосфорном комплексе, сильно страдало от крайне неблагоприятной окружающей среды: содержание в воздухе паров кислот приводило к быстрому окислению электрических контактов, в результате серверы выходили из строя значительно раньше, чем аналогичное оборудование в серверных азотного комплекса, причем не помогали никакие фильтры. Как следствие, ЦОД было решено строить на территории более экологически чистого азотного комплекса.

ОСНОВНЫЕ ЦЕЛИ И ВЫБОР ВЕНДОРА

Главным требованием к новому ЦОДу был высокий уровень надежности и отказоустойчивости. С самого начала компания ориентировалась на уровень Tier III, который, в частности, позволяет отключать компоненты инженерной инфраструктуры для их профилактического обслуживания и/или ремонта без прерывания работы ИТ-систем. И хотя официальной сертификации в Uptime Institute не предполагалось, принципы построения для достижения этого уровня надежности максимально учитывались при создании инфраструктуры. «Мы не коммерческий ЦОД, поэтому сертификация для нас не имеет смысла. Мы сами понимаем свой уровень, и этого достаточно», — подчеркивает ИТ-директор «ФосАгро».

Кроме того, важна была и энергоэффективность объекта. Предприятие хорошо обеспечено энергией, поэтому проблем с получением нужной мощности не было (хотя и требовалась тщательная очистка поступающего с завода электричества для фильтрации всех помех). «Энергоэффективность принималась во внимание даже не столько ради сокращения энергопотребления, сколько для снижения влияния на окружающую среду. Это тем более символично, поскольку 2017 год — год экологии в России, — рассказывает Сергей Диденко. — Мы хотели показать ИТ-сообществу, что можно быстро и качественно построить энергоэффективный объект. Хотели, чтобы наш ЦОД стал лучшим, по крайней мере, в Вологодской области».

Ввиду приоритета, отдаваемого отказоустойчивости, было решено строить моновендорный ЦОД: чтобы все основные компоненты инженерной инфраструктуры были от одного производителя. Возможно, неочевидную для кого-то связь между отказоустойчивостью и моновендорностью специалисты «ФосАгро» оценили на собственном опыте.

В зале со стандартными стойками для повышения эффективности охлаждения изолирован «горячий» коридор

Сергей Диденко приводит такой пример: «На одном из наших ИТ-комплексов получилось так, что силовой кабель был проложен рядом с греющимся элементом системы охлаждения. За несколько месяцев изоляция нарушилась, и произошел пробой, приведший к остановке инженерных систем. Проблема затронула сразу несколько систем: вышибло электрику, и произошла утечка хладагента из системы охлаждения. Вендоры стали выяснять между собой, кто виноват: то ли кабель был проложен неверно, то ли система охлаждения смонтирована некорректно. Нам же важно, чтобы неисправность была быстро устранена без перекладывания ответственности. Поэтому, учитывая имеющийся опыт, мы сделали выбор в пользу одного основного производителя и единого сервисного контакта с ним на техподдержку».

Забегая вперед, скажем, что именно этот вариант и был реализован. Причем, помимо других преимуществ, он позволил снизить стоимость обслуживания. «Сопровождение всего инженерного комплекса одним вендором дает существенную экономию средств. Например, выезд одного высококвалифицированного инженера позволяет сразу решить массу вопросов, связанных с различными системами», — говорит ИТ-директор «ФосАгро».

Как рассказывают специалисты «ФосАгро», при выборе поставщика рассматривались те, кто способен предоставить инженерную инфраструктуру «в комплексе». Уже на этапе анализа первичных коммерческих предложений выбор был сделан в пользу Schneider Electric. Немаловажным оказался предыдущий положительный опыт использования оборудования этой компании на другом крупном ИТ-объекте «ФосАгро» — ЦОДе в Кировске (см. ниже), а также тот факт, что специалисты «ФосАгро» уже обучены работе с продуктами указанного производителя.

После выбора основного вендора был проведен тендер на проектирование и выполнен проект, который прошел экспертизу в Schneider Electric. В основном тендере, где предложения конкурировали по стоимости, участвовали семь крупных интеграторов, а выиграла его компания IBS Platformix.

РЕАЛИЗАЦИЯ ПРОЕКТА

Дальше началось самое интересное. Тендер был завершен в августе 2016 года, а основные работы по проекту необходимо было выполнить до конца года. Состояние инженерных систем существующих серверных не соответствовало требованиям к надежности ИТ-систем, поэтому заказчик торопил. По сути, на реализацию ЦОДа вместе с ремонтом здания отводилось четыре месяца. Команды «ФосАгро», IBS Platformix и Schneider Electric успели в срок: хотя формально ленточка была перерезана в мае 2017 года в День химика, ИТ-оборудование в новый ЦОД начали устанавливать уже в конце зимы.

Сергей Диденко видит главную причину успеха в слаженной работе всех команд и синхронизации всех процессов. «Schneider Electric всегда шла нам навстречу: поставки были осуществлены в рекордно короткие сроки, и они согласовывались с планом выполнения работ. Оборудование «с колес» устанавливалось сразу на подготовленные места, дополнительные перемещения по площадке были минимизированы», — рассказывает он.

В новом ЦОДе — два серверных зала. Один рассчитан на установку стандартных стоек с ИТ-оборудованием. В нем сейчас находятся 28 стоек. Второй зал предназначен для размещения ИТ-оборудования нестандартных габаритов: стойки СХД, нестандартные серверы и пр. Расчетная мощность ИТ-оборудования ЦОДа — 250 кВт. Такая же мощность выделена для электропитания инженерных систем.

Один из двух залов ЦОДа предназначен для установки ИТ-оборудования нестандартных габаритных размеров

Электропитание ЦОДа осуществляется от двух подстанций среднего напряжения общей мощностью 1 МВт. Подстанции дублируют друг друга для повышения отказоустойчивости. Для обеспечения бесперебойного питания нагрузки «чистым» напряжением установлено два ИБП Symmetra PX мощностью 500 кВт каждый. Таким образом, один ИБП способен держать всю нагрузку: ИТ-оборудование и инженерные системы.

Бесперебойным питанием обеспечены все основные элементы инженерных систем — за исключением компрессоров чиллеров. В случае аварии временное (до перевода всего оборудования на работу от дизель-генератора) охлаждение серверных залов будет осуществляться за счет холодного этиленгликоля, запасенного в баках-аккумуляторах.

Емкость комплектов аккумуляторных батарей в системе ИБП рассчитана на то, чтобы обеспечить автономное электропитание в течение 10–15 мин — этого времени более чем достаточно для гарантированного запуска ДГУ. Но пока ЦОД загружен не на полную мощность, аккумуляторы способны гарантировать время автономии более часа.

Symmetra PX представляет собой модульную систему бесперебойного питания с высоким КПД (95,6% при нагрузке от 40 до 100%), что позволяет сократить расходы на электропитание как самого ИБП, так и обслуживающей его системы кондиционирования (для этой цели применена стандартная фреоновая сплит-система). Эксперты Schneider Electric также обращают внимание на то, что этот ИБП имеет единичный выходной коэффициент мощности, благодаря чему можно подключить большее количество серверного оборудования (в отличие от ситуации, когда, например, применяются ИБП с коэффициентом мощности 0,9).

Электропитание ЦОДа осуществляется от двух подстанций среднего напряжения общей мощностью 1 МВт. Подстанции дублируют друг друга для повышения отказоустойчивости

Для охлаждения основного ИТ-оборудования применяется чиллерная одноконтурная схема с использованием не замерзающего зимой этиленгликоля. Ввиду географического расположения ЦОДа, с октября по апрель активно используется функция естественного охлаждения. Она реализована в установленных на улице трех чиллерах Uniflair и позволяет отключить компрессоры, оставив в работе только циркуляционные насосы, перекачивающие хладоноситель. Потребление электроэнергии при этом существенно сокращается.

В машинных залах установлены внутрирядные кондиционеры InRow в компактном корпусе (шириной всего 300 мм). Они прогоняют холодный этиленгликоль через теплообменник, в котором охлаждается воздух, используемый для охлаждения ИТ-оборудования. В зале со стандартными стойками для повышения эффективности охлаждения предусмотрена система изоляции «горячего» коридора, который образован между двумя рядами стоек. В зале, где установлено ИТ-оборудование нестандартных габаритов, реализована несколько иная схема: между двумя рядами стоек выделен «холодный» коридор, но он не изолирован.

Для мониторинга инженерной инфраструктуры в ЦОДе внедрена система StruxureWare Data Center Expert — базовый элемент систем DCIM. Data Center Expert непрерывно собирает данные о состоянии всех основных элементов инженерных систем и событиях в инфраструктуре. Для уведомления об авариях и критических отклонениях параметров от нормы предусмотрена гибкая система оповещений, которая интегрирована с системой Help Desk. Кейсы открываются автоматически, при этом инициируется вызов необходимого специалиста. Кроме того, часть диагностической информации передается в службу поддержки Schneider Electric. Это позволяет не только своевременно реагировать на аварийные ситуации, но и оптимизировать проведение планово-профилактического обслуживания, превентивно заменяя критически важные элементы.

Реализованная в чиллерах функция естественного охлаждения позволяет отключить компрессоры, оставив в работе только циркуляционные насосы, перекачивающие хладоноситель

КАТАСТРОФОУСТОЙЧИВОСТЬ

Концепция построения ИТ-системы «ФосАгро» предусматривает наличие двух географически разнесенных ЦОДов для обеспечения катастрофоустойчивости. Резерный ЦОД с тем же уровнем внутренней надежности находится в г. Кировске Мурманской области, он был введен в эксплуатацию в 2014 году. По общей структуре он похож на ЦОД в Череповце. В нем также имеются два серверных зала: один под стандартные ИТ-стойки, другой — под негабаритную аппаратуру. Основное инженерное оборудование для него также поставила Schneider Electric, правда, там в качестве основной системы охлаждения используется не чиллерная, а фреоновая система.

Интересная особенность заключается в том, что ЦОД в Кировске реализован по принципу «дом в доме» (помещение ЦОДа размером 16×16 м находится внутри большого цеха). Это, в частности, позволяет избежать снеговой и ветровой нагрузки на внешние блоки системы охлаждения. А выделяемое ЦОДом тепло выпускается через специальные клапаны и отапливает здание в зимнее время.

Все основные информационные системы «ФосАгро» находятся в ЦОДе в Череповце. Критичные бизнес-приложения распределены: одна нода — в Череповце, другая — в Кировске. Но при этом на каждой производственной площадке есть свои небольшие серверные, предоставляющие бизнес-критичные локальные сервисы в минимальном объеме. Это особенно важно для поддержки промышленных процессов, когда требуется максимально близкое расположение систем обработки данных по отношению к конечным устройствам. В частности, часть серверов АСУТП находятся в непосредственной близости к конкретным цехам.

Между основными площадками «ФосАгро» (Кировск, Череповец, Булаково) организованы каналы с пропускной способностью 400 Мбит/c. До других площадок — каналы 100–200 Мбит/с. Услуги связи оказывают два независимых оператора, все каналы территориально распределенной сети зарезервированы.

В ходе проекта по построению ЦОДа в Череповце также было модернизировано корпоративное ядро сети. Скорость каналов связи была увеличена в 40 раз — с 1 до 40 Гбит/с. Доступ пользователей в новом центре обработки данных организован на скорости 1 Гбит/с, а для других площадок компании — 200 Мбит/с. При этом улучшилось быстродействие и повысилось качество сервисов (например, система ВКС теперь работает в HD-качестве, без задержек изображения и звука). Для ряда приложений время отклика сократилось в 10–15 раз, что сразу заметили пользователи.

НА 20 ЛЕТ ВПЕРЕД

В рамках концепции цифровой трансформации экономики компания «ФосАгро» делает ставку на существенное повышение уровня автоматизации производственных процессов. Благодаря реализации за последние три года порядка 80 ИТ-проектов этот уровень повысился на 50%, а операционные затраты компании существенно снизились. Централизация персонала и функций управления в Чере-

повце позволила перейти на электронный архив и реализовать систему электронного документооборота. Сейчас завершается обновление основной корпоративной информационной системы, на очереди — проект, который позволит «доходить» напрямую до потребителей, исключив промежуточные звенья и предоставив покупателям удобные инструменты для контроля логистики и сроков поставки.

Очевидно, что процессы «цифровой трансформации» невозможны без современных технологий. Новый ЦОД в Череповце обеспечит надежное и эффективное функционирование и устойчивое развитие ИТ-систем. По расчетам специалистов «ФосАгро», заложенный при его создании запас мощности позволит поддерживать постоянно развивающиеся ИТ-системы в течение 20 лет.

Александр Барсков, ведущий редактор «Журнала сетевых решений/LAN»