В конце мая 2015 года в Дубне состоялась торжественная церемония открытия первой очереди федерального центра обработки данных ФНС России. Этот ЦОД построен для консолидации, обработки, анализа и хранения налоговой информации со всей страны в одном месте. Формируемый в ЦОДе «единый налоговый файл» позволит сопоставлять и анализировать между собой любые налоговые данные, что, в частности, значительно усложнит различные попытки применения незаконных схем уклонения от уплаты налогов.

ЦОД, который обошелся казне в 7,9 млрд рублей, построен на территории, прилегающей к правобережной площадке особой экономической зоны «Дубна». Его площадь — 7000 м2, вместимость — 450 стоек, общее энергопотребление — 5 МВт (с возможностью расширения до 10 МВт).

Открытый в Дубне ЦОД станет частью системы центров обработки данных, в которую также войдут два резервных ЦОДа в городах Городец (Нижегородская область) и Ерзовка (Волгоградская область). Первый из них планируется сдать в эксплуатацию уже в этом году, второй — до 2018 года. В совокупности они позволят создать территориально разнесенную катастрофоустойчивую систему информационно-коммуникационного обеспечения деятельности налоговых органов и налогоплательщиков.

На первом этапе в ЦОДе были размещены 150 стоек с ИТ-оборудованием, поддерживающим работу информационных систем ФНС. На втором этапе (2016–2017 годы) будет установлено еще 250 стоек. Находящееся в них ИТ-оборудование обеспечит расширение ИТ-сегмента ФНС, а также будет использовано для развертывания и функционирования информационных систем Федерального казначейства (ФК). Таким образом, в ЦОДе разместятся ИТ-системы двух ключевых служб Министерства финансов (ФНС и ФК).

Для подключения ЦОДа к магистральным линиям связи «Ростелеком» проложил 151 км оптики. Сегодня объект подключен к опорным сетям двумя линиями связи с пропускной способностью по 30 Гбит/с каждая — в них используется технология спектрального уплотнения (WDM) для мультиплексирования каналов 10G (3x10G). Оператор в любое время готов увеличить пропускную способность линий связи до 100G. Трассы линий связи территориально разнесены, что исключает единую точку отказа.

ЦОД ФНС России в Дубне

 

На объекте развернута мощная подсистема инженерных средств охраны, включая периметральное ограждение, верхнее дополнительное ограждение (барьер типа «Егоза»), нижнее дополнительное средство защиты от подкопа, выдвижные дорожные барьеры и пр. Развернутая телевизионная система видеонаблюдения обеспечивает, в частности, идентификацию лиц, перемещающихся по территории объекта.
На объекте развернута мощная подсистема инженерных средств охраны, включая периметральное ограждение, верхнее дополнительное ограждение (барьер типа «Егоза»), нижнее дополнительное средство защиты от подкопа, выдвижные дорожные барьеры и пр. Развернутая телевизионная система видеонаблюдения обеспечивает, в частности, идентификацию лиц, перемещающихся по территории объекта.

 

Для оперативного управления ЦОДом предусмотрены две диспетчерские. Одна (на фото) служит для мониторинга ИТ-инфраструктуры. В ЦОДе развернуты программно-аппаратные комплексы баз данных: Oracle Exadata Database Appliance — для транзакционных операций и Teradata Active Enterprise Data Warehouse Appliance — для аналитики. Кроме того, установлены универсальные ИТ-модули FlexPod, которые состоят из вычислительной системы (серверов) Cisco UCS, сетевой системы Cisco Nexus и системы хранения данных NetApp FAS.
Для оперативного управления ЦОДом предусмотрены две диспетчерские. Одна (на фото) служит для мониторинга ИТ-инфраструктуры. В ЦОДе развернуты  программно-аппаратные комплексы баз данных: Oracle Exadata Database Appliance — для транзакционных операций и Teradata Active Enterprise Data Warehouse Appliance — для аналитики. Кроме того, установлены универсальные ИТ-модули FlexPod, которые состоят из вычислительной системы (серверов) Cisco UCS, сетевой системы Cisco Nexus и системы хранения данных NetApp FAS.

 

В этой диспетчерской размещены экраны, на которых наглядно представлено состояние основных инженерных систем, включая систему охлаждения (экран справа вверху) и бесперебойного питания (экран справа внизу).
 В этой диспетчерской размещены экраны, на которых наглядно представлено состояние основных инженерных систем, включая систему охлаждения (экран справа вверху) и бесперебойного питания (экран справа внизу).

 

Инженерная инфраструктура ЦОДа спроектирована в соответствии с требованиями Tier III компании Uptime Institute. Система бесперебойного гарантированного электропитания построена по классической схеме: на базе статических ИБП (Protect Blue производства компании AEG) и дизель-генераторных установок (SDMO серии EXEL II). Несколько удивительным выглядит решение разместить ИБП в машинном зале (на фото). Аккумуляторы вынесены в отдельное помещение, их характеристики рассчитаны на обеспечение автономной работы в течение 15 мин. Запаса топлива ДГУ хватит для гарантированного электропитания ЦОДа в течение 12 ч.
Инженерная инфраструктура ЦОДа спроектирована в соответствии с требованиями Tier III компании Uptime Institute. Система бесперебойного гарантированного электропитания построена по классической схеме: на базе статических ИБП (Protect Blue производства компании AEG) и дизель-генераторных установок (SDMO серии EXEL II). Несколько удивительным выглядит решение разместить ИБП в машинном зале (на фото). Аккумуляторы вынесены в отдельное помещение, их характеристики рассчитаны на обеспечение автономной работы в течение 15 мин. Запаса топлива ДГУ хватит для гарантированного электропитания ЦОДа в течение 12 ч. 

 

Разводка электропитания по машинному залу осуществляется с помощью шинопроводов по двухлучевой схеме (2N). Это значит, что каждая стойка подключена по двум независимым силовым линиям, что хорошо видно на фото.
Разводка электропитания по машинному залу осуществляется с помощью шинопроводов по двухлучевой схеме (2N). Это значит, что каждая стойка подключена по двум независимым силовым линиям, что хорошо видно на фото.

 

На объекте установлена инновационная система охлаждения на базе технологии естественного охлаждения (фрикулинг). В основе системы, разработанной российской компанией Ayaks Engineering, — «тепловое колесо», обеспечивающее теплообмен между воздухом, поступающим с улицы, и тем, что циркулирует в ЦОДе и используется для охлаждения ИТ-оборудования. В наиболее жаркие дни дополнительно будут включаться фреоновые кондиционеры, но, как утверждают специалисты Ayaks, они будут задействоваться лишь 10% времени в году. В ЦОДе установлены шесть центральных кондиционеров на базе роторных теплообменников (диаметром 5,1 м), холодопроизводительность каждой установки 640 кВт. Схема резервирования — N+1 на каждый машинный зал, общая схема резервирования — N+2. Расчетное среднегодовое значение PUE климатической системы — 1,13.
На объекте установлена инновационная система охлаждения на базе технологии естественного охлаждения (фрикулинг). В основе системы, разработанной российской компанией Ayaks Engineering, — «тепловое колесо», обеспечивающее теплообмен между воздухом, поступающим с улицы, и тем, что циркулирует в ЦОДе и используется для охлаждения ИТ-оборудования. В наиболее жаркие дни дополнительно будут включаться фреоновые кондиционеры, но, как утверждают специалисты Ayaks, они будут задействоваться лишь 10% времени в году.
В ЦОДе установлены шесть центральных кондиционеров на базе роторных теплообменников (диаметром 5,1 м), холодопроизводительность каждой установки 640 кВт. Схема резервирования — N+1 на каждый машинный зал, общая схема резервирования — N+2. Расчетное среднегодовое значение PUE климатической системы — 1,13.

 

В целом каждый машинный зал (в ЦОДе их два) представляет собой огромный «холодный коридор», куда через большие вентиляционные решетки поступает холодный воздух.
В целом каждый машинный зал (в ЦОДе их два) представляет собой огромный «холодный коридор», куда через большие вентиляционные решетки поступает холодный воздух.

 

Группы стоек, установленных в два ряда, формируют горячие коридоры, которые изолируются с помощью дверей.
Группы стоек, установленных в два ряда, формируют горячие коридоры, которые изолируются с помощью дверей.

 

Воздух из горячего коридора вытягивается вверх.
Воздух из горячего коридора вытягивается вверх.

 

Регулировка производительности системы охлаждения осуществляется ступенчато на основании показаний датчиков температуры, установленных в холодных и горячих коридорах. При этом, как утверждают специалисты Ayaks, высокая энергоэффективность (низкий PUE) сохраняется даже при частичной загрузке комплекса, скажем на 20%. В целом автоматизированная система диспетчеризации и автоматики предусматривает сбор данных с более 3000 датчиков температуры, влажности, протечек, характеристик электропитания и т. д. Всего развернуто более 20 подсистем мониторинга.
Регулировка производительности системы охлаждения осуществляется ступенчато на основании показаний датчиков температуры, установленных в холодных и горячих коридорах. При этом, как утверждают специалисты Ayaks, высокая энергоэффективность (низкий PUE) сохраняется даже при частичной загрузке комплекса, скажем на 20%.
В целом автоматизированная система диспетчеризации и автоматики предусматривает сбор данных с более 3000 датчиков температуры, влажности, протечек, характеристик электропитания и т. д. Всего развернуто более 20 подсистем мониторинга.