ИТ-инфраструктура ЦОД: новые подходы

Задача создания наиболее эффективной инфраструктуры центров обработки данных остается в центре внимания ИТ-отрасли.

Такие темы, как построение и эксплуатация центров обработки данных, создание и использование облачных сред, рациональная организация ЦОД и других компонентов ИТ-инфраструктуры, не теряют актуальности, что в очередной раз подтвердил пятый форум «МИР ЦОД», где традиционно поднимается широкий круг вопросов проектирования, построения и эксплуатации центров обработки данных, развертывания облачных платформ и предоставления ИКТ-сервисов по облачной модели.

ЭФФЕКТИВНЫЙ ЦОД: СЕРВЕРНЫЕ РЕШЕНИЯ

Потребность в обеспечении высокой вычислительной и энергетической плотности, в широких возможностях расширения и управляемости определяет запросы, предъявляемые к вычислительным системам. Необходимая процессорам мощность уже достигает 150 Вт и будет расти. Для нормального же охлаждения мощных ферм виртуализации температура воздуха должна быть на 60–70 градусов ниже температуры процессора.

Выходом может стать использование систем жидкостного охлаждения, причем в этом случае избыточное тепло можно отдавать в окружающую среду без тепловых насосов и фреонового контура. Об одном из таких решений — архитектуре «РСК Торнадо» — рассказал на форуме Егор Дружинин, технический директор компании «РСК Технологии», производящей серверные системы с жидкостным охлаждением.

В архитектуре «РСК Торнадо» используются стандартные процессоры Intel и унифицированные системные платы. Вычислительный узел РСК — это модульная расширяемая система. В качестве расширений могут применяться сетевые платы, графические ускорители, устройства виртуализации.

Вычислительные узлы монтируются в шкафы разработанной РСК конструкции с системами распределения электропитания (PDU) и жидкостного охлаждения. В стойке 80 см × 80 см × 42U размещается до 128 двухпроцессорных серверов. Из шкафов можно собирать системы, насчитывающие сотни и тысячи серверных узлов. Замеренный для них PUE составляет 1,06. Благодаря жидкостному охлаждению можно добиться очень высокой энергетической плотности (кВт/стойка) при низкой стоимости объекта.

Как показали эксперименты, в случае серверов на базе процессоров Intel Xeon E5-2690 с прямым водяным охлаждением, разработанным РСК, процессоры под нагрузкой были на 30 градусов холоднее, чем у серверов с воздушным охлаждением (с тремя штатными вентиляторами), и потому могли работать с более высокой тактовой частотой. Тест выполнялся на 6,5% быстрее, а потребленная сервером мощность оказалась на 23% ниже. Разница в PUE составила 50%. С учетом всей экосистемы ЦОД затраты на электроэнергию оказываются на 88% ниже (см. Рисунок 1), а за счет уменьшения стоимости инфраструктуры снижается общая себестоимость объекта.

Рисунок 1. Применение жидкостного охлаждения позволяет получить существенную экономию (по данным РСК).

Кроме того, переход на жидкостное охлаждение позволяет сократить площадь ЦОД за счет отказа от горячих и холодных коридоров. «Ограничиваться лишь частью серверов бесполезно — с помощью жидкости нужно отводить все тепло, отказавшись от инфраструктуры воздушного охлаждения с его фреоновыми контурами, горячими и холодными коридорами, а это существенная экономия», — поясняет Егор Дружинин. Например, в одном ЦОД в помещении площадью 50 м2 удалось разместить 1280 серверов.

РСК выпускает несколько линеек оборудования на базе «РСК Торнадо» (см. Рисунок 2): для микроЦОД (16–64 серверов), мини-ЦОД (64–256 серверов) и масштабных ЦОД на сотни серверов. Комплекс программного обеспечения «РСК БазИС» предназначен для поддержки высокопроизводительных вычислительных систем и облачных решений на базе стандартных компонентов и открытого кода.

Рисунок 2. Масштабируемость архитектуры «РСК Торнадо».

Мини-ЦОД «РСК Торнадо» включает в себя все необходимые структурные компоненты: одну-две вычислительные стойки (с высокопроизводительными процессорами Intel, интерконнектом Infiniband), систему охлаждения и электропитания, коммуникационную подсистему, управляющий сервер и систему индикации (кроме того, в сервисном шкафу размещаются насосная станция, станция водоподготовки, сетевое оборудование и СХД). Такие системы развернуты в «Росгидромете» и МФТИ. Подготовки помещения для них не требуется.

Полнофункциональный вычислительный комплекс «РСК Торнадо» реализован в МСЦ РАН и ЮУрГУ. Например, суперкомпьютер МВС-10П в МСЦ представляет собой систему из 208 вычислительных узлов по 2,5 Тфлопс каждый. Один узел содержит два процессора Intel Xeon E5-2690, два сопроцессора Intel Xeon Phi SE10X, 64 Гбайт памяти DDR3-1600 LV, интерфейс FDR Infiniband. Этот первый вне США комплекс на базе Intel Xeon Phi был крупнейшим в Европе на момент его ввода в эксплуатацию в 2012 году. Система жидкостного охлаждения с холодопроизводительностью 300 кВт подключена к имеющейся системе водоподготовки здания.

РСК способна предложить законченные решения в сегментах НРС и ЦОД для заказчиков с различными потребностями. Решения оптимизированы как по вычислительной и энергетической плотности, так и по затратам на электроэнергию и площадь, обслуживание и эксплуатацию. По данным компании, с 2009 года ее заказчики сэкономили более 10 млн кВт×ч электроэнергии. Между тем использование жидкостного охлаждения — не единственный способ повышения энергоэффективности ЦОД.

В решении ETegro Therascale OCP реализована вычислительная инфраструктура для ЦОД на базе концепции Open Compute Project (OCP). Сообщество OCP, основанное Facebook, занимается вопросами создания наиболее эффективной инфраструктуры ЦОД при сохранении габаритов существующих стоек. Цели OCP — увеличение наработки на отказ (MTBF), повышение плотности серверов, простота их обслуживания с доступом из холодного коридора, улучшение энергоэффективности, что особенно важно для мегаЦОД и компаний, эксплуатирующих тысячи серверов. В одном из своих ЦОД Facebook удалось достичь PUE 1,07 без применения водяного охлаждения.

Как оказалось, многие инновации OCP подходят не только для гиперЦОД, но и для использования в решениях и проектах для частных/публичных облаков. Система ETegro Therascale OCP включает в себя стойки, вычислительные платформы, системы хранения данных и коммутаторы с поддержкой OpenFlow. Благодаря централизованному электропитанию (в стойку подается постоянный ток), увеличению стандартной ширины стойки до 21 дюйма и улучшению протока воздуха повышаются показатели энергоэффективности. По словам Александра Устюжанина, директора по технологиям ETegro Technologies, при полной нагрузке ETegro Therascale OCP потребляет на 11% меньше электроэнергии по сравнению со стандартными серверами. Наработка на отказ (MTBF) выше на 35%, в пространство 2U можно вместить больше вычислительных узлов и дисков, а 80% компонентов систем заменяются менее чем за три минуты.

Во всех четырех версиях Therascale OCP применяется одна системная плата. На уровне сети, СХД, серверов и ЦОД используются программно определяемые решения. Файл конфигурации загружается на все серверы через сервисный порт. Система управления и удаленного мониторинга дает возможность отслеживать показатели энергопотребления всей системы или отдельных серверов, снимать информацию с датчиков серверов, задавать ограничения потребления электроэнергии.

Рисунок 3. Линейка Therascale OCP включает четыре модели решений — от HPC (90 серверов в стойке, 4,5 Тфлопс, 36 кВт) до хранилища OpenStack и ObjectStorage (15 серверов и 420 дисков, 2,52 Пбайт). Стойки OCP рассчитаны на 12,5 и 25 кВт и поддерживают резервирование по питанию.

В основе Therascale OCP — двухпроцессорные серверы с 16 слотами памяти и сбалансированной производительностью процессоров / подсистемы ввода-вывода. В качестве базовых блоков в линейку OCP входят четыре серверных решения, две дисковые полки, один сервер хранения данных, микросервер и коммутатор 10G SFP+ (см. Рисунок 3). Увеличение ширины стойки OCP с 19 до 21 дюйма позволяет повысить вычислительную плотность и плотность хранения данных. Вместо двух серверов половинной ширины в том же пространстве стойки размещаются три сервера OCP, а вместо 12 жестких дисков — 14 спереди и 14 вторым рядом. При этом доступ ко всем компонентам предусмотрен из холодного коридора, что сокращает время их обслуживания.

Другие особенности системы OCP Therascale — три шины питания в стойке, вентиляторы с горячей заменой, отсутствие избыточных компонентов ввода-вывода (есть порты VGA, USB, слоты расширения). В ней есть только то, что необходимо для эксплуатации ЦОД. Для HPC разработана версия высокой плотности — три сервера в корпусе 1U (см. Рисунок 4), в каждом из которых имеются два процессора Intel Xeon E5-2600 v2, 16 слотов DDR3 DIMM, один SATA/SAS HDD 2,5″, слот PCIe LP-MD2 Gen3 x8, Infiniband (плата OCP Mezzanine), два порта Ethernet и порт VGA.

Рисунок 4. Операторы ЦОД нуждаются в эффективном и простом решении, обеспечивающем сокращение издержек и соответствие требованиям заказчиков. Системы Therascale OCP разработаны на основе OpenRack 1.0 (OpenCompute.org) и хорошо подходят для задач HPC. Они содержат 90 независимых серверов (41,472 Тфлопс в стойке).

СХД OCPJS1 в корпусе 2U имеет 28 дисков 3,5″ SATA/SAS с горячей заменой, а сервер хранения с процессорами Intel Atom — 30 дисков. Микросервер OCP2U42N с процессорами Atom содержит 42 вычислительных узла в корпусе 2U, два коммутатора Intel FM5224 с горячей заменой, два порта 40GbE на каждом коммутаторе (все компоненты с горячей заменой). Коммутатор Eos 410i с 48 портами 10GbE и четырьмя 40 GbE на базе платформы Intel ONP поддерживает SDN и традиционную коммутацию. Наличие специального инструментария дает возможность разрабатывать новые приложения и сетевые протоколы.

«Открытые технологии позволяют предлагать заказчикам любую комбинацию вычислительных узлов, систем хранения и коммутаторов в стойке, использовать готовые или собственные компоненты. При этом нет жесткой привязки к системам коммутации — можно применять коммутаторы любого вендора», — поясняет Александр Устюжанин. Cнизить риски и ускорить развертывание систем помогают готовые интегрированные решения и рекомендации вендоров.

ИНТЕГРИРОВАННЫЕ СИСТЕМЫ И РЕФЕРЕНСНЫЕ АРХИТЕКТУРЫ

Формирование отдельного стека систем и продуктов для каждого приложения — довольно распространенная ситуация. В результате создается разрозненная и трудоемкая в управлении ИТ-инфраструктура, для которой характерны медленное выделение ресурсов и их неэффективное использование, констатирует Игорь Виноградов, системный инженер компании EMC. Отрасли требуются новые подходы к построению инфраструктуры ИТ, и вендоры их предлагают.

«Увеличение количества программно-аппаратных решений приводит к усложнению инфраструктуры ЦОД. Основная идея Oracle — уход от сложности и обеспечение более простого управления инфраструктурой, — рассказывает Сергей Мелехов, руководитель направления продвижения серверных продуктов в регионе EECIS компании Oracle. — Типовой подход с выбором «лучших в своем классе» решений и подбором совместимых продуктов и систем приводит к тому, что ЦОД фактически становится полигоном для подгонки компонентов и отладки систем. Oracle предоставляет все необходимые компоненты, изначально созданные для совместной работы. Они уже протестированы на совместимость — ИТ-персоналу не нужно ничего отлаживать, что существенно сокращает время внедрения инфраструктуры».

Oracle — одна из немногих компаний, способных предоставить заказчикам весь стек решений, от приложений до систем хранения данных. Ее аппаратные платформы включают в себя интегральные программно-аппаратные комплексы, отдельные компоненты (серверы, СХД, средства коммутации) и оптимизированные решения.

Интегральные программно-аппаратные комплексы — Oracle Exadata, Exalogic, Exalytics, SuperCluster и др. — разрабатываются для достижения максимальной производительности всего решения, улучшения масштабируемости, отказоустойчивости и безопасности. В них используются виртуализация ИТ-ресурсов и унифицированные средства управления. Уже выпущено восемь вариантов таких комплексов, оптимизированных для решения различных задач и эффективного использования аппаратных ресурсов (см. Рисунок 5).

Рисунок 5. Интегрированные системы Oracle. По данным Oracle, производительность ее «интегральных комплексов» в 3–8 раз выше, чем у систем с обычной архитектурой.

Например, платформа Oracle Exadata адаптирована для поддержки СУБД Oracle. Этот комплекс позиционируется как решение для задач OLTP, хранилищ данных и консолидации. Применяемая технология гибридного колоночного сжатия данных на порядок снижает требования к емкости хранения, технология Smart Scan уменьшает время обработки запросов, а Smart Flash Cache обеспечивает интеллектуальное кэширование данных.

Oracle SuperCluster объединяет возможности Exadata, Exalogic и технологии SPARC. Система поддерживает обработку в памяти (In-Memory Application) больших объемов данных, имеет встроенные технологии виртуализации. Еще одно интересное решение — Oracle Virtual Compute Appliance (OVCA) для построения «виртуализированных ферм» на базе SDN. В нем применяются технологии программной и аппаратной виртуализации (Oracle VM), системы хранения и серверы x86 (с произвольными ОС), связанные интерконнектом Infiniband, коммутаторы Oracle Virtual Networking.

Рисунок 6. В Oracle считают, что готовые протестированные решения снижают риски внедрения и совместимости. Их достоинства — полностью резервированная и протестированная архитектура, высокая доступность, многоуровневая виртуализация и изоляция, отсутствие проблем интеграции и совместимости, единая точка поддержки.

Фокусируясь на технологии SPARC, Oracle продолжает использовать серверы x86 (до восьми ЦП) как компоненты своих интегральных комплексов, где тоже применяются технологии компании, нацеленные на повышение энергоэффективности и надежности. Что касается линейки SPARC, то в ней имеются системы любого масштаба — до 384 ядер (в M6-32) — всех востребованных форм-факторов. Серверы SPARC T5 могут применяться для разнообразных задач: в качестве серверов баз данных, приложений, связующего ПО и т. д. Трехуровневая технология виртуализации (динамические и логические домены, зоны/контейнеры) обеспечивает гранулярное выделение ресурсов, а ПО виртуализации Oracle VM Server for SPARC поддерживает миграцию ВМ между серверами SPARC разных поколений.

Интегральные комплексы Oracle проходят полное сквозное тестирование, поэтому сроки их внедрения значительно сокращаются, не требуется проверять версии и компоненты на совместимость (см. Рисунок 6). «Системы Oracle лучше, быстрее, эффективнее конкурентных решений и обеспечивают более низкую TCO», — утверждает Сергей Мелехов.

Компания Cisco, сумевшая добиться успеха на мировом рынке со своей серверной платформой и стать одним из лидеров рынка модульных серверов, для построения интегрированной инфраструктуры предлагает разработанные совместно с партнерами комплексные решения на базе собственной серверной платформы UCS (см. Рисунок 7).

Рисунок 7. Интегрированные платформы (доли на мировом рынке, по данным IDC на конец 2013 года).

Серверная платформа для ЦОД Unified Computing System (UCS) выпущена около пяти лет назад. «Ее идея — максимально упростить и повысить эффективность работы системных администраторов. Весь интеллект из сервера вынесен — это просто вычислительный ресурс, динамически получающий свои свойства в зависимости от политик, правил и шаблонов, задаваемых на уровне инфраструктуры в целом. Такой подход упрощает масштабирование и управление крупными вычислительными средами», — считает Евгений Лагунцов, системный инженер-консультант компании Cisco.

В Cisco UCS архитектурно интегрированы вычислительные мощности и сетевая инфраструктура, а управление системой осуществляется как единым целым. «Здесь нет понятия «настройка сервера» — есть настройка фермы. Нет настройки портов коммутаторов — единая коммутационная фабрика (резервированная) настраивается автоматически. Никаких сложностей с интеграцией и согласованной настройкой серверной и сетевой частей в принципе не возникает», — подчеркивает Евгений Лагунцов.

Ядро инфраструктуры UCS составляет унифицированная фабрика, к которой подключаются серверы. К одной паре коммутаторов подключаются все физические серверы разных форм-факторов и виртуальные машины (причем по любым протоколам, будь то трафик SAN или LAN), через них же происходит обмен данными в системах HPC и проходит трафик управления. Вокруг унифицированной фабрики выстроено все, что связано с интеллектом и управлением серверной платформой, — через нее задаются все актуальные шаблоны и политики. При масштабировании просто добавляются серверные ресурсы — изменений в конфигурации и сетевой топологии не требуется.

Таким образом, системообразующие устройства в UCS — это центральный коммутатор Fabric Interconnect, содержащий 48 или 96 универсальных портов (10GbE, FCoE, FC; обычно их два на систему) и шасси (от 1 до 20) с серверами. Причем в сервере нет традиционных адаптеров ввода-вывода: специальный адаптер Cisco имитирует для системного ПО необходимое количество сетевых интерфейсов.

Управление осуществляется через Fabric Interconnect. Конфигурация сервера (число адаптеров ввода-вывода, настройки BIOS, версии прошивки, параметры загрузки, к каким VLAN и VSAN он подключается, параметры SLA) задается в системе управления UCS Director через сервисный профиль. Вся серверная ферма настраивается в одном профиле-шаблоне — это один объект для управления десятками и сотнями серверов и их сетевыми подключениями. Шаблон определяет конфигурацию сервера и может быть применен к оборудованию разного типа. Возможно массовое изменение аппаратной конфигурации фермы путем модификации одного объекта.

Интегрированные решения, включающие все необходимое для облака (серверы, СХД, сетевое оборудование, системное ПО и средства централизованного управления), такие как vBlock (Cisco и EMC) и FlexPod (Cisco и NetApp), востребованы в качестве платформ для облаков. Но возможны и другие варианты построения облачной платформы: «сделай сам» (самостоятельная сборка решения интегратором из разных компонентов) или использование референсной архитектуры, когда система собирается под конкретную задачу согласно рекомендациям вендора. От чего зависит выбор?

«Корпоративные заказчики предъявляют высокие требования к надежности и качеству предоставляемых провайдером услуг. При выборе облачной платформы мы ориентировались на международные компании с высокими требованиями к скорости передачи данных и надежности облачной инфраструктуры. Это предопределило выбор решения — FlexPod от Cisco, NetApp и VMware. Нас устроила его технологическая проработка и функциональность. Однако решение далеко не бюджетное и в целом даже дороже решений подобного класса от других производителей. Если рыночная ситуация будет меняться, мы готовы рассматривать и другие платформы», — рассказывает Герман Кузнецов, коммерческий директор Linxdatacenter.

Выбору в пользу готовых решений препятствует прежде всего их высокая стоимость. Если купить все входящие в них компоненты и интегрировать их самостоятельно, то такая система обойдется дешевле. Кроме того, конечного заказчика интересуют в первую очередь параметры SLA, а не конкретное используемое оборудование. Поэтому провайдер обычно ищет баланс, соотнося стоимость платформы с рисками несоблюдения SLA.

«Для опытного интегратора поддержка собранной им платформы обычно проблем не представляет, и нет смысла переплачивать за протестированное вендором готовое решение, — считает Илья Кошкин, менеджер по развитию бизнеса компании «Инфосистемы Джет». — Оно подходит прежде всего тем, у кого нет достаточной экспертизы для создания собственного, однако все равно потребует кропотливого подбора, настройки и последующего обслуживания продуктов, рассчитанных на конкретную задачу заказчика. Что же касается нас, то, обладая большим опытом работы в области системной интеграции, мы можем выбрать лучшие решения для тех или иных задач».

В EMC полагают, что лучший вариант для ЦОД — гетерогенная среда и эталонная архитектура. Компанией разработаны эталонные (референсные) архитектуры для частных облаков, VDI, различных приложений Oracle и Microsoft, реализация которых позволяет заказчикам снизить риски и ускорить внедрение. Например, на основе референсной архитектуры VSPEX можно создавать конкретные решения из различных компонентов.

«Мы не отвергаем подход «сделай сам», выбираемый прежде всего из стремления сэкономить. Напротив, поощряем его и поддерживаем, предлагая соответствующую документацию, — рассказывает Дмитрий Хороших, менеджер по развитию бизнеса ЦОД компании Cisco. — Однако бывает, что системный интегратор лишь понапрасну тратит время на самостоятельное построение платформы, поскольку в итоге все равно приходит к рекомендуемой вендором архитектуре. Конечно, компания может идти по этому пути, заодно приобретая опыт, но референсные архитектуры и конвергентные стеки позволяют сократить сроки реализации проектов и избежать ошибок. Для универсальной задачи можно применять тиражируемое решение, используя для мониторинга и обеспечения SLA стандартные средства — «поверх» референсной архитектуры строится следующий уровень. Таких архитектур предлагается достаточно много».

По мнению Игоря Виноградова, составлять стеки интегрированных решений, где все укомплектовано, протестировано и не подлежит изменению, — слишком «жесткий», а потому не всегда оправданный подход. ИТ-инфраструктура должна быть эффективной, позволяя, в частности, перераспределять ресурсы, если их избыток образовался в одном месте и недостаток — в другом. Кроме того, вся инфраструктура должна быть управляемой. Желательно, чтобы использовались решения разных вендоров, это облегчает процесс смены поставщика. EMC предлагает свое решение по построению облачной инфраструктуры внутри корпоративного ЦОД и развивает концепцию программно определяемых ЦОД для удовлетворения текущих и будущих требований бизнеса, что находит отражение в ее подходах к хранению данных.

ПРОГРАММНО КОНФИГУРИРУЕМЫЕ И ВИРТУАЛИЗИРОВАННЫЕ СХД

Виртуализация стала одной из ключевых технологий современной ИТ-инфраструктуры и составляет основу концепции построения программно определяемого ЦОД. Виртуализация ресурсов хранения данных помогает в создании гибкой и динамичной ИТ-инфраструктуры, упрощает администрирование СХД, снижает расходы на решение различных задач эксплуатации систем хранения.

Различные способы виртуализации СХД дают возможность на новом уровне использовать ресурсы хранения данных. Один из вариантов такой виртуализации предполагает отделение контроллера от дискового массива. В результате контроллер становится посредником между дисковыми устройствами и потребителями, обеспечивает единую точку управления и распределения емкости хранения, позволяет наделить все задействованные системы общей функциональностью. Примеры таких продуктов: EMC VPLEX и VMAX, HDS VSP и HUSVM, IBM SVC, NetApp v-Series. Как утверждают вендоры, подобные решения позволяют улучшить защиту данных, организовать зеркалирование, получить дополнительные возможности и реализовать единый функционал для виртуализируемых систем.

«Термин ‘‘программно конфигурируемые СХД’’ (Software Defined Storage, SDS) появился сравнительно недавно. Сегодня SDS рассматривают как один из важных элементов программно конфигурируемых (определяемых) ЦОД (Software Defined Data Center, SDDC). Нобходимые в ЦОД изменения возможны только при внедрении SDS, — рассказывает Йенс Герлах, директор компании Datacore Software по региону Западная и Восточная Европа. — Системы хранения разных вендоров и разных типов требуют разных решений управления, а оборудование подчас оказывается полностью несовместимым. Нужны новые подходы к управлению ресурсами хранения. Именно поэтому и родилась концепция SDS, основанная на виртуализации ресурсов хранения данных. Она предполагает разделение программного и аппаратного обеспечения наряду с использованием стандартного ‘‘железа’’. А система управления обеспечивает унифицированное управление виртуальными и физическими ресурсами хранения данных. Еще одно необходимое свойство — сокращение простоев и затрат на обслуживание, миграция данных при выходе из строя какого-либо элемента оборудования».

ПО Datacore SANsymphony-V10 десятого поколения не зависит от оборудования и наделяет системы хранения общей функциональностью, включая единый пул хранения, автоматическое многоуровневое хранение, централизованное управление, синхронное зеркалирование данных между системами, снимки данных и др. Более двух третей заказчиков Datacore сообщают о снижении стоимости хранения на 75% и добиваются значительного (до пяти раз) ускорения быстродействия. Использование емкости хранения увеличивается до четырех раз, до 100% сокращается время простоя, на 90% – время, затрачиваемое на рутинные операции. С имеющимися системами хранения можно интегрировать флэш-массивы (мегакэш), существенно увеличив быстродействие всей инфраструктуры или задействовав их в качестве одного из уровней автоматического иерархического хранения.

ПО Datacore функционирует на сервере и играет роль посредника между сервером приложений и объединенным хранилищем, включающим различные устройства хранения. Такая инфраструктура хранения SDS может эффективно масштабироваться. Иерархическое хранение предусматривает распределение данных по уровням хранения — в каждой системе хранятся те данные, которые для нее лучше подходят, а балансирование нагрузки оптимизирует производительность. В распределенной архитектуре синхронное зеркалирование данных между ЦОД обеспечивает бесперебойную работу приложения даже при отказе на одной из площадок. Возможно и асинхронное зеркалирование на больших расстояниях. Централизованно управляемая инфраструктура VSAN масштабируется до 32 узлов.

Благодаря тому, что виртуализатор прозрачно перемещает данные между системами и площадками, можно сократить простои. А кэширование на SSD вкупе с многоуровневым хранением позволяет повысить производительность систем. Поскольку благодаря виртуализатору системы наделяются дополнительными функциями, такими как дедупликация или сжатие данных, повышается эффективность их работы. Выбирая подобное решение, заказчики ожидают получить единый центр управления, отсутствие простоев, распределенный ЦОД с прозрачным перемещением данных между площадками, использование уже имеющихся ресурсов хранения для решения новых задач, увеличение срока их эксплуатации. Такая виртуализация представляет интерес для средних компаний, оперирующих десятками терабайт данных. Они хорошо подойдут для кластеров высокой готовности, комплексов VDI.

Между тем, как отмечает Роман Володин, руководитель отдела систем хранения данных центра проектирования вычислительных комплексов компании «Инфосистемы Джет», внедрение виртуализации СХД обычно ведет к дополнительным затратам, поэтому в каждом случае надо оценивать, превысит выгода расходы или нет. В случае распределенного ЦОД это немалые затраты на каналы передачи данных, каналообразующее оборудование, лицензии. Важно также изучить списки совместимости аппаратного обеспечения, поскольку обычно для построения SAN приходится приобретать достаточно дорогие решения известных брендов (их собственные виртуализаторы работают только со своим оборудованием). Фактор совместимости и риски эксплуатации следует принимать во внимание, если к виртуализатору будут подключаться старые устройства. Распределенная архитектура порождает свои сложности. Для территориально распределенных кластеров крайне важна бесперебойная связь. Для этого желательно обеспечить дублирование не только активного оборудования, но и самих каналов связи, например, проложив кабели между площадками по разным маршрутам. Если расстояние между ЦОД составляет сотни километров, задержки в распространении сигнала становятся слишком большими.

Иногда виртуализация помогает снизить стоимость хранения данных, решить задачи их миграции, минимизировать время простоя. Например, в организациях среднего размера при активном развитии бизнеса и быстрой трансформации ИТ виртуализация облегчит изменения в ИТ при расширении, появлении новых задач или при переездах. Однако применение виртуализации в крупных комплексах требует очень серьезного подхода и планирования. В организациях с большим объемом данных (сотни терабайт) приходится искать особые решения. Один виртуализатор не справится с обслуживанием десятка дисковых массивов старшего класса — неизбежно возникнут проблемы с производительностью. В этом случае нужно искать другие подходы. Не годится такая виртуализация для распределенной архитектуры, при низкой пропускной способности каналов связи (быстрые каналы связи — обязательное условие для построения территориально распределенной СХД) и в случае мейнфреймов.

За последние два года компания «Инфосистемы Джет» реализовала около десяти проектов с использованием виртуализированных распределенных систем хранения. В числе примеров — распределенная база данных для оператора связи, распределенный ЦОД для банка (с внедрением IBM SVC), фермы виртуальных машин (системы EMC VPLEX) на двух площадках для машиностроительного завода, система SAP для сети розничной торговли, где виртуализация позволила удешевить хранение данных.

Рисунок 8. Разные нагрузки требуют разного уровня обслуживания и оптимизации (например, по емкости хранения или производительности) и имеют различные приоритеты.

Приложения могут предъявлять весьма различные требования к системе хранения (см. Рисунок 8). Чтобы сделать СХД более гибкой и адаптируемой к разным задачам, в EMC разработали программно конфигурируемое решение хранения ViPR. Оно обеспечивает централизованное управление внешними системами хранения EMC и других вендоров и может использоваться в качестве платформы для новых сервисов хранения данных, например предназначенных для работы с Большими Данными (см. Рисунок 9). Список этих сервисов уже достаточно широк.

Рисунок 9. Контроллер ViPR создает из систем хранения пулы виртуальных ресурсов с заданными характеристиками. Помимо функций оркестрации (управление из «одного окна»), EMC ViPR позволяет предоставлять новые сервисы — например, развернуть на блочной СХД файловую систему NTFS для работы с Большими Данными.

«EMC старается сделать свои решения гибкими, ведь ЦОД значительно различаются по своим требованиям к уровню обслуживания, производительности, доступности и емкости. Одна система не способна справиться со всеми задачами. Формулировать требования приложений можно на уровне политик. Конкретные способы хранения и доставки данных (например, с внутренних или внешних дисков) не должны влиять на приложения», — поясняет Игорь Виноградов.

«ViPR делает инфраструктуру хранения достаточно прозрачной для того, чтобы можно было найти и устранить в ней узкие места, проверить работоспособность конкретного тома, причем администраторам ЦОД не нужно обучаться работе с новыми системами хранения», — подчеркивает Игорь Виноградов. В линейке решений EMC появляется все больше программных решений, таких как ViPR, программные варианты VPLEX, RecoverPoint, VSAN, ScaleIO; ожидается выпуск виртуальной системы хранения VNX. Все это позволяет сэкономить на стеке хранения.

На новые типы нагрузок рассчитаны разработанные EMC решения хранения VSAN и XtremIO. VSAN позволяет с помощью гипервизора VMware создать общий пул хранения из встроенных дисков сервера (до 32 узлов). При помощи программных средств серверная сеть хранения данных EMC ScaleIO связывает вычислительные ресурсы и ресурсы хранения данных в одноуровневую систему хранения данных с линейно масштабируемой производительностью. Все диски объединяются в общую систему хранения с блочным доступом, которая напрямую подключается к серверу. Благодаря горизонтально масштабируемой архитектуре серверной сети хранения данных, среду с несколькими серверами можно превратить в среду с несколькими тысячами серверов. Возможность масштабирования от нескольких терабайтов до нескольких петабайтов позволяет быстро наращивать производительность вычислений и увеличивать емкость системы хранения.

Система EMC XtremIO предназначена для задач, наиболее требовательных к производительности (нагруженные базы данных, VDI). «Этот флэш-массив — революция в системах хранения, — считает Игорь Виноградов. — Его производительность достигает 1 млн IOPS при времени отклика менее 1 мс. Архитектура специально разработана для флэш-памяти и очень просто управляется. Дедупликация в ней — часть внутренней архитектуры. Она не снижает производительность, а ускоряет работу системы, сокращая объем записываемых данных».

Новые разработки вендоров ведут к трансформации ЦОД, затрагивающей не только ИТ и методы управления инфраструктурой, но и бизнес-процессы, а также потребителей сервисов. Эти изменения носят комплексный характер, все более привычными становятся новые модели предоставления и использования ИТ-сервисов.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.