В мае 2014 года издательство «Открытые системы» провело традиционный форум «МИР ЦОД». В общей сложности двухдневное мероприятие посетило более 500 специалистов, а участниками его деловой и выставочной программ стали ведущие производители и поставщики решений для ЦОД, системные интеграторы, операторы и провайдеры услуг коммерческих ЦОД. Значительное внимание на форуме уделялось актуальной тенденции отрасли – программно конфигурируемым сетям (SDN), продуктам для построения сетевой инфраструктуры центров обработки данных – LAN и SAN, а также организации коммуникаций между удаленными площадками, созданию распределенных центров данных.
Практическую значимость предлагаемых вендорами решений участники форума могли оценить в ходе работы семинаров и мастeр-классов. На семинаре компании Brocade, для которой ЦОД являются стратегическим направлением, были представлены уже зарекомендовавшие себя у заказчиков решения и новые разработки.
Нагрузка в ЦОД может существенно варьироваться – меняться как в течение суток, так и с годами. Это ведет к появлению «узких мест». Поэтому в новых ЦОД инфраструктура обычно закладывается с учетом развития. Подход «ЦОД по запросу» предусматривает большую гибкость и возможности перемещения нагрузки. Он находит отражение в продуктах Brocade.
ОТ FC ДО ETHERNET
C 1995 года Brocade специализируется на оборудовании Fibre Channel (FC) и является одним из лидеров данного рынка. Большую часть своих продуктов компания продает через OEM-партнеров, причем в России и СНГ это единственный канал. Ее коммутаторы FC включают модели от начального уровня до систем старшего класса – до 96-ти портов 16 Гбит/с, директоры – большие модульные коммутаторы, оснащаемые модулями с разным функционалом и диагностикой до уровня порта. При этом обеспечивается связь шасси директоров между собой, включая коммуникации между ЦОД. Расстояния между ЦОД при синхронной репликации может составлять до 80-100 км – оно ограничивается допустимыми для приложений задержками в сети. По технологии FCIP через отдельные коммутаторы или устанавливаемые в директоры модули можно организовать также асинхронное взаимодействие между ЦОД, удаленными друг от друга на тысячи километров, использовать аппаратное сжатие трафика. По сравнению с FC на расстоянии более 100 км FCIP работает быстрее. Есть и решения для шифрования данных со скоростью до 96 Гбит/с (см. Рисунок 1).
Рисунок 1. Маршрутизаторы Brocade могут оснащаться линейными картами с аппаратным шифрованием трафика (256 бит), что обеспечивает безопасную передачу данных между ЦОД. Такую конфигурацию можно использовать также для создания гибридных облаков.
FCIP – основной практически работающий способ связи ЦОД, когда передача FC по темной оптике или через xWDM невозможна или нецелесообразна. При использовании FCIP, пакеты Fibre Channel инкапсулируются в TCP/IP, а затем передаются через IP-туннель. Поддерживается как прямое подключение FCIP устройств друг к другу, так и соединение через WAN. Технология FCIP в реализации Brocade расширена дополнительным функционалом, повышающим надежность и производительность соединения ЦОД.
С 2008 года в результате покупки Foundry Networks в линейке компании появились IP-решения, и сейчас области интереса Brocade охватывают также классические IP-маршрутизаторы L3, а также программно конфигурируемые сети SDN (сеть передачи данных, в которой уровень управления сетью отделен от устройств передачи данных и реализуется программно) и NFV (виртуализацию функций сетевых устройств, например, маршрутизаторов и межсетевых экранов, в виде готовых образов виртуальных машин), оркестрацию облаков (автоматизацию выделения ресурсов в облаке и управления ими). Последняя реализуется Brocade по SAN и LAN в рамках проекта OpenStack. Компания уделяет большое внимание SDN и NFV. Она уже выпустила первые продукты NFV.
В настоящее время IP-линейка Brocade включает в себя продукты для ЦОД, кампусных сетей и сетей провайдеров – коммутаторы, маршрутизаторы, балансировщики нагрузки, устройства VPN, причем, как подчеркивают в компании, IP-продукты Brocade имеют очень низкую задержку. Программное обеспечение Brocade реализует функции управления сетевой инфраструктурой, построенной на оборудовании Brocade. Разработаны и виртуальные устройства – балансировщик нагрузки и маршрутизатор, развертываемые в виде виртуальной машины. Развиваются и «классические» решения FC.
ЭВОЛЮЦИЯ FC
С развитием iSCSI, а затем и FCoE многие эксперты пытались «похоронить» технологию FC. Однако этого не произошло. FCoE постепенно набирает популярность, но FC остается лидирующей технологией для сетей хранения данных (см. Рисунок 2) и, по оценкам IDС, будет таковой как минимум до 2017 года. Именно она доминирует сейчас в реальных проектах ЦОД.
Рисунок 2. Технология Fibre Channel лидирует в сетях хранения данных (по информации IDC, ноябрь 2013 года).
В новых продуктах Brocade применяется технология Fibre Channel пятого поколения, обеспечивающая передачу данных со скоростью 10 (для связи между ЦОД) и 16 Гбит/с. Эти коммутаторы с надежностью «шесть девяток» используют практически все ведущие производители серверов. Их особенности – аппаратное сжатие (почти двукратное) и шифрование трафика (эта функция активно используется российскими заказчиками), диагностический порт ClearLink, ПО Fabric Vision для управления инфраструктурой SAN. Оптические каналы UltraScale ICL (InterChannel Link) используются для связи до девяти директоров (например, DCX 8510) на расстоянии до 100 м (такая конфигурация применяется при построении ядра сети). Коррекция ошибок FEC (Forward Error Correction) улучшает работу оборудования – до 11 бит исправляется без повторной пересылки пакета.
С развитием SAN (см. Рисунок 3) заказчики обычно приходят к отказоустойчивой конфигурации – двум ЦОД с синхронной репликацией данных по протоколу FC (через волоконно-оптические каналы DWDM). Иногда добавляют и третью площадку, удаленную на большое расстояние. Асинхронная репликация данных на нее осуществляется по FCIP. При отказе одного из ЦОД можно будет продолжать работу.
Рисунок 3. Типичные этапы развития SAN (по данным Brocade).
Проблема дальнейшего совершенствования технологии FC заключается не столько в повышении скорости или надежности, сколько в управлении все более сложными инфраструктурами, считает Николай Умнов, генеральный управляющий Brocade в России и СНГ. Технология Brocade Fabric Vision, поддерживаемая в операционной системе FC-коммутаторов Brocade Fabric OS 7.2, нацелена на повышение надежности, снижение OPEX и оптимизацию работы приложений, ускоренное внедрение, а также быстрое устранение проблем. Fabric Vision использует аппаратные функции специализированных микросхем Brocade Condor 3 ASIC и ПО управления/мониторинга Network Advisor. Его задачи – предотвращение аварий, ускоренное восстановление, оптимизация производительности приложений и ускорение внедрения новых систем.
В основе большинства продуктов Brocade лежат интегральные микросхемы ASIC ее собственной разработки. Их использование позволяет реализовать большую часть функций на аппаратном уровне, что, в итоге, приводит к более высокой производительности, большей надежности и меньшему энергопотреблению. Condor 3 является основой линейки коммутаторов Brocade с поддержкой Fibre Channel 16 Гбит/c.
Хранение данных на флэш-накопителях требует еще более высоких скоростей, поэтому идет активная работа над технологией FC шестого поколения – 32/128 Гбит/с. В Brocade уже разработали соответствующие микросхемы, передан на публикацию новый стандарт Gen 6 Fibre Channel. Официальная публикация стандарта ANSI на физические интерфейсы (FC-PI-6) ожидается в 2014 году. Для повышения надежности передачи данных в Gen 6 FC стандартизуется использование FEC. Также ведется работа над стандартизацией параллельного Fibre Channel (32x4 = 128 Гбит/с). Как ожидается, первые коммутаторы Gen 6 появятся на рынке в 2016 году. Новые скорости предъявляют особые также требования к модулям SFP и кабельной инфраструктуре.
КОММУТИРУЮЩАЯ ФАБРИКА
FC-фабрики – классическое решение Brocade высокой надежности для построения сетей хранения данных ЦОД и коммуникаций между площадками на больших расстояниях. «С появлением в нашей линейке продуктов Ethernet мы взяли лучшее из мира FC, объединили с технологиями Ethernet и получили Ethernet-фабрики – виртуальный распределенный Ethernet-коммутатор. Фактически, это новый взгляд на сеть передачи данных, один логический коммутатор, которым можно управлять с высокой степенью автоматизации, единая точка управления», – рассказывает Николай Умнов. Сейчас наряду с фабриками FC линейка Brocade включает в себя Ethernet-фабрики – основные ее решения для ЦОД.
Ethernet-фабрика Brocade VCS – виртуальный распределенный коммутатор уровня доступа и агрегирования. Она практически не требует настройки – поддерживает «самоформирование» и автообнаружение устройств, любые топологии, управляется как один виртуальный коммутатор. Для запуска фабрики достаточно задать ее домен и ID. После этого можно использовать единую консоль управления всеми коммутаторами), а для повышения надежности поддерживается топология Full Mesh, сохраняющая работоспособность системы даже при выходе из строя одного коммутатора. Фабрика также готова к конвергенции (FC 16/FCoE 10 Гбит/с). Она предусматривает три уровня балансирования трафика, может агрегировать (без предварительной настройки) большое число каналов. Благодаря покадровому балансированию обеспечивается распределение нагрузки между портами коммутаторов. С помощью протокола ECMP осуществляется балансирование между эквивалентными по стоимости путями, соединяющими конечные точки (независимо от числа хопов). А балансирование нагрузки между шлюзами VRRP-E L3 (до четырех шлюзов) улучшает масштабируемость и надежность решения.
Недавно появившаяся у Brocade технология дает возможность создавать внутри VCS «виртуальные фабрики». Выделение логических фабрик для каждого пользователя в рамках совместно-используемой физической фабрики на основе TRILL Fine-Grained Labels (IETF draft) обеспечивает возможности переиспользования VLAN. В рамках каждой физической фабрики поддерживается до 8000 виртуальных фабрик VCS.
Благодаря интеграции с VMware vCenter Ethernet-фабрика может получать информацию о виртуальных машинах, их MAC- и IP-адресах, группах VLAN. Эта информация автоматически заносится в Ethernet-фабрику и по умолчанию создаются «профили портов», к которым можно применять различные настройки, например, задавать качество обслуживания QoS. Настройки можно сделать один раз. В дальнейшем фабрика сама применяет заданные политики по MAC-адресу, на каком бы из портов он ни появился. Одна фабрика объединяет до 48 коммутаторов.
В последних версиях фабрики Brocade поддерживается также VXLAN-шлюз VCS (VTEP) для VMware NSX – мост между виртуальными и физическими ресурсами. Его можно использовать для интеграции с классическими сетями, не поддерживающими VXLAN. Ethernet-фабрику VCS полностью поддерживают коммутаторы Brocade VDX серии 6740 и маршрутизаторы 8770. В серии 6740 (SDN-ready) можно использовать протокол OpenFlow 1.3. Контроллер SDN должен появиться у Brocade к концу этого года. Он будет совмещать функции контроллера и коммутатора SDN, продолжая линейку VDX 6740. Протокол OpenFlow поддерживают также продукты Brocade Fibre Channel.
SDN И NFV
По мнению аналитиков, в ближайшей перспективе будут развертываться преимущественно гибридные решения, сочетающие традиционную сетевую инфраструктуру и SDN, поэтому большинство коммутаторов SDN допускают программное переключение между SDN и коммутацией L2/L3. Тем самым снижаются риски внедрения новой технологии. Brocade предлагает свое решение. «В отличие от других вендоров Brocade разработала коммутаторы и маршрутизаторы с «гибридными портами», то есть они могут работать в смешанном режиме, поддерживая одновременно традиционное управление и управление через контроллер SDN (см. Рисунок 4), – рассказывает Василий Солдатов, системный инженер Brocade, отвечающий за решения Ethernet. – Такой режим сейчас поддерживается маршрутизаторами Brocade MLXe».
Рисунок 4. Режим Hybrid Port на оборудовании Brocade обеспечивает совмещенное управление – традиционное и через контролер SDN. Опционально между двумя режимами создается «защитный уровень».
SDN уже находит практическое применение. Так у одного из заказчиков Brocade с ее помощью смягчаются последствия атак DDoS. Угрозы обнаруживаются через sFlow-RT (в режиме реального времени) и отправляются на коллектор, где обрабатываются программным обеспечением централизованного управления сетью Brocade Network Advisor, способным выступать также в качестве контроллера sFlow. Коллектор извещает контроллер, что нужно использовать правило OpenFlow DDoS на маршрутизаторе MLXe (см. Рисунок 5) для противодействия DDoS-атаке.
Рисунок 5. Смягчение атаки на пограничном уровне ЦОД с Интернетом снижает зависимость от дорогих решений DDoS.
Наряду с SDN в сетевой отрасли набирает популярность технология NFV. Она позволяет консолидировать различные сетевые устройства (межсетевые устройства, коммутаторы, маршрутизаторы, балансировщики нагрузки и т.п.) на стандартные серверы x86 помощью виртуализации, что ведет к уменьшению стоимости и увеличению «живучести» систем. Перечисленные устройства становятся виртуальными – функционируют в виде ВМ, и покупка дорогого «железа» не требуется. В настоящее время Brocade уже предлагает виртуальный маршрутизатор Vyatta vRouter с функцией концентратора VPN с шифрованием IPSec и межсетевого экрана. Это относительно недорогое и гибкое решение для небольшой сети Ethernet. Оно дает возможность предоставлять сетевые функции «по запросу», реализует маршрутизацию, межсетевой экран, VPN. Для развертывания таких виртуальных машин можно использовать существующие стандартные серверы x86, способные теперь успешно заменять специализированные системы, в том числе решения для инфраструктуры связи. vRouter интегрирован со стандартными оркестраторами (OpenStack).
Еще один виртуальный продукт Brocade – полнофункциональный балансировщик трафика приложений ADX. Это ключевой компонент L4-7 в NFV. Он динамически балансирует трафик приложений, ускоряет запуск сервисов. Предусматривается поддержка OpenStack и API для централизованного управления. Виртуальный ADX можно развертывать в виде ВМ на сервере с гипервизором или устанавливать без гипервизора, выделяя ему весь сервер.
Эти продукты позволяют гибко (по запросу) развертывать различные сервисы, однако пропускная способность у них несколько ниже, чем у физических устройств – от 10 Мбит/с до 3 Гбит/с (ограничение зависит от лицензии, а не от быстродействия сервера). Продуктовая линейка Brocade, включая виртуальные устройства, поддерживает оркестрацию через протокол OpenStack (через оркестраторы сторонних вендоров). Компания активно участвует в разработке стандартов OpenStack. Поддерживает расширения Dynamic Network Resource Management (DNRM), участвуя в проекте Neutron, что упрощает построение мультивендорных сетей.
С увеличением объемов сетевого трафика и количества подключенных к сети устройств конфигурирование сетей и управление ими превращается в сложную задачу. Чтобы ее упростить, требуются серьезные изменения в подходах к построению, эксплуатации сетей и управлению ими. Сетевая инфраструктура развивается и эволюционирует медленно, отставая от бурного развития средств виртуализации серверов и систем хранения, однако именно сети должны стать надежной и гибкой основой для среды облачных вычислений. И в последние год-два в этой области наметился явный прогресс. А разработки в области NFV открывают для заказчиков возможность перехода от аппаратных к виртуальным сетевым решениям с сохранением всех функций, присущих аппаратным продуктам.
Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.