Директор сети хранения

Для сетей хранения время отклика имеет более принципиальное значение, чем для локальных сетей. Увеличение числа коммутаторов или более длинные обходные пути чреваты возрастанием времени передачи и задержками. Поэтому даже в крупных центрах данных стараются устанавливать всего один или как можно меньшее число коммутаторов-директоров с максимальным количеством портов.

В течение длительного времени средства обработки данных привлекали гораздо больший интерес, чем среда хранения. Однако за последние годы ситуация полностью изменилась. Апокалиптические прогнозы аналитиков о лавинообразном росте объемов данных, законодательные требования к долгосрочному хранению операционной и другой информации — эти и многие другие факторы привели к тому, что вопросам хранения сейчас уделяется намного больше внимания. И одна из ключевых тем — подключение ресурсов хранения к сети и построение обособленных сетей хранения данных.

SAN перестали быть экзотической и сверхдорогой новинкой и превратились в необходимый компонент инфраструктуры корпоративной ИТ. О их преимуществах сказано немало. Более того, многие российские предприятия уже построили у себя сети хранения данных. Конечно, сеть сети рознь. Одни соединяют два-три сервера и дисковый массив и не выходят за пределы единственной стойки в серверной комнате, другие же простираются на десятки километров и объединяют сотни серверов, многочисленные дисковые массивы и ленточные библиотеки.

Но факт остается фактом — от первых пробных внедрений компании перешли к дальнейшему развитию своих SAN, а в результате им приходится задумываться о решении следующих задач:

• объединение отдельных «островков» SAN — в том случае, когда сети хранения внедрялись подразделениями компании независимо друг от друга;
• упорядочивание и выстраивание иерархической структуры SAN, если ранее расширение сети происходило путем простого добавления серверов, устройств хранения и коммутаторов.

Для решения как первой, так и второй задачи применяются коммутаторы Fibre Channel директорского класса (в дальнейшем коммутаторы-директоры).

КТО ТАКОЙ ДИРЕКТОР?

Все коммутаторы Fibre Channel можно разделить на три группы в зависимости от их надежности, масштабируемости и функциональности.

Коммутаторы начального уровня. К ним относятся коммутаторы с фиксированным числом портов (обычно не более 8—16). Как правило, они имеют некоторые ограничения по функциональности, например на количество связей между коммутаторами (Interswitch Links, ISL). Не все их компоненты являются дублированными или могут быть заменены в «горячем» режиме, поэтому для большей надежности при построении SAN параллельно устанавливают как минимум еще один такой же коммутатор. Примерами подобных устройств могут служить Brocade SilkWorm 3250 и 3850 или Cisco MDS 9120.

Коммутаторы среднего уровня. Количество портов в оборудовании этой группы составляет от 32 до 48. Большая часть компонентов дублирована, в ряде моделей возможны поэтапное добавление портов и «горячая» замена некоторых компонентов, например блоков питания и охлаждения. В качестве примера можно назвать Brocade SilkWorm 3900, Cisco MDS 9216 или McData Spherion 4300-4500.

Коммутаторы-директоры. Такие устройства имеют модульную архитектуру и не менее 64 портов. Модульный конструктив обеспечивает гибкость в подборе конфигурации и возможность наращивания количества портов. Все компоненты продублированы — блоки питания, вентиляторы, управляющие процессоры и модули коммутации, причем каждый можно заменить без остановки системы, а также провести модернизацию микрокода или управляющего ПО.

Зачастую коммутаторы-директоры представляют собой многопротокольные устройства, т. е. поддерживают не только Fibre Channel. Отдельно отметим поддержку протокола FICON, поскольку это является одним из отличий устройств старшего класса. Они очень надежны, обладают показателями доступности «пять девяток» или близкими к этому значению, поэтому применяются в SAN без дублирования. Типичные представители «директорского класса» — Brocade SilkWorm 24000, McData Intrepid 10K и Cisco MDS 9500.

Для сетей хранения скорость передачи данных или, точнее, время отклика имеет более принципиальное значение, чем для локальных сетей. Увеличение числа коммутаторов или более длинные обходные пути чреваты возрастанием времени передачи и задержками. Поэтому абсолютно оправданными являются сокращение пути, по которому будут передаваться данные, и устранение избыточных промежуточных коммутаторов. Даже в крупных центрах данных стараются устанавливать всего один или как можно меньшее число коммутаторов-директоров с максимальным количеством портов.

РАССТАНОВКА СИЛ

Согласно последнему опубликованному отчету компании Dell?Oro Group, рост рынка SAN в I квартале 2005 г. составил 10% по сравнению с тем же периодом 2004 г. Однако количество проданных портов выросло более существенно — на 38%. По прогнозам той же Dell?Oro Group, оборот рынка модульных коммутаторов к 2009 г. удвоится. Эксперты выражают уверенность, что развитие SAN пойдет по пути консолидации и все большего использования многофункциональных устройств с высокой плотностью портов.

Круг производителей коммутаторов директорского класса весьма ограничен. В последние годы основная борьба развернулась между тремя лидерами — Brocade, McDATA и Сisco. Активные приобретения небольших компаний и привносимые ими разработки (технологии) позволили основным игрокам сосредоточить основные усилия на борьбе за рынок. Если учесть, что Brocade и McDATA выпускают коммутаторы FC почти 10 лет, а у Cisco первое подобное устройство появилось в 2002 г., успехи последней в этом направлении очевидны.

Отметим, что до недавней покупки McData компании CNT количество крупных игроков на рынке было больше. Насколько можно судить, в результате указанной сделки судьба продуктов CNT/Inrange будет подобна судьбе серверов Alfa после поглощения DEC компанией Compaq.

ЛИЧНЫЙ СОСТАВ

Свойства и характеристики коммутаторов-директоров рассмотрим подробнее на примере устройств Brocade, McData и Cisco.

Линейка коммутаторов-директоров McData Intrepid состоит из трех моделей — выпускаемых достаточно продолжительное время Intrepid 6064 и 6140 (на 64 и 140 портов, соответственно) и объявленной в феврале 2005 г. Intrepid 10000 (на 256 портов). Появление Intrepid 10K в немалой степени стало результатом приобретения McData компании Sonera в 2003 г. Технологии, привнесенные Sonera, позволили не только оснастить новую систему большим количеством портов и обеспечить поддержку 10 Гбит/c, но и реализовать возможность разделения коммутатора на домены, получившего название Director FlexPar.

Модельный ряд коммутаторов-директоров Cisco включает две модели — MDS 9509 (на 224 порта) и 9506 (на 128 портов). Они сходны по большинству характеристик и имеют общие компоненты, отличия же заключаются только в количестве слотов шасси для установки коммутирующих модулей и в блоках питания и охлаждения.

Коммутаторы-директоры Brocade представлены моделью SilkWorm 24000 (на 128 портов), фактически это дальнейшее развитие успешно продаваемой модели SilkWorm 12000. По сравнению с предшественницей она оснащена более быстрыми процессорами и модулями памяти, усовершенствованной системой энергообеспечения и охлаждения (энергопотребление уменьшено на 65%). На конференции Brocade Conference, прошедшей в самом начале июня в Сан-Хосе, был анонсирован SilkWorm 48000 с 256 портами и поддержкой скорости 4 Гбит/с.

КОНСТРУКТИВ

Все рассматриваемые коммутаторы-директоры имеют модульный конструктив, что позволяет увеличивать число портов с ростом потребности в них, а также комбинировать модули с поддержкой различных протоколов и скоростей.

McData Intrepid 10K имеет в передней части два контрольных модуля и восемь слотов для размещения «линейных модулей» (Line Modules), т. е. модулей, на которых расположены порты, и еще четыре слота для коммутирующих модулей с задней стороны корпуса. Каждый линейный модуль может содержать 32 порта Fibre Channel на 2 Гбит/с или четыре порта на 10 Гбит/с. Отметим, что на одном и том же модуле могут находиться низкоскоростные и высокоскоростные группы портов, поэтому наращивание производится с относительно небольшим шагом — по восемь портов.

Шасси Сisco MDS 9509 имеет девять слотов для установки коммутирующих и управляющих модулей, а шасси Сisco MDS 9506 — шесть. Коммутирующие модули могут быть следующих типов: 32 и 16 портов Fibre Channel; 1/2, четыре и восемь портов Gigabit Ethernet и комбинированный модуль на 1/2 порта для поддержки многопротокольных услуг. Коммутирующие модули — общие для обеих моделей директоров Cisco, равно как для маршрутизатора Cisco MDS 9216, что обеспечивает защиту инвестиций.

В шасси Brocade SilkWorm 24000 предусмотрено восемь слотов для установки 16-портовых модулей Fibre Channel и два слота для установки управляющего процессора (Control Processor, CP). Кроме того, как и его предшественник, SilkWorm 24000 может быть разделен на два независимых коммутатора.

Исходя из соображения надежности, во всех устройствах установлено по два управляющих (или контрольных) модуля. В обычной ситуации управление осуществляет только один модуль, а второй функционирует в ждущем режиме (Standby). В тех редких случаях, когда необходима перезагрузка основного модуля, управление берет на себя резервный.

ЧТО У НАС НА СПИДОМЕТРЕ?

Пропускная способность коммутаторов существенным образом зависит от способа коммутации. Необходимо отметить, что все коммутаторы Fibre Channel от Cisco используют способ коммутации с промежуточным сохранением пакетов (так называемый «store and forward»), более характерный для коммутаторов Ethernet. Чем больше размер пакета, тем дольше он сохраняется и тем длительнее возникающие задержки. В коммутаторах McData и Brocade применяется механизм коммутации без промежуточного сохранения и, соответственно, без дополнительных временных издержек.

Для установления соединений, скорость которых должна быть выше, чем стандартные 2 Гбит/с, в случае межкоммутаторных соединений ISL применяется объединение нескольких физических соединений в одно логическое — транкинг (trunking). Транкинг может быть реализован как на аппаратном уровне, как у Brocade (Inter-Switch Link Trunking) и Cisco (PowerChannel), так и на уровне программного обеспечения, как у McData (Open Trunking). Brocade предусматривает объединение до четырех каналов, а Cisco — до 16, причем разрешается задействовать любые порты, поэтому выход из строя одного порта или целого модуля не приведет к прекращению работы канала.

Как и коммутаторы начального и среднего уровня, коммутаторы-директоры стандартно поддерживают скорости 1 и 2 Гбит/c. В настоящий момент поддержка более высоких скоростей реализована только в McData Intrepid 10K, для которого выпускаются модули на 10 Гбит/с. Отметим, что и Cisco, и Brocade заявляют о готовности своих коммутаторов-директоров к установке аналогичных модулей (мы уже упоминали о недавнем анонсе Brocade на 4 Гбит/с), так что пользователям остается запастись терпением и довольствоваться пока возможностями транкинга.

БОЛЬШЕ ПРОТОКОЛОВ, ХОРОШИХ И РАЗНЫХ

Основное предназначение коммутатора-директора состоит в формировании ядра сетевой инфраструктуры хранения данных, поэтому резонно было бы ожидать от этих устройств поддержки не только протокола Fibre Channel. И действительно, все рассматриваемые коммутаторы-директоры работают с несколькими протоколами. Но если Cisco MDS 9500 наряду с Fibre Channel поддерживают FICON, iSCSI и FCIP, то McData Intrepid и Brocade Silkworm

24000 — только FICON. Данная ситуация является, видимо, отражением как истории развития рассматриваемых устройств и самих компаний-производителей, так и выжидательной позиции McData и Brocade по отношению iSCSI. С другой стороны, и Brocade, и McData имеют в своем арсенале маршрутизаторы с поддержкой, например iSCSI, поэтому реализация этого протокола в их коммутаторах-директорах — вопрос ближайшего будущего.

НАДЕЖНОСТЬ И ДОСТУПНОСТЬ

Упомянутые нами коммутаторы-директоры обладают всеми средствами по обеспечению бесперебойной работы, которые пользователи вправе ожидать от систем этого класса — прежде всего речь идет об избыточности и возможности «горячей» замены блоков питания и охлаждения, контрольных и коммутирующих модулей. Без прерывания работы выполняется и модернизация микрокода. Отметим, что Intrepid 10K также сохраняет резервные копии старых версий для «отката» назад (если потребуется) и, как и Cisco MDS 9500, имеет возможность автоматического перезапуска сбойных процессов.

В целях надежного функционирования соединений устройства Brocade и Cisco поддерживают протокол Fabric Shortest Path First (FSPF), что обеспечивает балансировку нагрузки между путями в случае транкинга или автоматическое перенаправление трафика при сбое cоединения.

Коммутаторы-директоры имеют развитые средства мониторинга и диагностики, а также средства уведомления администратора.

БЕЗОПАСНОСТЬ

С ростом сетей хранения увеличивается как количество пользователей, получающих доступ к ресурсам хранения, так и объем самих данных, хранящихся в SAN, поэтому вопросы разграничения доступа и обеспечения безопасности становятся все более и более актуальными.

Одним из способов разграничения доступа является объединение устройств в группы, называемые зонами. Те, что входят в одну зону, могут обращаться друг к другу, но не имеют доступа к оборудованию вне зоны. Каждое устройство может принадлежать к нескольким зонам, «пустые» зоны не допускаются. Зонирование принадлежит к базовой функциональности практически всех коммутаторов для сетей хранения.

В продукции Cisco предусмотрено более жесткое деление сети хранения данных, когда принадлежность одного устройства к нескольким ее подмножествам не допускается. Такое деление в терминологии компании получило название виртуальной сети хранения (Virtual SAN, VSAN). Это позволяет создать внутри одной физической коммутирующей структуры виртуальную частную SAN с собственными зонами.

Наряду с зонированием в арсенал средств обеспечения безопасности данных коммутаторов-директоров входят:

• контроль доступа посредством списков (Access List Control, ACL);
• ролевой контроль доступа;
• аутентификация в соответствии с протоколом RADIUS и многое другое.

РАЗМЕЖЕВАТЬСЯ ПРЕЖДЕ, ЧЕМ ОБЪЕДИНИТЬСЯ

Преимущества деления системы на разделы или домены можно рассматривать и в плане обеспечения доступности сервисов, и с точки зрения безопасности. Такой возможностью обладают два из представленных здесь коммутаторов-директоров — McData Intrepid 10K и Brocade SilkWorm 24000.

Реализованная в McData Intrepid 10K технология деления на разделы или домены называется Director FlexPar. Домены аппаратно независимы, поэтому сбои внутри одного из них не оказывают влияния на работу остальных. Каждый домен имеет свой собственный IP-адрес для администрирования и находится под управлением собственного экземпляра управляющего программного обеспечения. Пока каждый домен содержит один (или более) линейный модуль целиком, поэтому максимальное количество доменов — четыре, а в будущем производитель обещает снизить гранулярность до уровня порта.

Деление на домены в коммутаторах-директорах Brocade было реализовано еще в SilkWorm 12000, который фактически представлял собой два коммутатора в едином шасси. Два домена, на которые делится коммутатор, могут быть несимметричными, т. е. содержать неодинаковое количество модулей.

Частично функциональной заменой разделения на домены, по крайней мере с точки зрения обеспечения безопасности, у коммутаторов-директоров Cisco MDS 9500 можно считать технологию VSAN.

РАБОТА НА РАССТОЯНИИ БОЛЕЕ 10 КМ

В коммутаторах Brocade, как директорах, так и коммутаторах более низкого уровня, дополнительная опция Extended Fabric обеспечивает работу со скоростью 2 Гбит/с на расстоянии до 280 км, 1 Гбит/с — до 500 км и 4 Гбит/c — до 140 км. Механизм работы Extended Fabric представляет собой сочетание оптимизированных алгоритмов буферизации и выделения для буферизации памяти большей емкости (при этом порт использует не только «свою», но и «соседскую» память).

В McData Intrepid 10K, согласно утверждениям производителя, один линейный модуль в состоянии поддерживать два соединения с дальностью 190 км на скорости 10 Гбит/c за счет большого объема памяти, выделяемой для буферизации. Безусловно, это дает дополнительное преимущество Intrepid 10K при создании катастрофоустойчивых решений для больших расстояний, однако нельзя не отметить, что сейчас такие решения очень редки (по крайней мере в нашей стране).

В коммутаторах-директорах Cisco на случай организации протяженных соединений предусмотрена поддержка FCIP.

ЗАКЛЮЧЕНИЕ

Дальнейшее развитие сетей хранения данных, увеличение количества подключаемых устройств и портов, неизбежно приведет к широкому распространению коммутаторов директорского класса. Анализ имеющихся предложений коммутаторов Fibre Channel старшего класса показывает довольно существенный разброс их характеристик (см. Таблицу 1), что усложняет процесс выбора устройства. Но при продуманной ценовой политике поставщиков вполне может оказаться, что, например, Brocade SilkWorm 24000 предстанет разумно сбалансированной альтернативой конкурирующим устройствам с более широкой функциональностью.

Наталья Гребенщикова — менеджер по продвижению решений направлений «Инфосистемы Джет». С ней можно связаться по адресу: ngg@jet.msk.su.