До сих пор системы хранения данных подключались непосредственно к компьютеру, поэтому управление и администрирование также происходили напрямую. В современных сетевых системах вычислительные машины и накопители, напротив, большей частью взаимодействуют по сети через коммутатор. Регламент их доступа к тому или иному устройству должен регулироваться очень тщательно. Все более явной становится тенденция передачи управления в сетях хранения данных центральным элементам, коммутаторам или директорам.

Применение коммутаторов и директоров ведет к распространению сетевых структур. Однако при этом не стоит забывать и об используемом до сих пор оборудовании прямого подключения. Сеть хранения данных (Storage Area Network, SAN) функционирует в качестве вторичной по отношению к первичной локальной. Благодаря SAN с локальной сети снимается нагрузка по передаче потоков данных большого объема — при создании резервных или зеркальных копий, например. Системы хранения оказываются доступны для всех вычислительных машин, поэтому администратор может выделять каждому приложению свободную емкость без механических изменений. В сетях хранения приходится принимать во внимание различные технологии соединения и подключения. При рациональном использовании они дополняют друг друга, поскольку таким образом могут быть интегрированы имеющиеся устройства или подсистемы (см. Рисунок 1).

ПРЯМОЕ ПОДКЛЮЧЕНИЕ

Раньше системы хранения данных подключались непосредственно к компьютеру или серверу (Direct Attached Storage, DAS) и эксплуатировались в блочном режиме. Любое обращение к накопителю DAS было возможно только через соответствующий сервер. Как следствие, свободные емкости на одном сервере оказывались недоступными для приложений на других серверах, а в случае его неисправности доступ к подключенному напрямую накопителю становился невозможным.

ЛОКАЛЬНЫЕ СЕТИ

Локальная сеть оптимизирована для интерактивного трафика данных с небольшими пакетами. Адресату они могут поступать абсолютно неупорядоченно и разными путями. Для этого почти всегда применяется протокол TCP/IP. При отказе какого-либо сервера возможность доступа к другим серверам сохраняется. Однако данными, размещенными на неработающем сервере, воспользоваться уже нельзя. Приложения могут выполняться, лишь когда и они, и относящиеся к ним данные (в целях избыточности) находятся на другом сервере (к примеру, в рамках кластера). Если дополнительно для создания сети хранения в локальной сети применяется протокол iSCSI, все компоненты должны быть оснащены соответствующим образом, поскольку иначе потоки данных будут переправляться только пассивно. Обычные маршрутизаторы и коммутаторы не понимают новые разновидности протокола iSCSI.

СЕТЕВЫЕ УСТРОЙСТВА ХРАНЕНИЯ

Система DAS, в которой компьютер/сервер управляет только доступом ко всем файлам (блочный режим не поддерживается), называется сетевым устройством хранения, или файлером (Network Attached Storage, NAS), и представляет собой систему хранения с отдельным адресом в локальной сети. В мощных системах NAS, а также для сохранения данных на ленточных накопителях «позади» сервера NAS организуется местная сеть хранения. При отказе сервера или головного устройства NAS доступ к этим устройствам хранения невозможен.

СЕТИ ХРАНЕНИЯ ДАННЫХ

Сеть хранения данных (Storage Area Network, SAN) представляет собой невидимую для пользователя сеть за серверами. До сих пор для этого почти исключительно применяется Fibre Channel с адаптированным под него протоколом SCSI (Fibre Channel Protocol, FCP). Новое слово в SAN — сети хранения с адаптированными компонентами локальной сети (iSCSI, TOE). При отказе сервера в обоих вариантах доступ к накопителям возможен через другие серверы. Запись данных не приводит к нагрузке на первичную локальную сеть, поскольку сеть устройств хранения функционирует независимо. Специальными случаями являются протоколы FCIP и iFCP. Оба используют в качестве базового протокола не SCSI, а FCP.

КОММУТАТОРЫ И ДИРЕКТОРА

В сетях хранения данных для переключения путей передачи используются коммутаторы и директора. Эти коммутирующие элементы работают либо по отдельности, либо в связке. Одиночный коммутатор обладает достаточным количеством портов, чтобы соединить все устройства (серверы/компьютеры с одной стороны сети и накопители — с другой). Такая сеть с центральным коммутирующим элементом охватывает из-за физических ограничений лишь относительно небольшое количество портов. Более крупные сети с собственной внутренней структурой называются распределенной коммутирующей матрицей (fabrics). «Внутренние» коммутаторы (коммутаторы ядра), или директора, соединены с внешними (пограничными) коммутаторами на краю сети, к которым, в свою очередь, подключены конечные устройства обеих категорий (серверы/компьютеры и накопители). Коммутаторы в ядре и на границе сети по причине различия требований к ним оптимизированы по-разному, но в случае необходимости могут брать на себя решение задач другой категории.

Соединение нескольких коммутаторов или директоров между собой осуществляется при помощи межкоммутаторных линий (Inter-Switch Link, ISL). Это соединение имеет более высокую скорость передачи или логически объединяет несколько соединений. В последнем случае используется ряд методов. Объединенные потоки данных, исходящие от разных входных или следующие на разные выходные порты, пересылаются побайтно параллельно по всем линиям ISL. Альтернативно по одной линии ISL можно отправить один блок данных или один файл (а два и более передавать параллельно). Тогда приходится выбирать между оптимизацией отказов или передачи, для чего требуется точное знание внутренних процессов.

Коммутаторы и директора логически идентичны. При необходимости порты и подключенные к ним линии передачи данных объединяются попарно. В эпоху мэйнфреймов вошло в обычай обозначение коммутаторов с большим числом портов (относительно текущего состояния техники) и повышенной отказоустойчивостью директорами. Между тем существуют многопротокольные коммутирующие устройства, отвечающие тем же качественным критериям, что и директора. Если «простые» коммутаторы включаются в сеть избыточно, то достигается примерно такой же уровень отказоустойчивости, как и в случае с директором, но в менее компактном виде.

У директоров, как правило, все отдельные компоненты имеются в двойном экземпляре. Однако многочисленные платы портов выполнены без избыточности. При отказе платы ее функции более или менее просто и быстро берет на себя дополнительная плата (n+1). Особенно важны для обеспечения отказоустойчивости внутренняя кэш-память, коммутационные, тактирующие и управляющие платы. В технических паспортах указывается значение надежности работы в 99,999% (пять девяток), когда важнейшие элементы имеются в двойном экземпляре или в комплекте n+1. В общей сложности это соответствует 5 мин простоя в год. Но даже в случае надежных директоров заявленная норма очень быстро превышается, когда, к примеру, при отказе управляющей или тактирующей платы либо при обновлении операционной системы работу необходимо прервать и начать заново. Реально только на переключение на резервное оборудование и обратное переключение после ремонта или замены отказавшего элемента уходит примерно по 2 мин. В результате на сам ремонт или поиск ошибок с заменой остается менее чем 1 мин. Это не указано в технических паспортах, однако является обычным делом даже для известных производителей, когда они только выходят на рынок продуктов для сетей хранения. Пользователю придется серьезно задуматься над значениями спецификаций в техпаспортах.

Рисунок 2. Принцип работы неблокирующего коммутатора или директора без чрезмерного бронирования (количество входов равно количеству выходов). FC-совместимыми компонентами являются серверы/компьютеры (инициаторы), посредники (коммутаторы/директора, концентраторы) и конечные устройства (адресаты).

Подозрительно звучащее понятие «чрезмерное бронирование» (oversubscription), употребляемое в техпаспортах, указывает на невозможность одновременного задействования всех портов. В неблокирующем коммутаторе или директоре (см. Рисунок 2) используется в два раза меньше коммутирующих элементов, чем имеется портов, поэтому все порты можно одновременно соединить попарно. Однако во многих случаях столь большое число одновременных соединений не нужно и не выполняется в целях экономии. Выражение «чрезмерное бронирование 3:1» означает, что соединяется лишь треть всех портов. Администратору стоит учитывать этот момент при планировании и сравнении стоимости.

ПРОДУКТЫ

Многообразие продуктов можно показать на нескольких примерах. Функциональность решений постоянно изменяется, поэтому их описание бесполезно анализировать во всех деталях. Но наряду с исключительно аппаратными характеристиками большое значение имеет поставляемое или уже установленное программное обеспечение. Особенно это касается совместимости с имеющимися и появляющимися стандартами, например SMI-S. Совместимость проверяется не только во время демонстрации продукции на крупных специализированных выставках SNW в США и Европе, но и путем формальных стандартизированных тестов, введенных при поддержке SNIA. Эти нормы тестирования должны быть в скором будущем официально стандартизированы в ANSI.

Brocade. Одной из первых «простые» коммутаторы FC вывела на рынок Brocade. Компания проявляет высокую активность в области стандартизации Fibre Channel и вследствие высоких требований к производительности с самого начала применяет на коммутаторах операционную систему реального времени. Так появилась хорошая исходная база для все более многочисленных новых функций, включая внутренние системные процедуры обеспечения безопасности или анализ пакетов данных в реальном времени. С недавних пор в ассортимент Brocade входит и директор. После покупки компании Rhapsody список пополнился многопротокольными коммутаторами с еще большей производительностью и функциональностью.

Cisco. Вот уже два года Cisco предлагает различные продукты для построения SAN. Первые системы (машрутизаторы/шлюзы между FC и Ethernet) были приобретены вместе с малоизвестной компанией и не пользовались большим успехом. Предлагаемые сейчас многоуровневые коммутаторы для центров данных (Multilayer Datacenter Switch, MDS) и недавно появившиеся коммутаторы FC разрабатывала компания Andiamo, также ставшая собственностью Cisco.

CNT/inrange. Производитель коммутаторов Inrange был куплен компанией CNT. Теперь объединенное CNT предлагает очень широкий спектр продуктов и услуг вплоть до предоставления линий передачи данных и планирования центров данных. Директора Inrange предназначены, прежде всего, для крупных систем.

McData. Более 20 лет McData разрабатывает и поставляет директора для центров данных и многие годы производит оборудование для IBM по ОЕМ-соглашению. В этой области основным требованием является высочайшая надежность. Между тем McData выпускает еще и пограничный коммутатор, 24 порта которого коммутируются с помощью единственной микросхемы. Это позволяет снизить стоимость и активировать нужные порты программным путем. Пользователь платит только за используемые порты. Спектр продуктов McData расширился благодаря приобретению компании Nishan, пионера IP-ориентированных сетей хранения данных. Особенно многообещающим выглядит еще одна покупка: Sanera создала многопротокольный коммутатор с чрезвычайно производительным функционалом. Новый продукт уже тестируют несколько заказчиков, его выход на рынок ожидается в нынешнем году.

Прочие. Коммутаторы выпускают также Qlogics, Vixel, а крупные поставщики систем хранения (EMC, HDS, HP, IBM) предлагают их по ОЕМ-соглашениям с вышеназванными производителями. Небольшие производители представлены в Европе очень мало либо не представлены вообще. Поэтому в их случае вопрос поддержки остается открытым.

ВИРТУАЛИЗАЦИЯ И УПРАВЛЕНИЕ

В крупных вычислительных центрах управление накопителями обходится заметно дороже, чем их приобретение. В сети хранения данных благодаря централизованному администрированию и управлению посредством коммутаторов и директоров можно значительно сэкономить на управлении. SNIA предполагает стандартизировать администрирование SAN, главным образом с помощью технологии SMI-S. Так, в соответствии с этими стандартами коммутаторы и директора смогут опознавать устройства и компьютеры в сети и централизованно управлять их доступом и потоками данных.

Задача между тем усложняется, поскольку наряду с применяемой до сих пор технологией Fibre Channel приходится учитывать Ethernet iSCSI и, возможно, Infiniband. Такие многопротокольные и многоуровневые коммутаторы сложны и дороги.

ЗАКЛЮЧЕНИЕ

В крупных гетерогенных средах для объединения в сеть компонентов FC, iSCSI и Infiniband используются многопротокольные коммутаторы. В системах меньшего размера достаточно шлюзов и маршрутизаторов. Ядро крупных систем хранения строится на базе коммутаторов и директоров FC. Для подключения филиалов или при умеренных требованиях к производительности SAN может быть организована и посредством iSCSI через Ethernet.

Наряду с фундаментально отличающимися техническими требованиями между локальными сетями и сетями хранения существуют и различия в идеологических подходах. В локальной сети файл должен быть доставлен к цели, неважно когда и по какому пути, в любой последовательности составных частей, даже при наличии помех. Если пропускной способности не хватает, некоторые пакеты могут быть отброшены и переданы позже. При недостаточной производительности сеть сегментируется или инсталлируются дополнительные коммутаторы. В сети хранения система передает блоки данных, т. е. составные части файла. Они должны транспортироваться без ошибок или потерь по кратчайшему пути, поскольку работа ведется с открытым файлом. Увеличение числа коммутаторов или более длинные обходные пути не допускаются из-за возрастания времени передачи и задержки. Большим преимуществом даже крупных центров данных является всего один или как можно меньшее число директоров с максимальным количеством портов (см. Рисунок 3). Экономия на каждом дополнительном транзитном коммутаторе оправдывает себя, а потому сети хранения на базе Fibre Channel с высокими требованиями к производительности и впредь будут предпочтительнее сетей хранения Ethernet/TCP/IP.

Германн Штрасс — независимый автор. С ним можно связаться по адресу: mw@lanline.awi.de.