Технологии стековых коммутаторов

Сравнительный анализ используемых технологий для объединения коммутаторов в стек.

Подобные устройства предлагаются всеми ведущими производителями активного оборудования для локальных сетей. Однако разработчики этих устройств используют весьма различные технологии, что заметно влияет на эффективность внедрения того или иного решения. Особое значение данный факт приобретает в связи с тем, что стоимость разных решений в рассматриваемом сегменте различается незначительно. В предлагаемом обзоре описываются наиболее распространенные подходы и технические приемы, используемые при создании стековых коммутаторов, а также анализируются их достоинства и недостатки. Надеемся, что этот материал будет полезен широкому кругу читателей при выборе оборудования для модернизации сети.

Идея наращивания емкости активного оборудования локальной сети путем объединения нескольких автономных устройств в одно логическое известна достаточно давно. Еще в те времена, когда термина «коммутатор локальной сети» просто не существовало, и большинство корпоративных сетей строились на базе концентраторов, многие модели последних позволяли объединить через специальный порт несколько устройств в «этажерку» (стек). Соединение сегментов нескольких устройств дает возможность решить целый ряд задач:

1. увеличить количество подключенных рабочих мест, не опасаясь столкнуться с ограничением технологии Ethernet на число повторителей между двумя устройствами;
2. обеспечить более равномерное распределение пропускной способности сети между рабочими местами по сравнению с каскадной схемой подключения;
3. уменьшить количество магистральных отводов в системе (поскольку стеку требуется только одна линия для подключения к магистрали вместо отдельной для каждого автономного устройства);
4. упростить управление оборудованием благодаря наличию одного общего адреса для всего стека (и уменьшить число адресов, используемых оборудованием локальной сети).

Вместе с тем, количество портов (работающих устройств) в одном сегменте (домене коллизий) внутри стека концентраторов не должно превышать определенной величины. Задолго до достижения теоретического предела 10BaseT учащающиеся коллизии делают невозможным создание стека с более чем несколькими десятками активно используемых портов.

ПРОБЛЕМА КОММУТАЦИИ

Первые коммутаторы долгое время выпускались только в двух вариантах исполнения — небольшие автономные устройства с относительно малым числом портов (обычно до 24) и мощные модульные коммутаторы на базе шасси, позволяющие устанавливать модули с различными типами и количеством интерфейсов.

Автономные, сравнительно недорогие устройства не обладали требуемой гибкостью с точки зрения масштабирования. При необходимости емкость систем увеличивалась путем соединения нескольких устройств через пользовательские порты. Такой способ не обеспечивает нужной производительности и предполагает напрасную трату полезных интерфейсов.

Модульные коммутаторы позволяют постепенно, по мере необходимости, наращивать емкость до нескольких сотен портов. Но из-за сложности реализации высокоскоростной внутренней шины, необходимой для эффективной коммутации большого числа сегментов, на начальном этапе стоимость шасси и решения в целом оказывается чрезмерно высокой. В результате те, кто отвечал за выбор стратегии создания и развития корпоративной сети, оказывались перед сложной дилеммой. С одной стороны, они могли сразу вложить значительные средства в аппаратную часть с риском потратить деньги понапрасну, если развитие системы пойдет медленнее, чем планировалось изначально. Другой вариант — сэкономить на начальном этапе, с риском в дальнейшем столкнуться с необходимостью заменить оборудование из-за его неспособности справиться с новыми задачами.

Проблему можно было бы решить, применяя коммутаторы, сравнимые по цене и характеристикам с автономными, но позволяющие организовать стеки и создавать системы, близкие по плотности портов, производительности и надежности к возможностям модульных устройств.

Однако соединить в стек коммутаторы гораздо сложнее, чем концентраторы. В среде из концентраторов в каждый момент времени может передаваться только один поток данных. Таким образом, для соединения в стек концентраторов пропускной способности в 10 или 100 Мбит/с вполне достаточно вне зависимости от числа задействованных устройств. Система коммутации, по определению, должна обеспечивать одновременную передачу данных между любыми парами портов с выделением каждому потоку всей необходимой пропускной способности. Для полноценного параллельного взаимодействия всех или большинства портов системы объединяющая шина должна поддерживать гораздо большую пропускную способность, чем производительность каждого автономного устройства в стеке. На практике пропускная способность стековых соединений редко бывает равна сумме скоростей всех портов (так называемая «неблокирующая» архитектура, характерная для модульных коммутаторов), но полноценное решение обязано обеспечивать достаточный запас производительности для трафика между модулями.

Кроме того, в «идеальном» стековом коммутаторе дополнительные функциональные возможности должны быть реализованы для всех устройств независимо от того, подключены они к одному элементу стека или к разным. Эти дополнительные возможности предполагают создание транковых соединений (объединение нескольких физических портов в один логический канал для суммирования пропускной способности и повышения надежности), отображение трафика с любого порта на заданный (к которому может быть подключен сетевой анализатор) и многое другое. Таким образом, по внутристековым соединениям должны передаваться не только основные данные, но и дополнительная управляющая информация.

Поддержка технологии виртуальных локальных сетей (Virtual LAN, VLAN) является уже практически обязательной для современных коммутаторов. Стековые коммутаторы должны обеспечивать выделение в отдельную виртуальную сеть группы портов независимо от их положения в стеке. Однако зачастую устройствам, входящим в разные VLAN, требуется взаимодействовать между собой, например, выделенным в отдельную виртуальную сеть серверам с рабочими станциями. Обычно это делается при помощи внешнего маршрутизатора или коммутатора третьего уровня (маршрутизирующего коммутатора). Но во многих случаях из-за наличия большого числа портов в стеке и значительного межсетевого трафика пакеты требуется маршрутизировать непосредственно внутри стека. Эта возможность необходима, когда приходится поддерживать связь между устройствами, находящимися в различных подсетях IP.

Наконец, для обеспечения бесперебойной работы системы, обслуживающей большое число пользователей и серверов, стек должен предусматривать дополнительные средства повышения надежности, как минимум возможность замены или отключения отдельных элементов стека без прерывания его работы. Не менее важно исключить потенциальные «слабые звенья», выход из строя или отключение которых может привести к неработоспособности стека в целом. Кроме того, в стеке желательно предусмотреть средства для повышения физической надежности, такие, как резервные источники питания.

Воплощение подобной системы — сложная задача, поэтому в первые годы существования коммутаторов возможность их объединения в стеки не была реализована. Термин «стек» в торговых марках многих устройств (например, HP AdvanceStack, 3Com SuperStack, Cabletron SmartStack) означал всего лишь исполнение устройств в сходных конструктивах и физических габаритах, т. е. возможность удобно поставить их друг на друга, связав обычным каскадным соединением.

ТЕХНОЛОГИЧЕСКИЙ ПРОРЫВ

В 1996 г. компания Madge первой успешно преодолела многие из перечисленных проблем. Семейство коммутаторов Madge Visage, после приобретения в 1998 г. одним из лидеров рынка, компанией Lucent Technologies, а затем выделения подразделения корпоративных сетей в компанию Avaya Communication, предлагалось под торговой маркой Cajun P110 и до сих пор остается одним из наиболее совершенных в техническом плане. Семейство Cajun P110 включает 12 коммутаторов различной фиксированной конфигурации, имеющих от 8 до 24 коммутируемых интерфейсов Ethernet или Fast Ethernet. Многие из них оснащены дополнительными магистральными интерфейсами, в числе которых поддерживаются Fast Ethernet по витой паре и оптическому волокну, Gigabit Ethernet (версии SX и LX) и ATM OC-3 (155 Мбит/с). Каждый из коммутаторов семейства полнофункционален и может работать как отдельное устройство (причем весьма эффективно).

Рисунок 1. Стек коммутаторов Cajun P110 компании Avaya Communication с соединением по шине Exoplane.

Радикальное отличие устройств Cajun P110 от других коммутаторов, имевшихся в тот момент на рынке, состояло в наличии специальной внешней шины Exoplane для передачи данных между устройствами стека (см. Рисунок 1). Эта шина имела пропускную способность 4 Гбит/с (это больше, чем у многих выпускавшихся в 1996 г. коммутаторов на основе шасси) и позволяла объединять в стек до четырех коммутаторов Cajun P110. Соединенные в стек устройства становятся в полном смысле слова единым коммутатором, с общей таблицей MAC-адресов на 32 000 записей, единым управлением и мониторингом. Магистральные интерфейсы для соединения с корпоративной локальной сетью достаточно иметь только в одном из устройств, собранных в стек. До 255 VLAN могут быть определены как группы портов, расположенных в любом элементе стека (и в любых других стеках, связанных с данным). Количество и тип портов могут плавно наращиваться или гибко изменяться по мере необходимости.

Использование высокоскоростной шины Exoplane позволяет решить сразу две задачи. Во-первых, нет необходимости соединять элементы стека через интерфейсы Ethernet, так что теперь их можно задействовать для подключения дополнительных рабочих мест и серверов. Во-вторых, пропускная способность Exoplane достаточна для обеспечения полностью прозрачного и неблокирующего взаимодействия любой пары портов вне зависимости от того, находятся они на одном элементе стека или нет. Это было подтверждено, в частности, тестами известной сетевой лаборатории Tolly Group.

Все функциональные возможности в Cajun P110 обеспечиваются для всех портов стека независимо от того, работает ли коммутатор автономно или в составе стека. Интересное решение применено для передачи данных между VLAN. Все VLAN изолированы друг от друга, за исключением Global VLAN (с номером 255), пакеты которой свободно обмениваются с остальными в пределах всей локальной сети. Поместив серверы с общими ресурсами в Global VLAN, администратор может обеспечить доступ пользователей к ним из любой VLAN без использования маршрутизации.

Специально для мониторинга сетей на основе коммутаторов, где в силу наличия большого числа сегментов затруднен мониторинг традиционными средствами протокола RMON, компанией Madge был разработан и реализован расширенный протокол Switch Monitoring (SMON). Он позволяет легко получить интегральную характеристику состояния сети и локализовать источники потенциальных проблем. Сегодня протокол SMON поддерживается во всех коммутаторах Avaya Communication. После одобрения в 1999 г. протокола SMON в качестве стандарта IETF (RFC 2613) некоторые элементы этой технологии начали появляться (пока что в весьма ограниченном виде) и в продуктах других производителей, в том числе 3Com, Nortel, Enterasys, Cisco.

В Cajun P110 реализованы и некоторые средства для повышения надежности системы. Так, дополнительный модуль BUPS содержит четыре блока питания. Будучи подключены к устройствам в стеке, они автоматически принимают на себя нагрузку при выходе из строя блоков питания коммутаторов. Магистральные порты большинства устройств сдвоенные, с автоматическим аппаратным (т. е. практически мгновенным) переключением на резервный канал при нарушении работы основного (но без распределения нагрузки между ними).

Однако часть функций описанного выше «идеального» стекового коммутатора в Cajun P110 отсутствует. В первую очередь это относится к другим средствам обеспечения надежности. Шина Exoplane не допускает изъятия одного элемента без прерывания работы стека. Кроме того, арбитраж доступа к шине Exoplane осуществляется модулем управления (NMA Agent), размещаемым в верхнем элементе стека. Выход из строя или отключение этого верхнего устройства разрушает стек, таким образом, в стеке имеется «слабое» звено. Кроме того, Cajun P110 не реализует функций маршрутизации.

Тем не менее при отсутствии требований «горячей» замены в целом Cajun P110 можно признать эффективным, экономичным и вполне конкурентоспособным решением для обслуживания рабочих групп численностью до 100 пользователей. Во многих случаях характеристики производительности позволяют применять эти устройства и для построения серверных ферм или магистрали локальной сети.

ПЕРВЫЕ АЛЬТЕРНАТИВЫ

Очевидные преимущества стековых коммутаторов для построения локальных сетей среднего и крупного размера заставили многих ведущих производителей вскоре после выпуска Visage представить свои решения. Однако никто из них не владел технологией исполнения внешней системы, сравнимой по производительности с Exoplane. Желая ускорить разработки и сократить сроки выхода на рынок сходных продуктов, конкуренты использовали несколько усовершенствованные варианты уже существовавшей, но не стандартизованной на тот момент технологии Gigabit Ethernet.

Рисунок 2. Объединение коммутаторов в стек по матричной схеме на примере коммутаторов серии SuperStack II компании 3Com.

Самый характерный пример — семейство коммутаторов 3Com SuperStack II Switch 1100/3300, стековая модернизация серии 1000/3000 (см. Рисунок 2). В этом решении используется так называемый матричный модуль (Matrix Module). Данный модуль устанавливается в слот расширения одного из элементов стека и подключается к каждому элементу (включая тот, в который он установлен) через специальный порт. Матричный модуль позволяет объединить в стек до четырех коммутаторов, что обеспечивает поддержку при использовании модулей расширения до 110 коммутируемых портов. Пропускная способность между каждым коммутатором и матричным модулем составляет 0,8 Гбит/с. Матричный модуль представляет собой фактически гигабитный коммутатор, связывающий элементы стека; он транслирует трафик внутри стека и дополнительную управляющую информацию. Управление стеком как единым устройством и другие функции стека реализуются с помощью микропрограммного обеспечения. В настоящее время в семейство входят 6 моделей коммутаторов, с 12 или 24 портами Ethernet и Fast Ethernet для меди или 8 портами Fast Ethernet для оптики. Подключение к магистрали обеспечивается сменными модулями Fast Ethernet, Gigabit Ethernet и ATM; каждый из них может быть установлен в стандартный слот расширения любого элемента стека. Это предоставляет большую гибкость по сравнению с Cajun P110.

Матричная модель была использована также Intel в коммутаторах серии Express 500T. Матричный модуль в них является шестипортовым и, будучи установленным в слот расширения, связывается с базовым устройством по внутреннему интерфейсу. Соответственно в стек допускается установка до семи устройств, т. е. обеспечивается б`ольшая по сравнению с SuperStack II плотность портов на стек (до 196 портов UTP Fast Ethernet). Стек может состоять из четырех моделей коммутаторов Express 520T/510T с 12 и 24 портами 10/100 Fast Ethernet для витой пары и маршрутизирующих коммутаторов Express 550T/550F с восемью портами Fast Ethernet, с медными или оптическими интерфейсами. В качестве магистральных сменных интерфейсов изначально поддерживались только оптические Fast Ethernet и Gigabit Ethernet. Позже компанией Fore Systems, активно использующей в своих продуктах технологию АТМ и поставляющей Express 510T под торговой маркой ES-2810, был разработан модуль для подключения к сетям ATM.

Для поддержки маршрутизации между VLAN или сетями IP компания 3Com в конце 1999 г. выпустила модуль расширения для коммутаторов SuperStack II. Он устанавливается в стандартный слот расширения и обеспечивает маршрутизацию пакетов IP с помощью протоколов формирования маршрутов RIP, OSPF, DVMRP. Производительность этого модуля сравнительно невелика и составляет всего 300 тыс. пакетов/с, т. е. соответствует примерно двум потокам Fast Ethernet. Размещение модуля маршрутизации в слоте расширения может привести к значительному усложнению системы даже при решении простых задач. Например, для создания маршрутизирующего стека с двумя магистральными каналами Gigabit Ethernet необходимо собрать полный стек из четырех устройств, в то время как некоторые рассмотренные в этом обзоре решения позволяют обойтись двумя или даже одним. Направляемый на гигабитный порт трафик должен в такой конфигурации дважды пересечь матричную систему, что нельзя считать эффективным решением.

В стеках коммутаторов Intel Express 500T функции маршрутизации реализуются за счет добавления в стек одного или нескольких устройств Express 550 с поддержкой, кроме IP, маршрутизации протокола IPX. Производительность одного такого устройства также невелика — около 400 тыс. пакетов/с, но в данном случае этот параметр можно увеличить до 2,4 млн пакетов/с, собирая коммутаторы в стек.

К сожалению, решения по матричной схеме в большинстве случаев обеспечивают сравнительно низкую производительность. В тестах независимых лабораторий (например, упомянутой Tolly Group, а также Silicon Valley Networking Lab или Mier Communications) было неоднократно показано, что производительность системы коммутации даже автономного устройства 3Com SuperStack II Switch 3300 составляет всего 1,4 Гбит/с. Этого явно недостаточно для одновременной поддержки всех 24 портов Fast Ethernet. Так, при передаче пакетов размером 64 байт без потерь пакетов одновременно способны работать только 8 портов из 24. В стековой же конфигурации пропускная способность матричной системы не превосходит возможностей полнодуплексного соединения Gigabit Ethernet, т. е. 1,0-1,5 Гбит/с для пакетов различного размера. Производительность Intel Express 500T еще ниже, поскольку и внутренняя, и внешняя системы коммутации формируются в виде восьми параллельных каналов по 100 Мбит/с каждый (четыре из них обеспечивают коммутацию внутри устройства, и четыре — связь с матричным модулем). Заметим, что результаты тестов признаны как 3Com, так и Intel. В связи с низкой производительностью данные решения могут быть рекомендованы только для неинтенсивно используемых систем.

Большой, скорее, даже слишком большой производительности удалось добиться компании Network Peripherals в своих коммутаторах семейства NuWave (NPI), где также используется матричная схема. Оборудование этой компании известно в нашей стране, хотя и не получило широкого распространения. В последние годы NPI сосредоточилась в основном на разработках продуктов для Gigabit Ethernet. В мае 1999 г. NPI было выпущено на рынок три модели коммутаторов с возможностью установки в стек по матричной схеме.

К группе стековых коммутаторов относятся Keystone24mg Stack Master, Capstone24t и Capstone8f. Первый из них, с пропускной способностью 64 Гбит/с, составляет ядро стека. В отличие от ранее рассмотренных схем, он сам по себе является узлом матрицы. Кроме базовых функций коммутации 24 портов Fast Ethernet для витой пары и маршрутизации протокола IP со скоростью до 6,5 млн пакетов/с с формированием маршрутов по протоколу RIP, Keystone24mg поддерживает два магистральных порта Gigabit Ethernet на весь стек. Впоследствии компания NPI планирует реализовать редко встречающуюся в коммутаторах этого класса возможность устанавливать модули для подключения к глобальным сетям, с интерфейсом E-1 (2 Мбит/с), для последовательного соединения по PPP или трансляции кадров по frame relay. Кроме того, Keystone24mg обеспечивает построение таблиц маршрутизации, упрощая коммутацию на третьем уровне между остальными элементами стека. При соединении элементов в стек производительность маршрутизации всей системы достигает 17 млн пакетов/с.

Число портов в стеке может быть увеличено за счет добавления устройств Capstone24t и Capstone8f (соответственно, 24 медных или 8 оптических портов Fast Ethernet). Стек позволяет объединять до четырех элементов, что в сумме дает возможность использовать до 96 портов Fast Ethernet. Коммутатор Keystone24mg является главным (master), коммутаторы Capstone — подчиненными (slave). Соединение главного и подчиненного устройств осуществляется по специальной многоканальной линии связи Stack Serial Interface, объединяющей четыре полнодуплексных последовательных канала с пропускной способностью 2 Гбит/с каждый (см. Рисунок 3). Три из них предназначены для передачи данных, четвертый — для передачи контрольной и управляющей информации. Это обеспечивает исключительно высокую, с большим запасом, производительность системы межсоединений стека.

Следует отметить, что стоимость описанных устройств столь же высока, как и их производительность. NuWave обладает значительным запасом пропускной способности по отношению к необходимой даже теоретически. Во многих случаях подобная сверхвысокая пропускная способность, значительная часть которой никогда не будет использована, не может оправдать дополнительных вложений.

Основной и неустранимый недостаток матричной схемы — относительно низкая надежность, вследствие наличия элементов, отказ которых приводит к неработоспособности всего стека. «Слабыми» звеньями в ней являются как собственно матричный модуль, так и элемент стека, в котором он установлен. Даже в случае архитектуры NPI NuWave, реализуемые главным устройством функции столь существенны, что при его отключении весь стек в целом становится практически неработоспособным. Кроме того, в NPI NuWave отсутствуют дополнительные блоки питания, которые имеются в системах Intel Express 500T и 3Com SuperStack II.

В целом, стековые коммутаторы на базе матричной архитектуры могут быть использованы для создания сетей передачи данных, где заранее известно, что требования к производительности и надежности никогда не будут высокими.

РАЗВИТИЕ РЫНКА

Рисунок 4. Благодаря наличию обратной связи между верхним и нижним коммутаторами стек коммутаторов BayStack является устойчивым к отказу любого элемента.

Более интересная стековая архитектура была применена компанией Bay Networks (ныне — подразделение Nortel Networks), в начале 1998 г. выпустившей семейство коммутаторов BayStack 450 Switch. Внешняя система стека создается интерфейсными модулями Cascade Module, устанавливаемыми в специальный слот каждого элемента. Все модули связываются в «цепочку» специальными кабелями через интерфейсные разъемы, а с помощью дополнительного, более длинного кабеля «цепочка» замыкается в кольцо (см. Рисунок 4). Благодаря такой архитектуре надежность системы резко повысилась. Во-первых, «закольцованная» каскадная система устойчива к обрыву или отключению любого звена стекового соединения. Во-вторых, все коммутаторы в стеке хранят динамически меняющуюся информацию о конфигурации системы и могут выступать в качестве управляющих. В-третьих, любой из коммутаторов в стеке может быть заменен в «горячем» режиме (однако, во всяком случае в текущей версии микрокода 3.1, такая операция приводит к перезапуску устройств в стеке и нарушению работы на период перезагрузки).

Семейство BayStack 450 сегодня включает несколько устройств с 12 медными или оптическими портами Fast Ethernet и 24 медными портами Fast Ethernet. Полностью совместимая версия BayStack 410T имеет 24 порта Ethernet для витой пары на 10 Мбит/с и может применяться для экономичного подключения рабочих станций, в то время как серверы подключаются по более быстрым каналам к установленным в том же стеке BayStack 450T. В один стек могут быть соединены до восьми устройств BayStack 410T и 450T в произвольной комбинации. Благодаря этому, в одном логическом устройстве может быть объединено до 224 портов Fast Ethernet для витой пары с учетом модулей расширения или до 128 оптических каналов Fast Ethernet для создания магистрального центра коммутации — эти цифры сопоставимы с возможностями многих модульных коммутаторов на базе шасси.

Производительность каскадной схемы стека BayStack относительно невелика: в уже упоминавшихся тестах Mier она составила не более 1,5 Гбит/с. Внутренняя шина BayStack 450 обладает большей производительностью, по сравнению с 3Com SuperStack II Switch и Intel Express Switch; ее пропускная способность составляет порядка 3 Гбит/с. Поэтому эффективность работы стека BayStack в значительной мере зависит от распределения трафика в системе. Если его удастся организовать так, чтобы большая часть данных передавалась между устройствами, подключенными к одному элементу стека, то суммарная пропускная способность оказывается высокой. В противном случае она может резко упасть до неприемлемых значений.

К сожалению, семейство BayStack не включает в себя коммутатор третьего уровня, поэтому маршрутизация (потребность в которой в системе с такой высокой плотностью портов весьма вероятна) должна осуществляться внешним устройством, например из серии маршрутизирующих коммутаторов Nortel Accellar.

Стеки BayStack могут подключаться к оптической магистрали с помощью модулей расширения с портами Fast Ethernet или Gigabit Ethernet. В них поддерживается возможность логического объединения любых четырех портов Fast Ethernet или Gigabit Ethernet в скоростной и надежный магистральный канал.

Кроме устойчивой архитектуры стека в BayStack обеспечена дополнительная надежность магистральных соединений путем аппаратного переключения активных портов на резервные, которыми оснащены некоторые модули расширения. Распределения нагрузки между основными и резервными портами нет, поэтому в обычном режиме резервные порты находятся в пассивном состоянии. Кроме того, в системе предусмотрены резервные блоки питания.

Несмотря на перечисленные ограничения коммутаторы семейства BayStack являются оригинальным и во многих случаях эффективным решением.

ОСОБЫЙ ПОДХОД

Компания Cisco, один из ведущих производителей активного сетевого оборудования, долгое время не предлагала наращиваемые версии коммутаторов Catalyst. Основной акцент был сделан на выпуск модульных коммутаторов Catalyst 5500 и автономных Catalyst 1900/2900. Однако под воздействием рыночной конъюнктуры Cisco приступила к разработке решений, сочетающих высокую плотность портов с низкой стоимостью. Видимо, в связи с недостатком времени решения Cisco отличаются своеобразным подходом.

Семейство Cisco Catalyst 1900 включает несколько вариантов коммутаторов с 12 или 24 портами Ethernet для витой пары, различие между которыми состоит в типе интерфейсов двух магистральных подключений Fast Ethernet (медные или оптические в разных комбинациях). Catalyst 2900XL представляет собой семейство коммутаторов Fast Ethernet, в которое входят несколько устройств с 12 или 24 медными или 12 оптическими портами. Некоторые из них оснащены двумя разъемами для установки модулей расширения Fast Ethernet, Gigabit Ethernet или ATM. Наконец, выпущенное в мае 1999 г. семейство коммутаторов Cisco Catalyst 3500XL включает три устройства с 12, 24 и 48 портами Fast Ethernet для витой пары, каждое из которых имеет два сменных интерфейса Gigabit Ethernet и одно устройство Catalyst 3508 с восемью портами Gigabit Ethernet.

Все устройства поставляются с двумя версиями микрокода — стандартной или расширенной (Enterprise). Среди дополнительных функций расширенной версии возможность трансляции информации VLAN по протоколам Cisco ISL и IEEE 802.1Q, предоставление приоритета пакетам данных по протоколу 802.1p и другие.

Объединение автономных коммутаторов Catalyst в стек может осуществляться двумя способами в соответствии с разработанной Cisco технологией Switch Clustering (см. Рисунок 5). Она позволяет объединить в логически единое устройство (кластер) до 16 коммутаторов Catalyst в любой допустимой топологии через обычные интерфейсные порты Ethernet, Fast Ethernet или Gigabit Ethernet. Кроме того, сами соединения между устройствами также могут объединяться в один логический канал с использованием технологии Cisco Fast EtherChannel или Gigabit EtherChannel. Объединенные устройства получают общий IP-адрес для управления ими по протоколу SNMP как единым целым. Кроме того, и для протокола формирования логической топологии локальной сети 802.1d (Spanning Tree) стек выглядит как одно устройство.

С технической точки зрения один из коммутаторов стека назначается главным (Master или Command Switch). В этом качестве могут использоваться устройства семейств Catalyst 2900XL и 3500XL. Остальные коммутаторы являются подчиненными (Slave), в их число могут входить и Catalyst 1900. Главный коммутатор способен автоматически обнаруживать потенциальных участников кластера по собственному протоколу обнаружения (Cisco Discovery Protocol, CDP). После добавления обнаруженных коммутаторов в кластер он распространяет между ними полученную от станции администратора управляющую информацию и обновления микрокода, а также отслеживает изменения в топологии соединений. Кластер может насчитывать до 750 портов Fast Ethernet для витой пары, а входящие в него устройства могут быть разнесены на расстояние, ограниченное только физическими возможностями каналов передачи данных, вплоть до 100 км.

Альтернативный вариант, возможный для Catalyst 3500 и некоторых моделей Catalyst 2900, предполагает соединение устройств стека в цепочку (daisy-chain) только через магистральные порты Gigabit Ethernet. Этот способ экономичнее, так как не предполагает использование центрального высокоскоростного устройства. Поскольку стандартный гигабитный модуль расширения Catalyst имеет всего один порт, для создания цепочки устройств применяется специальный интерфейсный коннектор GigaStack GBIC, фактически представляющий собой двухпортовый микроконцентратор Gigabit Ethernet. Интерфейс между коммутатором и установленным в нем коннектором выполняет функцию пакетного фильтра, пропуская лишь пакеты, адресованные только подключенным к данному коммутатору устройствам. С помощью специальных кабелей в такую цепочку можно соединить до 9 элементов, что обеспечивает до 216 портов Fast Ethertnet для витой пары в одном стеке. Кроме того, стеки могут быть объединены в кластер как между собой, так и с автономными устройствами Catalyst. Это позволяет создавать распределенную систему передачи данных с крайне высоким числом портов, но с общим адресом для целей управления.

Предлагаемые Cisco варианты построения наращиваемых систем имеют существенные недостатки, многие из них особенно заметны во втором варианте конфигурации. При использовании GigaStack GBIC подсистема для связи коммутаторов в стеке обладает крайне низкой пропускной способностью — всего 1 Гбит/с. Этого явно недостаточно для поддержки работы значительного числа портов. Более того, описываемая подсистема работает в полудуплексном режиме, в результате чего ее эффективность еще больше снижается. Стек коммутаторов Catalyst, объединенных подобным образом, можно в некотором смысле сравнить с группой автономных устройств, подключенных к концентратору Gigabit Ethernet. Очевидно, что производительность подобного решения будет даже ниже, чем у описанной ранее матричной схемы, где внешняя подсистема является эквивалентом коммутатора. Возможно, именно поэтому в упомянутых отчетах лаборатории Mier Communications результаты тестирования данной конфигурации вообще не приводятся.

Анализ технологии Switch Clustering также выявляет больше недостатков, чем преимуществ. Для соединения коммутаторов приходится задействовать рабочие интерфейсы, что приводит к повышению стоимости конкретного решения из расчета на пользовательский порт. Высокая производительность может быть достигнута только при широком использовании соединений Gigabit Ethernet. Так, в рекомендуемой Cisco конфигурации несколько коммутаторов Catalyst 3500 объединяются через опорный Catalyst 3508 (в конфигурации «звезда»). Использование дорогостоящего центрального устройства значительно увеличивает стоимость решения и требует непропорционально больших инвестиций на начальном этапе создания системы. Это нарушает основной принцип ее постепенной наращиваемости. Более того, производительность Catalyst 3508 (7 млн пакетов/с) составляет всего 60% от необходимой для полноценной работы имеющихся у него восьми интерфейсов Gigabit Ethernet. Таким образом, в полностью сконфигурированной системе центральный коммутатор может стать «узким» местом.

Кроме того, технология Switch Clustering обладает рядом функциональных ограничений. На данный момент в ней не предусматривается передача статистической информации от коммутаторов нижнего уровня к главному. Вследствие этого мониторинг кластерной системы, в том числе по протоколу RMON, значительно затруднен. Внутри кластера отображение трафика с произвольного порта на тот, к которому подключен сетевой анализатор, невозможно, если порты находятся на разных элементах кластера. Именно из-за невозможности полноценно контролировать сетевой трафик создание кластера окажется неосуществимым, если устройства находятся на значительном расстоянии друг от друга.

Вследствие слабой интеграции устройств в кластере недоступными оказываются и многие другие функции, традиционные для наращиваемых систем. Транковые соединения между узлами локальной сети не могут включать в себя порты, расположенные на разных устройствах в кластере. Управление конфигурацией VLAN также затруднено. Встроенные средства визуального представления устройств в системе управления Cisco Visual Switch Manager обеспечивают отображение только главного коммутатора и четырех непосредственно подключенных к нему. Поэтому предлагаемая Cisco архитектура является скорее имитацией стека с помощью обычных интерфейсных соединений, где реализована только часть функций — единая адресация и управление, а также обновление микрокода. При этом сомнительна сама целесообразность логического объединения устройств, физически находящихся на разных этажах здания или даже в разных зданиях, удаленных на десятки километров.

Как это ни странно для продукции Cisco, в настоящий момент в стеке не обеспечиваются функции маршрутизации. Перечисленные выше устройства являются коммутаторами второго уровня. Маршрутизаторы и маршрутизирующие коммутаторы Cisco не поддерживают технологию Switch Clustering и не могут быть включены в кластер. Анонсированный в январе 2000 г. маршрутизирующий коммутатор Catalyst 2948-L3 базируется на другой архитектуре и также не может быть добавлен в кластер. Поэтому маршрутизация между сетями IP или VLAN должна выполняться внешним устройством.

Кроме того, в рассматриваемом семействе отсутствуют необходимые средства повышения надежности, кроме дополнительных блоков питания. Для поддержки обратной связи между устройствами стека приходится использовать дополнительные коннекторы Stacking GBIC, занимающие слоты расширения (эта проблема должна быть решена в очередной версии микрокода). В «звездообразной» топологии центральное устройство является «слабым» звеном, нарушения в работе которого способны привести к распаду всего кластера на элементы.

Если по той или иной причине главное устройство в кластере отключается, остальные коммутаторы продолжают нормальную работу при наличии функционирующих соединений между ними. Однако управление кластером становится невозможным. Технология Switch Clustering позволяет назначать дополнительные IP-адреса подчиненным устройствам в кластере и передавать им полномочия ведущего вручную, но этот процесс требует участия администратора и фактически сводится к созданию кластера заново.

АЛЬТЕРНАТИВА

Все рассмотренные в этой статье устройства имеют более или менее серьезные недостатки, не позволяющие считать их идеальным продуктом для успешного решения задачи построения экономичной, плавно наращиваемой системы коммутации без компромиссов на уровне производительности и/или функциональных возможностей. Значит ли это, что такого продукта на сегодняшний день не существует?

Пока что последнее слово в этой многолетней «дискуссии» принадлежит Avaya Communicanion. В августе 1999 г. семейство коммутаторов Cajun Campus пополнилось новой линейкой Cajun P330, которая, на субъективный взгляд автора, может быть названа линейкой «идеальных стековых коммутаторов».

Линия коммутаторов Cajun P330 включает сегодня устройства с 24 (Cajun P333T и P333R) и 48 (Cajun P334T) портами Fast Ethernet для витой пары, а также с 12 оптическими портами 100BaseFX (Cajun P332MF). Коммутатор P333R реализует маршрутизацию пакетов по протоколу IP (формирование маршрутов по протоколам RIP и OSPF) с пропускной способностью до 1 млн пакетов/с. У всех устройств есть разъем расширения для установки дополнительных модулей, среди которых привлекает внимание модуль с 16 портами Fast Ethernet для витой пары с необычно высокой плотностью портов. Сегодня, кроме того, доступны модули расширения с двумя оптическими портами Fast Ethernet, с одним или двумя портами Gigabit Ethernet и с интерфейсами к сетям ATM. Модуль подключения к сети ATM может работать на скорости как 155 Мбит/с (OC-3), так и 622 Мбит/с (OC-12) — гибкое решение, редко встречающееся на рынке.

Устройства Cajun P330 объединяются в стек с помощью устанавливаемых в специальный разъем модулей, по уже знакомой нам схеме каскадного соединения с обратной связью (аналогично рассмотренному выше BayStack 450). В один стек может быть объединено до 10 устройств, что обеспечивает, с учетом модулей расширения, до 640 медных или 140 оптических портов Fast Ethernet на стек (!) — такое количество портов превосходит емкость большинства магистральных коммутаторов на основе шасси. Все устройства могут не поместиться в одной монтажной стойке, поэтому помимо стандартных соединительных кабелей длиной 30 см предусмотрены и кабели большей длины — 2 м, что позволяет размещать стек в нескольких монтажных стойках.

Рисунок 6. Производительность шины OctaPlane составляет 8 Гбит/с.

Ядро архитектуры P330 — новая объединительная шина OctaPlane (см. Рисунок 6). Она формируется из двух полнодуплексных каналов с пропускной способностью 2 Гбит/с каждый. С учетом двунаправленности соединений и одновременной работы обоих каналов производительность OctaPlane достигает 8 Гбит/с, что в несколько раз больше, чем у рассмотренных выше архитектур, и соответствует уровню модульных шасси. Столь высокая пропускная способность шины в сочетании с высокой производительностью отдельного устройства P330 (составляющей 4 Гбит/с) позволяет эффективно обеспечивать работу системы коммутации с большим числом скоростных портов. Как показали испытания лаборатории Mier, пропускная способность на уровне теоретического максимума для реалистичных конфигураций обеспечивается как отдельным устройством Cajun P333T, так и полным стеком из 10 устройств. Даже в конфигурации, когда весь поток передаваемых данных направляется между разными элементами стека по шине OctaPlane, пропускная способность достигает 9,6 Гбит/с, т. е. превышает паспортные значения.

Cajun P330 обеспечивает поддержку всех необходимых для стековой системы функциональных возможностей. Несколько устройств или стеков могут быть связаны между собой как одиночными, так и транковыми каналами (Link Aggregation Group, LAG), в которые могут быть объединены до восьми медных портов или до двух оптических портов Fast Ethernet либо Gigabit Ethernet. Всего в стеке есть возможность определить до 50 групп портов, объединенных в группы LAG. Сетевой трафик может отображаться с заданного порта или всех портов, входящих в заданную VLAN, на порт, к которому подключено анализирующее устройство (в том числе с возможностью выделения только входящего трафика). Любые комбинации портов в стеке могут быть объединены в одну из 3071 поддерживаемых VLAN. Для маршрутизации потоков данных между VLAN или подсетями в стеке достаточно одного устройства Cajun P333R. При соединении в стек десять таких устройств создают маршрутизирующий коммутатор с производительностью до 10 млн пакетов/с. Этот показатель также соответствует уровню мощных модульных шасси при гораздо меньшей стоимости.

Естественно, в новых устройствах Avaya поддерживается упоминавшийся ранее протокол мониторинга коммутируемых систем SMON. Более того, для мониторинга функций маршрутизации в Cajun P333R включена поддержка новой версии протокола — AnyLayer SMON. Она позволяет отслеживать распределение коммутируемых потоков данных по протоколам сетевого и прикладного уровня и предоставляет другие, весьма полезные для сетевых администраторов, возможности.

Отдельного внимания заслуживают средства обеспечения надежности системы. Кроме отказоустойчивой архитектуры стековых соединений производителем реализована возможность отключения и замены любого элемента стека без прерывания работы или реконфигурации стека в целом. Имеющийся у каждого элемента стека встроенный агент управления автоматически осуществляет копирование конфигурации между ними. Смена главного элемента также осуществляется без вмешательства администратора и не требует прерывания передачи данных в стеке.

Надежность связей между отдельными устройствами и стеками обеспечивается резервированием между заданными портами, вне зависимости от их положения в стеке (до 20 резервируемых пар на стек). Применение транковых групп LAG также является формой резервирования, причем с распределением нагрузки между каналами. Более того, резервирование возможно и между транковыми группами LAG. На сетевом уровне использование в Cajun P333R протоколов OSPF и VRRP позволяет определить несколько возможных путей маршрутизации пакетов с автоматическим переключением на резервный маршрут.

На физическом уровне для обеспечения надежности каждого устройства применяются резервные блоки питания и резервирование вентиляторов с датчиками отказа. Все устройства доступны в специальном варианте с питанием от батареи постоянного тока на 48 В. В целом, система обеспечения надежности в Cajun P330 соответствует стандарту Telcordia Network Equipment Building System (NEBS) в самой строгой его редакции Level 3 для устройств в магистральной части телекоммуникационных служб. В настоящее время система Cajun P330 проходит сертификацию на соответствие этому стандарту.

Таким образом, семейство коммутаторов Lucent Cajun P330 позволяет эффективно решать задачи передачи данных самого широкого диапазона: создавать как небольшие рабочие группы на три-четыре десятка рабочих мест, так и насыщенные высокопроизводительные узлы коммутации в сотни портов; как центры распределенных систем с оптической магистралью, так и серверные группы в многосвязной маршрутизируемой среде.

ПОСЛЕСЛОВИЕ

Естественно, в рамках одной статьи сложно дать детальное описание даже основных, представленных на рынке решений. За рамками публикации остались многие интересные вопросы, напрямую не относящиеся к достоинствам или недостаткам конкретной схемы стековой архитектуры.

Кроме того, мы сознательно не проводили прямого сравнения. Благодаря конкуренции цены на описанные выше продукты в большинстве случаев сопоставимы между собой, и их стоимость колеблется на уровне 100 долларов за коммутируемый порт Fast Ethernet для витой пары. Однако стоимость продукта в значительной степени зависит от условий конкретной поставки.

Вывод напрашивается сам собой. Наращиваемые стековые коммутаторы представляют разумную альтернативу как автономным устройствам фиксированной конфигурации, значительно превосходя последние по функциональности и масштабируемости, так и модульным коммутаторам на основе шасси, позволяя решать те же задачи при намного меньших затратах.

В нашей стране, где наблюдается быстрый рост информационных систем зачастую при ограниченных средствах, данной разновидности устройств гарантировано широкое распространение. Надеемся, что этот обзор предоставил необходимую информацию, позволяющую принять верное решение. Каждая из рассмотренных систем отвечает определенному набору требований. Так что окончательный выбор за вами!

Ресурсы Internet