Взгляд на 10GigE

Стандарт принят и поддерживается коммутаторами. Но есть ли смысл сегодня покупать самый быстрый Ethernet?

Будь Орсон Уэллс жив, он бы оценил 10 Gigabit Ethernet (10GigE). Прославленный актер мог бы сесть перед телекамерой, положить на колено новый коммутатор 10GigE и повторять как мантру: «Этот интерфейс опередил время». Но если на некоторых рынках опережение времени считается преимуществом, то в современном корпоративном мире с ограниченными бюджетами должного эффекта данная фраза не возымеет.

Утверждение спецификации 10GigE в июне 2002 г. обрушило на головы администраторов сетей новейшие решения для коммутации — интерфейсы для каскадирования 10GigE. Поставщики пытались продавать достандартные модули для коммутаторов еще с 2001 г., однако только ратификация гарантировала сетевым специалистам интероперабельность и стабильность, присущую стандарту. По крайней мере, восемь компаний анонсировали или занялись поставками модулей 10GigE для существующих коммутаторов Ethernet, и одна новая, Force10 Networks, предлагает первый полноценный коммутатор 10GigE.

Неясно лишь, кто будет приобретать эти высокоскоростные интерфейсы. Время альтернативных местных телекоммуникационных компаний прошло, а региональные используют SONET/SDH. Поставщики говорят о стремлении работать с высокотехнологическими корпорациями, например владельцами научно-исследовательских сетей или университетских магистралей. Но интерфейс 10GigE ставит на их пути сразу три препятствия.

Препятствие первое: невероятно высокая стоимость модулей 10GigE первого поколения, колеблющаяся в пределах от 60 до 100 тыс. долларов. «Это просто непостижимо, — заявляет Жан-Франсуа Титар, менеджер по продукции Alcatel OS88. — И равносильно самоубийству. Как вы думаете перейти на 10GigE, если он в 30 раз дороже?»

Препятствие второе: недостаточно хорошая поддержка корпоративной проводки. Исследование IEEE 1999 г. показало, что к концу 2000 г. многомодовое волокно составит 90,5% от всей кабельной инфраструктуры, уже функционирующей в магистралях американских университетов, и 99,2% от прокладываемых линий в строящихся магистралях. Фактически, многомодовое волокно стало настолько важным, что в октябре 2001 г. 3Com, Cisco Systems и Intel убедили рабочую группу 802.3ae в необходимости дополнения 10GigE еще одним зависимым от физической среды подуровнем (Physical Media Dependent, PMD) для поддержки существующих многомодовых инсталляций. Но для уже проложенных трасс дальность передачи ограничена 30 м, ee увеличение требует установки более нового и сложного многомодового волокна.

Препятствие третье: риск покупателя. Вне зависимости от реализации 10GigE, никакой новый коммутатор не может обеспечить требуемую скорость линии наряду со всеми теми возможностями, которые покупатель ожидает от старой проверенной коммутационной платформы. Каждый поставщик вынужден идти на компромисс, жертвуя либо функциями, либо производительностью, и в ближайшем будущем эта ситуация вряд ли изменится.

Даже Европейская организация по ядерным исследованиям (CERN), показательный клиент Foundry Networks, взяла паузу перед внедрением технологии. «В течение следующих трех лет мы осуществим пилотный запуск. Затем, когда у нас будут более точные данные о производительности и экономичности, объявим тендер», — рассказывает Жак Алтабер, представитель главы отдела информационных технологий CERN.

БОЛЕЕ ПРОИЗВОДИТЕЛЬНЫЕ ПК

Какова же тогда мотивация для внедрения 10GigE? Отчасти — рост сетей хранения данных (SAN) и надежда, что 10GigE может сыграть в них свою роль. Дэвид Гросс, старший аналитик CIR в области оптических сетей, выражает по этому поводу скептицизм. «Я думаю, ажиотаж вокруг iSCSI и способности 10GigE заменить Fibre Channel в сетях SAN преувеличен», — полагает он. Сетевые хранилища данных (NAS) и другие приложения внутри здания, по его словам, являются исключением, и вполне возможно, что они станут стимулом для первоначальных массовых поставок.

Другая часть ответа на вопрос возвращает нас к Internet. В 2000 г. лидеры отрасли ожидали огромного роста локальных сетей. «К 2002 г. требования к пропускной способности локальных сетей будут колебаться в пределах 10 Гбит/с и 160 Гбит/с», — так заявлял Брюс Толли, в то время менеджер компании Cisco по продукции Gigabit Ethernet.

Толли ошибся, но только отчасти. Сегодня многие специалисты вынашивают планы о создании более широких каналов до настольных ПК. Новые шинные архитектуры могут в скором времени позволить обычному ПК «насытить» канал Gigabit Ethernet. Например, спецификация PCI-Express компании Intel (поддерживаемая Compaq Computers, Dell Computer, Hewlett-Packard, IBM и Microsoft) определяет пропускную способность 2,5 Гбит/с и, как ожидается, будет реализована в рабочих станциях и ноутбуках к 2003 г. В то же время цены на Gigabit Ethernet продолжают снижаться.

«Gigabit Ethernet проникает в настольные ПК, и я хотел бы иметь возможность предоставлять пользователям необходимую емкость, когда она потребуется», — делится своими планами Ричард Нельсон, директор по вычислительным технологиям университета Information Sciences Institute (ISI), ведущего исследовательского центра в области вычислительной техники и информационных технологий. Нельсон использует 10GigE в качестве средства агрегации двух коммутаторов Foundry BigIron 4000 и 8000. Они обеспечивают каналы Gigabit Ethernet для серверов кластера ISI и высокопроизводительных рабочих станций.

Не каждого можно убедить в том, что появление более эффективной шины оправдает выбор каналов Gigabit Ethernet. По мнению д-ра Пола Элмера, профессора вычислительной техники и информационных технологий университета шт. Делавeр, настоящая проблема заключается в работе TCP. Пока принципы протокола остаются прежними, конечные пользователи смогут заметить лишь номинальные выгоды от перехода со 100 Мбит/с на 1 Гбит/с. «Когда мы перешли с 10 на 100 Мбит/с, выигрыш от этого оказался на удивление мал, — вспоминает он. — Производительность повысилась примерно в полтора раза. Переход от 100 Мбит/с на 1 Гбит/с также не принесет особых выгод в случае одного потока TCP».

ТРАНКИНГ И ТЕМНОЕ ВОЛОКНО

Помимо агрегации внутри компании 10GigE рассматривают как средство плодотворного использования темного волокна. Например, University Health Network, медицинский исследовательский центр, недавно внедрил 10GigE для соединения по темному волокну двух филиалов в Торонто.

Томас Голдторп, директор центра по исследованиям и информационным системам, рассматривал возможность аренды дополнительных волокон, но отказался от этой идеи из-за высокой ежемесячной арендной платы. Более экономичным было бы приобретение недорогой системы спектрального уплотнения (WDM) и применение транкинга на базе стандарта 802.3ad для объединения множества гигабитных каналов в один.

Однако Голдторп обнаружил, что в соответствии с технологией транкинга узлы распределяют трафик по гигабитным каналам обычно с помощью алгоритма хэширования на базе IP- или MAC-адресов источника и пункта назначения (в зависимости от работы алгоритма на втором или третьем уровне). По его словам, проблема в том, что алгоритмы эффективны, только если размер пакетов и объем переданных битов в каждом из каналов равны. «Передача между нечетными адресами множества небольших пакетов приведет к несбалансированному функционированию», — считает он. Иными словами, некоторые гигабитные каналы будут загружены не полностью.

По мнению Голдторпа, ситуация ухудшается по мере увеличения числа каналов. При двух параллельных соединениях разница может составлять 5%. Но в случае четырех каналов речь пойдет уже о 15%, восьми — о 30—40%.

Что касается слишком высокой стоимости систем WDM, она зависит от конкретной системы и стоимости темного волокна. Джеймс Видель, директор по сетям университета Южной Калифорнии (USC), столкнулся с недостатком емкости одного из подобных каналов и обнаружил, что вместо обновления до 10 Гбит/с дешевле добавить восьмиканальную систему WDM компании Nbase-Xyplex (теперь MRV Communications) за 20 тыс. долларов. «От Nortel мы получаем только хорошие продукты, но их стоимость намного выше и колеблется от 80 до 250 тыс. долларов», — заметил он.

Более того, транкинг обладает еще одним побочным достоинством по сравнению с 10GigE — надежностью. «В случае отказа оптики вы потеряете только одно соединение, а не весь канал, — объясняет Видель. — Это необходимо учитывать».

10GIGE СЕГОДНЯ

10GigE нужен там, где возможностей транкинга не хватает. Но при развертывании новой высокоскоростной системы компаниям понадобится одномодовое волокно. Для того чтобы лучше понять, почему, давайте взглянем на характеристики 10GigE.

Новый стандарт многое заимствует у существующих спецификаций Ethernet. 10GigE наследует тот же формат кадров, дуплексный режим и оригинальные механизмы кодирования, что и Gigabit Ethernet. Но, в отличие от прежних инкарнаций Ethernet, он использует не алгоритм CSMA/CD (множественный доступ с контролем несущей и обнаружением конфликтов), а полнодуплексный режим. Кроме того, спецификация для медной проводки не предусмотрена.

Для сетевых администраторов главное новшество 10GigE заключается в физическом уровне (PHY). Стандарт 802.3az описывает три PHY: расширенное спектральное уплотнение (WWDM) (локальных сетей), последовательный (для локальных сетей) и WAN — они работают на семи подуровнях (PMD) в расчете на применение много- и одномодового волокна в территориальных и корпоративных сетях.

Подуровни PMD поставляются в виде платы для установки в интерфейс подключаемых сетевых устройств (10 Gigabit Attachment Unit Interface, XAUI) — эта разновидность шины ввода/вывода для компонентов разделяет независимый от среды интерфейс (10 Gigabit Media Independent Interface, XGMII) на четыре параллельных канала по 3,125 Гбит/с. XAUI снижает число контактов (с 72 у XGMII до 16) и увеличивает длину трасс, обеспечивая возможность появления дешевых микросхем коммутации с более высокой плотностью.

Компоненты PMD поставляются в 300-контактных корпусах Multi-Source Agreement (MSA), используемых в первом поколении 10-гигабитной оптики. MSA — это соглашения о спецификациях, которые поставщики заключают для продвижения технологии. Примером MSA может служить интерфейс USB. XENPAC, XPAK, X2 и XFP — это дополнительные MSA для снижения размеров плат.

Уровень WWDM задействует схему 8B/10B для кодирования сигнала по четырем параллельным каналам. Он специально разработан, чтобы использовать недорогие лазеры для пересылки сигналов по менее качественным кабелям на значительно бо?льшие расстояния, чем возможно в случае одного последовательного потока.

Последовательный уровень PHY во многом похож на Gigabit Ethernet, хотя и поддерживает 64B/66B, более новую и эффективную схему, чем традиционная 8B/10B. Если накладные расходы последней составляют 25%, то в случае 64B/66B они не превышают 3%. Кроме того, у новой схемы имеются и другие достоинства вроде улучшенного обнаружения ошибок.

Уровень WAN — это дополнительный интерфейс, с помощью которого устройства Ethernet могут подключаться к сетям SONET. Он содержит формирователь кадров с поддержкой SONET/SDH для скорости 9,58464 Гбит/с (STS-192c/VC-4-64c). Уровень WAN добавляет необходимые служебные байты в кадры SONET для поддержки подмножества операций администрирования, управления и формирования SONET (OAM&P).

Что касается компонентов PMD, они представляют собой транспондеры с лазерами и другими оптическими частями для введения сигнала Ethernet в выбранную проводку. Спецификация предусматривает четыре подуровня PMD для уровней локальной сети и три для уровня глобальной сети. Каждый подуровень PMD обозначается общим термином 10GBase и двумя буквами. Первая из них указывает на радиус действия: S — для короткого (300 м по одномодовому волокну) при длине волны 850 нм, L — для дальнего (10 км по одномодовому волокну) при длине волны 1310 нм и E — для увеличенного (40 км по одномодовому волокну) при длине волны 1550 нм. Вторая буква означает схему кодирования; X — схема 8B/10B, используемая в Gigabit Ethernet, R — новая схема 64B/66B и W — подуровень интерфейса WAN (WAN interface sublayer) внутри уровня WAN для инкапсуляции кадров Ethernet в канал SONET STS-192c (см. Рисунок).

Возможности стандарта. Хотя 10GigE определяет семь PMD, только один — интерфейс LX4 — может действительно пригодиться в корпоративной среде.

Как показано на рисунке, в трех подуровнях PMD применяется новая и более эффективная схема кодирования 64B/66B (10GBasexR); каждый из них передает последовательный сигнал со скоростью до 10 Гбит/с на расстояние в 300 м по одномодовому волокну при длине волны 850 нм (10GBaseSR), 1310 нм (10GBaseLR) и 1550 нм (10GBaseER). Последние три сочетают кодирование 64B/66B с WIS (10GBaseXW) и могут передавать последовательный сигнал 10 Гбит/с при длине волны 850 нм (10GBaseSW), 1310 нм (10GBaseLW) и 1550 нм (10GBaseEW).

Однако ни один из вышеупомянутых интерфейсов не отличается эффективностью в случае многомодового волокна. Даже поддерживающий его SR ограничен 220 м, если трасса организована при помощи «волокна для FDDI» с полосой пропускания 160 МГц*км по распространенному 62,5-микронному многомодовому волокну. По словам Джорджа Фишела, независимого эксперта по технической оптике, отчасти проблема лежит в использовании длины волны 850 нм, поскольку на этой волне труднее справиться с модальной и хроматической дисперсией, чем на высоких частотах.

Единственным настоящим решением для многомодового волокна является 10GBaseLX4 с длиной волны 1310 нм по одно- или многомодовому волокну и кодированием 8B/10B. Первоначально ожидалось, что LX4 будет «недорогим» решением для 10GigE, благодаря мультиплексированию сигналов 3,125 Гбит/с с четырех лазеров VCSEL (Vertical Cavity Surface Emitting Laser) для достижения полной скорости 10 Гбит/с (отсюда «4» в названии). Хотя такие лазеры дешевле, чем лазеры Фабри-Перо, используемые в других подуровнях PMD, дополнительные компоненты, например мультиплексоры для объединения сигналов, ликвидируют разницу в цене. LX4 может инициировать сигналы 10 Гбит/с в радиусе до 300 м по 62,5-микронному многомодовому волокну и в радиусе до 10 км по одномодовому волокну.

Проблема в том, что лишь два поставщика, Blaze и Molex, производят компоненты PMD, и ни один из них не устанавливал их в 300-контактный корпус MSA. Эта ситуация должна измениться. По словам Тодда Уитакера, вице-президента Blaze по маркетингу и продажам, компания поставляет образцы модулей LX4 XENPAK ряду OEM-производителей. Molex начала поставки прототипов LX4 XENPAK в июне 2002 г.

И все же до сих пор непонятно, насколько успешны окажутся такие модули. Поставщики коммутаторов отмечают, что ни тот, ни другой продукт не способны дать настоящий толчок PMD. Blaze — это новая компания, а Molex сосредоточена на других областях производства микросхем. Как быстро новые модули получат поддержку, покажет время.

Если говорить о меди, то формального проекта до сих пор нет, но уже поговаривают о его осуществимости. По словам Брюса Толли, старшего менеджера Cisco по развивающимся технологиям, сторонники упоминают два возможных стандарта под названиями 10GBaseT и 10GBaseCX4. 10GBaseT мог бы работать в радиусе 100 м по четырем парам кабелей Категории 5 или более высокой. «Потенциальные проблемы связаны с соотношением сигнал/шум (SNR) и перекрестными помехами, — сетует Толли. — Технология находится в разработке, и процесс этот нелегок, но все равно реализовать 10 Гбит/с по медным носителям когда-нибудь придется». 10GBaseCX4 нацелен на функционирование в радиусе 10—15 м по кабелям InfiniBand и соединение стоек в пределах серверной комнаты.

ПРОИЗВОДИТЕЛЬНОСТЬ

Настройка модуля 10GigE для работы по имеющемуся волокну — это одна трудность. Предоставление интерфейсу достаточного количества данных — уже другая. Несмотря на впечатляющие значения производительности, приводимые поставщиками, архитектуры существующих коммутаторов не рассчитаны на каналы 10 Гбит/с.

Опытные покупатели коммутаторов знают все уловки вендоров. Например, следуя за Cisco, большинство из них удваивают значения производительности, складывая количество входящих и выходящих пакетов. Линия Passport компании Nortel Networks имеет, как утверждается, внутреннюю шину 512 Гбит/с, т. е. она может отправлять и принимать 256 Гбит/с одновременно. Force10 заявляет, что ее продукты могут принимать и отправлять данные со скоростью 512 Гбит/с, что в сумме дает еще более внушительные 1,2 Тбит/с. Коммутаторы BigIron компании Foundry Networks поддерживают скорости до 420 Гбит/с в случае шасси на 14 модулей. Catalyst 6500 от Cisco и BlackDiamond 6804 от Extreme Networks отстают ненамного со значениями до 256 Гбит/с. Как заявляет Enterasys Networks, производительность коммутаторов Xpedition ER 16 равна 128 Гбит/с.

Конечно, лишь некоторые устройства могут обеспечить подобный теоретический максимум. В большинстве случаев порты 10GigE занимают около 25% от максимума. Сегодня все поставщики выпускают платы с одним портом 10GigE, кроме Force10, у которой их два на плату. Nortel, например, предлагает до восьми портов для Passport 8010, что составляет всего 16% заявленных возможностей. В E1200 Force10 можно установить до 28 портов. Cisco поддерживает до 12 портов в серии Catalyst 6500 (11 в случае установки модуля Catalyst Switch Fabric Module (SFM) для повышения производительности до 256 Гбит/с). Extreme предлагает до 16 портов для коммутаторов BlackDiamond, а Foundry — 13 на коммутатор. Enterasys в настоящее время предоставляет всего два порта для коммутатора Matrix с максимальной производительностью 22 Гбит/с.

На уровне отдельного интерфейса только коммутаторы Force10 позволяют предприятиям полностью задействовать каналы. Более старые архитектуры просто не могут обеспечить максимальную скорость линии даже с учетом заявленной производительности матрицы коммутатора. Отчасти виной тому «шаманство» с измерением производительности устройств. Поставщики не только завышают оценки коммутационных матриц, но и всячески стараются поднять производительность, например, измеряя коммутацию без учета обращения к спискам контроля доступа (ACL), без которых сегодня вряд ли кто-нибудь может обойтись.

Другая проблема в том, что современные коммутационные модули просто не могут достичь 10 Мбит/с. По словам Рэя Милхема, старшего директора Extreme по продукции, технология ASIC ограничивает скорость слота примерно 8 Мбит/с. Ожидается, что новая технология ASIC значительно увеличит плотность микросхем, а следовательно, и производительность. Например, Alcatel собиралась выпустить коммутатор Ethernet 8800 в ноябре 2002 г. По словам Титара, ASIC позволят коммутаторам достичь скорости линий в каналах 10GigE. Новинки будут иметь внутреннюю шину 512 Гбит/с и поддерживать 16 портов 10GigE.

Но будьте начеку. Для достижения скоростей линий поставщики приберегают еще несколько уловок. По словам Толли, коммутаторы серии 6500 способны обеспечить требуемые характеристики, что вызывает сомнения у скептиков. «Я не уверен, что такое возможно, поскольку это устройство выпускается не один день и хорошо всем знакомо», — сомневается Дэйв Пассмор, директор по исследованиям Burton Group.

Все споры могут показаться лишь «игрой мускулами». В конце концов, кто сумеет максимально загрузить даже канал 8 Гбит/с? Но Пассмор усматривает в этом нечто большее, чем просто похвальбу. «Линейные скорости не важны для линий доступа. Но соединительные линии — другое дело, так как ввиду неравномерного характера поступления трафика сумма линий доступа может превысить их емкость», — предостерегает он.

Сетевым специалистам не стоит слепо доверять заявлениям о производительности 10GigE и забывать об общей функциональности. Всесторонний анализ возможностей коммутатора выходит за рамки данной статьи, но все же о некоторых вещах упомянуть стоит. Например, о поддержке третьего уровня и VLAN. По заявлению Extreme, ее продукты BlackDiamond реализуют функциональность уровней с четвертого по седьмой. Force10 E1200, в свою очередь, предлагает поддержку второго и третьего уровней. Enterasys обеспечивает коммутацию второго уровня в линейке Matrix и маршрутизацию третьего уровня в линейке Xpedition ER16. Matrix E7 последнюю не поддерживает.

Что касается VLAN, все коммутаторы 10GigE поддерживают спецификацию 802.1q, но отличаются в некоторых дополнительных, нестандартизованных функциях. 802.1q позволяет назначать до 4096 VLAN. Это оборачивается проблемами масштабируемости у поставщиков услуг и в больших корпоративных сетях. Используя вложенные VLAN, внутри каждой VLAN можно назначать 4096 VLAN, т. е. всего может быть 16777216 (4096 x 4096 VLAN). В отличие от Foundry, в своей линейке Passport компания Nortel пока вложенные VLAN не поддерживает.

КУПИТЬ ИЛИ НЕ КУПИТЬ?

Как и хорошее вино, 10GigE дождется своего часа. Только ждать, возможно, придется дольше, чем ожидалось. Помните, что случилось с Gigabit Ethernet? Стандарт был представлен, но продажи начались лишь через два года. Вряд ли ситуация с 10GigE будет иной.

До тех пор пока экономические факторы не укажут на обратное, с внедрением 10GigE следует повременить, где это возможно. Снижение цен на Ethernet значительно повысит выгодность 10GigE, но не ждите, что это случится скоро. По оценке Гросса, средняя розничная цена интерфейсов 10GigE снизится лишь до 19 тыс., а на решения 10GBaseSR — до 15 тыс. долларов. Пока поставщики не смогут обеспечить приемлемые для компаний цены, администраторам сетей придется обходиться транкинговыми каналами и отложить тестирование продуктов 10GigE на год-полтора. Хотя мы говорим об Ethernet, им все же придется привыкнуть к скорости и ограничениям новой технологии.

А пока не слишком завидуйте тем, кто уже приобрел 10GigE. У них другие аппетиты. «Где же моя терабитная сеть? — жалуется Видель. — Мы пользуемся кластерами, и для этого можно было бы что-то сделать». Да уж, у нас у всех скоро появятся подобные проблемы.

? CMP Media LLC

Лицом к лицу. Возможности двух высокоскоростных стандартов Ethernet.