АТМ и MPLS - враги или союзники?

Современный оператор вынужден выбирать: экономить деньги, оставаясь с АТМ, или зарабатывать, переходя к MPLS?

Cоперничество между технологиями АТМ и MPLS переходит на новый виток. Общее впечатление о состоянии дел в телекоммуникационной отрасли в части поддержки АТМ достаточно хорошо отражает высказывание Кристины Флинн, аналитика исследовательской компании The Yankee Group: «Полтора-два года назад мы думали, что технология АТМ отомрет или, по крайней мере, утратит свое значение. Но в действительности этого не произошло. Сетей АТМ по-прежнему много, и мы наблюдаем их устойчивый рост». Этот рост, сопровождаемый широким распространением сетей frame relay (чаще всего они используются в качестве сетей доступа), Кристина Флинн назвала волной «обратного хода технологии», которая надвигается вопреки предсказываемому бурному наступлению на всех телекоммуникационных фронтах технологии IP, получившей мощное подкрепление в виде MPLS.

ДЕНЬГИ — МЕРИЛО УСПЕХА

Таблица 1. Доходы от транспортных услуг различного типа.

Такую оценку подтверждает множество цифр и фактов. Прежде всего, об успехах пары ATM/frame relay красноречиво говорит уровень доходов телекоммуникационных операторов от оказания услуг ATM, frame relay и предоставления в аренду физических каналов (в млрд долларов) за последние три года (см. Таблицу 1).

Хотя наибольшие валовые показатели по-прежнему обеспечивает аренда каналов, и АТМ, и frame relay приносят высокие доходы и демонстрируют очень неплохой рост (44% — для АТМ), особенно на фоне длящегося уже второй год общего кризиса телекоммуникационной отрасли. Для сравнения, доходы операторов от услуг IP VPN — наиболее популярного вида услуг IP для корпоративных пользователей — составили в 2001 г. менее 1 млрд долларов — почти в 20 раз меньше, чем объединенный рынок АТМ/FR. У читателя может возникнуть закономерный вопрос — а где же вездесущий трафик IP, без которого сегодня не обходится ни одна корпоративная сеть и ни один домашний пользователь? Дело в том, что приведенные цифры отражают доходы, полученные в результате предоставления различных типов услуг конечным пользователям, и не учитывают тип переносимого сетью трафика. По данным Vertical Systems, в своих ячейках и кадрах сети ATM и frame relay переносят сегодня 50—60% трафика IP, но если пользователь заказал услугу объединения локальных сетей своих подразделений с помощью frame relay и при этом передает поверх виртуального соединения пакеты IP, то доходы от услуги относятся на счет сети frame relay. И лишь при заказе услуги IP в явном виде, например той же IP VPN или доступа к Internet, доход будет отнесен на счет сети IP. Так что трафик — трафиком, а доходы — доходами, и операторы «чистых» сетей IP пока только завидуют тем, кто вовремя построил свои сети передачи данных на основе ATM/FR.

Кстати, распределение доходов между frame relay и ATM подсчитывается по той же схеме — если клиенту предоставляются услуги frame relay, то они заносятся на счет frame relay, хотя чаще всего этот трафик из сети доступа frame relay поступает в магистраль АТМ, и только непосредственные услуги АТМ, доходящие до клиента, учтены в приведенных результатах. Таким образом, удельный вес различных технологий в сети оператора не связан непосредственно с доходами, которые ему приносят услуги, оказываемые с помощью этих технологий. Общемировые цифры подтверждаются отчетами отдельных компаний: например, по данным компании AT&T, полученные ею доходы от услуг АТМ в первом квартале 2002 г. на 42% превышают показатель аналогичного периода 2001 г.

Таблица 2. Реальные и прогнозируемые (с индексом E) капитальные вложения 12 ведущих операторов США.

Неплохо для АТМ выглядит и статистика продаж оборудования операторам связи. На фоне общего спада капиталовложений (см. Таблица 2) график инвестиций в мультисервисные коммутаторы (а они практически все поддерживают АТМ) смотрится совсем не дурно (см. Таблица 3).

Таблица 3. Мировые продажи мультисервисных коммутаторов.

Хотя рост вложений и остановился на уровне 2000 г., аналитики из Vertical Systems объясняют это не только уменьшением количества закупаемого оборудования, но и резким снижением цен на него вследствие жесткой конкуренции производителей в условиях кризиса и поступления на рынок дешевого оборудования обанкротившихся операторов, общий объем которого оценивается в 700 млн долларов.

ОСТОРОЖНОСТЬ ПОБЕЖДАЕТ

А что же IP/MPLS? Темпы распространения технологии оказались в 2001-2002 гг. ниже прогнозируемых, и это одна из главных причин возрождения интереса к АТМ и frame relay. Нельзя сказать, что пара IP/MPLS совсем не пользуется спросом в сетях операторов — по крайней мере пять ведущих мировых провайдеров уже оказывают соответствующие услуги, в их числе AT&T, Equant, Cable&Wireless. В России с подобными предложениями в масштабах страны выступает «ТрансТелеком», а также ряд региональных операторов (и, естественно, некоторые трансконтинентальные операторы, тот же Cable& Wireless). Однако общее отношение к MPLS (IP можно опустить для краткости, так как без IP новый претендент на роль универсального транспорта не работает), особенно в среде традиционных и более консервативных операторов, в последнее время изменилось.

Вот одно из характерных недавних высказываний руководителей высокого уровня ведущих операторов связи из отчета «Retro Chic — Multiservice Switches», подготовленного компанией Optical Oracle летом 2002 г. «MPLS — долгосрочная цель. Когда-нибудь мы воспользуемся этой технологией для объединения наших сетей IP и ATM, но до этого нужно проделать немалую работу по стандартизации. Вряд ли мы приступим к рассмотрению такой возможности раньше, чем через два или три года. Пока есть рынок АТМ, мы будем предлагать АТМ. Некоторые из наших сетей АТМ будут мигрировать к MPLS, но не в ближайшее время. Сначала это произойдет в ядре. MPLS на границе? К тому времени я уйду на пенсию», — высказывается Ларри Тидт, директор по широкополосной коммутации и маршрутизации компании Verizon. (Любопытно было бы узнать, сколько ему сейчас лет, это сделало бы его прогноз более определенным.)

Безусловно, очень сильное влияние на такое отношение к АТМ и MPLS оказал кризис рынка телекоммуникаций, которого в 2000 г. никто не ожидал и даже в 2001 г. не предвидел всей его глубины, надеясь на скорое начало подъема. Представление о том, насколько неверной была оценка перспектив отрасли, дает ряд материалов, открывшихся в ходе разбирательства дела о банкротстве WorldCom, одного из ведущих мировых провайдеров Internet. Грядущий рост трафика Internet на 2001 г. оценивался специалистами этой компании примерно в 1000%. Для поддержки таких объемов, суливших высокую прибыль, было приобретено новое оборудование IP, в том числе и с поддержкой MPLS. Однако рост трафика оказался в 10 раз меньшим, и доходов просто не хватило на оплату кредитов, взятых для закупки техники, — банкротство стало неминуемым.

Естественно, что в условиях стагнации рынка телекоммуникаций, особенно такой его составляющей, как Internet, традиционные провайдеры, владельцы работающих и приносящих стабильные доходы (в основном — за счет корпоративных пользователей) сетей ATM/FR стали вести себя гораздо осторожней. Они столкнулись с дилеммой: экономить деньги, оставаясь с АТМ, или зарабатывать, переходя к MPLS? В первом случае нет нужды рисковать и вкладывать средства в новое оборудование и развертывание новых сетей, тем более что они вряд ли сразу начнут приносить хорошую прибыль. Зато появляется другой риск — отстать от конкурентов, во всяком случае от тех из них, кто, несмотря на неопределенность нынешнего положения, стал на путь разработки и внедрения услуг на базе IP, для реализации которых требуется перестройка существующих магистралей IP путем наделения их дополнительными свойствами: поддержкой QoS для предоставления клиентам разнообразных гарантий в рамках соглашений об уровне сервиса (SLA), высокой надежностью и рациональным потреблением ресурсов сети с помощью методов инжиниринга трафика (Traffic Engineering, TE). Выбор второго варианта чреват повторением судьбы WorldCom и Global Crossing.

Неопределенность ситуации и крайне высокая степень риска при немедленном переходе к MPLS заставляют традиционных операторов склоняться пока к первому варианту. Знаковым на этом фоне выглядит недавнее решение Verizon Communications начать передачу части вызовов своей крупнейшей в США телефонной сети через собственную магистраль АТМ, использовавшуюся до этого только для передачи данных. Вес решению придает масштаб компании, ставшей одним из крупнейших операторов Америки в 2000 г. после слияния Bell Atlantic (одна из семи частей AT&T после ее разделения в 1994 г.) с GTE (национальным провайдером Internet). В сообщении подчеркивается, что телефонная сеть Verizon на базе традиционной технологии коммутации каналов подвергается модернизации впервые за последние 30 лет! Очевидно, что такое эпохальное решение было принято после серьезного обдумывания и всесторонней оценки последствий каждого из возможных вариантов развития сети. Причем конкуренцию выбранному способу передачи «голоса по ATM» (VoATM) составлял повсеместно популярный «голос по IP» (VoIP); в последнем случае чаще всего применяется не «чистая» реализация IP, а IP/MPLS для обеспечения низкого уровня задержек голосового трафика. Кроме того, оператор при этом может не только передавать телефонные вызовы через собственную магистраль, но и направлять их без особых проблем через сети других операторов, предлагающих услуги Internet-телефонии. Однако, несмотря на такие перспективы и большой рекламный шум вокруг VoIP, для связи телефонных коммутаторов через пакетную сеть был выбран вариант с использованием АТМ, — и этот факт говорит о многом.

ГЛАВНЫЙ КОЗЫРЬ MPLS

Решения, принимаемые в критических ситуациях, а именно такая ситуация сейчас наблюдается в западном сегменте телекоммуникаций, могут быть совершенно обоснованными в тактическом плане, но с позиций стратегической перспективы способны вести в тупик. Поэтому сегодняшние мнения операторов полезно сравнить с теми, которые они высказывали год-полтора назад в гораздо более спокойной обстановке, чтобы понять, что стоит за этими краткими формулировками.

Вот какова была точка зрения руководителей ведущих американских и международных операторов связи по поводу перспектив АТМ и IP/MPLS летом 2001 г. Отвечая на вопрос Internet-газеты «The ATM & IP Report» по поводу грядущей роли MPLS в сетях IP и ATM/FR, Уильям Лейтон, вице-президент AT&T, сказал буквально следующее: «Мы рассматриваем MPLS как масштабную сеть конвергенции. Учитывая, что сети IP уже работают на скорости OC-192 (10 Гбит/с — прим. авторов), мы хотим использовать эти возможности для построения сверхнадежного ядра магистрали, где MPLS применяется для переноса всех видов трафика. Таким образом, мы сможем предоставлять все услуги с наивысшей на данный момент степенью масштабируемости, а также с обеспечением необходимого уровня безопасности и QoS».

Итак, одно из главных преимуществ IP/MPLS перед АТМ в долгосрочной перспективе — более высокая степень масштабируемости. Следовательно, областью сетей передачи данных, в которой это преимущество играет решающую роль, является магистраль. Если сама магистраль достаточно крупная и имеет иерархическое построение, то предпочтительная область применения MPLS — ядро магистрали.

Технологии АТМ и MPLS достаточно просто сравнивать, потому что они выполняют в современных сетях передачи данных одни и те же функции: создание слоя второго уровня с установлением виртуальных соединений для обеспечения, во-первых, дифференцированного обслуживания различных типов пользовательского трафика (поддержка SLA), а во-вторых, сбалансированности загрузки ресурсов на основе рационального выбора маршрутов следования трафика через сеть (методы инжиниринга трафика, TE). Операторы вынуждены вводить такой промежуточный слой, так как протокол IP, хотя он и отлично справляется с функциями объединения сетей различных технологий, не предусматривает установление соединений и поэтому принципиально не может решать задачи предоставления гарантированного уровня QoS и инжиниринга трафика — из-за размытости путей следования трафика через сеть и невозможности влияния на эти пути, выбор которых осуществляется протоколами маршрутизации в соответствии с наименьшей метрикой. Технологии виртуальных соединений «исправляют» такую специфику IP, направляя трафик по рациональным маршрутам и создавая основу для резервирования пропускной способности для пользовательских потоков данных.

Однако, несмотря на общие функции, из-за различной масштабируемости технологий в большинстве прогнозов специалисты отводят место MPLS в ядре сети, а АТМ и FR — в сети доступа (см. Рисунок 1). Таким образом, в перспективном варианте построения сети передачи данных MPLS по отношению к АТМ занимает то же место, что и АТМ к frame relay в существующих сетях.

Рисунок 1. Протоколы сети доступа и магистрали.

Теперь остановимся на причинах такого позиционирования. Масштабируемость для сетевой технологии — это способность экономически эффективно работать в очень крупных сетях на сверхвысоких скоростях. В технологии АТМ имеется несколько ограничителей, из-за которых ее масштабируемость не может выходить за определенные рамки. Если в начале 90-х гг. возможности базовых механизмов АТМ казались «бесконечными», то сегодня, спустя 10 лет, они уже вполне ощутимо сдерживают рост сетей.

Самым принципиальным ограничителем является фиксированный и очень небольшой размер ячейки — 53 байт, 48 из которых переносят пользовательские данные. Этот размер был выбран для создания благоприятных и предсказуемых условий переноса чувствительного к задержкам голосового трафика через магистрали со скоростью 155 Мбит/с — наиболее распространенной в сетях АТМ в начале 90-х. Действительно, задержка пакетизации голоса (время между помещением в данную ячейку первого и последнего замеров оцифрованного частотой 8 кГц голоса) для ячеек такого размера составляет меньше 6 мс, а задержка приоритетной ячейки из-за передачи неприоритетной или служебной ячейки вообще почти незаметна — всего около 3 мкс.

Однако за прошедшие 10 лет масштабы скоростей изменились, и в настоящее время такие технологии, как Packet over SDH/Sonet или 10 GigE, работают уже на скорости 10 Гбит/с, т. е. в 64 раза быстрее, чем 155 Мбит/c. Это значит, что те же максимальные задержки в 3 мкс из-за вставки неприоритетных данных между приоритетными, которые раньше достигались за счет сокращения ячейки до 53 байт, сегодня можно соблюсти и при использовании кадров с полем данных в 64 раза больше. Это подтверждается практикой работы высокоскоростных каналов STM-16/OC-48 и STM-64/OC-192 в Internet, где используются кадры с максимальным полем данных в 4500 байт (для поддержки такого поля многие высокоскоростные продукты Ethernet поддерживают так называемые гигантские кадры (jumbo), хотя они пока не стандартизованы).

Затраты вычислительной мощности любого пакетного коммуникационного устройства, независимо от поддерживаемой им технологии, пропорциональны количеству обрабатываемых пакетов (кадров, ячеек), а не их размеру, поэтому коммутатору АТМ приходится выполнять примерно в 100 раз бо?льшую работу, чем маршрутизатору IP, работающему с кадром размером в 4500—5500 байт. При этом разница в быстроте продвижения вследствие различий в размере ячеек и кадров не превышает наносекундных величин и не ощущается пользователями сети.

Одним из достоинств технологии MPLS по сравнению с АТМ является ее способность использовать практически любой формат кадров существующих технологий второго уровня — ATM, frame relay, PPP, Ethernet или любой иной, которая может появиться завтра. Поэтому она имеет несколько разновидностей: A-MPLS, F-MPLS, P-MPLS и E-MPLS; они, соответственно, используют ячейки АТМ, frame relay, PPP или Ethernet. Если завтра какая-нибудь новая технология канального уровня, скажем X, будет способна работать на новых скоростях терабитного диапазона, то MPLS останется той же технологией с теми же функциональными возможностями, но только будет иметь новый формат кадра X и поддержку нового уровня скоростей. Такая протокольная независимость пары IP/MPLS обеспечивает ей высокую степень гибкости и масштабируемости, так необходимую при работе на магистрали.

Таким образом, стоимость продвижения одного и того же объема данных с равной скоростью по магистрали MPLS и магистрали ATM всегда различна. Относительно меньшие затраты вычислительной мощности приводят к тому, что магистраль MPLS оказывается экономичней. Правда, в сегодняшней схеме применения MPLS пока не решена проблема конкатенации маленьких пользовательских голосовых пакетов в большие кадры магистрали — ведь задержки пакетизации как фактор все равно остаются; они зависят не от скорости передачи данных, а от частоты оцифровки голоса, так что исходный кадр или ячейку с голосовыми замерами все равно нельзя делать большими. Единственный выход — собирать их на входе в магистраль в большие кадры и разбирать на выходе. Многоуровневое вложение меток в MPLS позволяет это сделать, однако соответствующие стандарты пока не разработаны.

Масштабируемость означает также экономичную поддержку большого количества пользовательских потоков. Экономичность подразумевает возможность передачи через магистраль многочисленных потоков без необходимости слежения за каждым из них, т. е. агрегированно. Как АТМ, так и MPLS обладают такими функциями: в АТМ — это агрегирование отдельных виртуальных соединений VCC в общий путь VPC, а в MPLS — агрегирование разных пользовательских потоков в общий класс продвижения (Forwarding Equivalence Class, FEC) и передача их по общему пути LSP. При этом механизмы агрегирования MPLS более гибки и поддаются автоматизации. Если коммутатор АТМ не «видит» ничего, кроме информации своего второго уровня, т. е. номера виртуального соединения/пути (VCI/VPI), то коммутирующий маршрутизатор MPLS (Label Switch Router, LSR) имеет доступ к информации того же второго уровня, а кроме того, и третьего (IP-адреса), четвертого (порты TCP/UDP), а часто — и прикладного. Поэтому администратор может написать несколько правил агрегирования с учетом разных признаков трафика, в том числе и высокоуровневыми, и предоставить дальнейшую работу LSR, а не конфигурировать отображение VCC на VPC вручную.

Еще одним хорошим «масштабируемым» свойством MPLS является неограниченное число уровней иерархии меток и, соответственно, агрегирования путей — вместо двух уровней АТМ. Пока нет сервисов, где использовалось бы больше двух уровней иерархии меток MPLS, но и самой технологии не так уж много лет — все еще впереди.

А КАК ЖЕ С КАЧЕСТВОМ ОБСЛУЖИВАНИЯ?

Отвечая на вопрос, не вызовет ли применение некоторыми операторами MPLS в качестве конвергентной магистрали проблем с QoS и SLA, Фред Харрис, вице-президент по исследованиям, архитектуре и проектированию Sprint Tech. Services, заявил: «Именно поэтому мы решили поддерживать раздельные сети IP и ATM. У нас есть магистраль Internet на базе оборудования Cisco, но сеть АТМ будет функционировать отдельно. Наша концепция заключается в том, чтобы все сервисы в конце концов работали поверх IP, хотя сегодня мы не в состоянии сделать это. Пока все сервисы работают поверх АТМ, что обусловлено характеристиками QoS, поддерживаемыми АТМ. Однако цель ясна — научиться делать это через IP».

Тонкая и разнообразная поддержка дифференцированного обслуживания разных типов трафика всегда рассматривалась как наиболее сильная сторона АТМ. Действительно, разработчики технологии всесторонне проанализировали все типы существующего трафика, разделили его на несколько категорий, для каждой создали отдельную службу (CBR, VBR-RT, VBR-nRT, ABR и UBR), призванную наилучшим образом поддерживать передачу соответствующего ей трафика. При этом сеть может контролировать параметры QoS «из конца в конец» для каждого отдельного виртуального соединения, обеспечивая высокую степень гранулированности соглашений SLA.

Неспособность MPLS поддерживать QoS подобным образом очень многие считают ее слабостью и главной причиной сохранения АТМ на магистрали. Безусловно, проблемы с поддержкой QoS у сетей IP/MPLS существуют, но дело не в том, что MPLS не может поддерживать QoS так же, как АТМ. Сегодня отсутствует принятый IETF и другими органами стандарт, устанавливающий для MPLS способы поддержки QoS в соответствии с особой ролью технологии, предназначенной для ядра сети, а не для ее периферии.

Нужно отметить, что поддержка QoS вообще не встроена жестко в MPLS (если не считать зарезервированных 3 бит Exp в заголовке, которые ряд производителей сегодня использует для переноса признака приоритетности кадра). Подобное «упущение» сделано сознательно, чтобы предоставить производителям и сетевым интеграторам свободу действий и возможность применять те из имеющихся механизмов QoS, что наилучшим образом отвечают потребностям сети. Сегодня таким рекомендуемым механизмом является архитектура DiffServ, она разработана для сетей IP и ориентирована на работу с несколькими агрегированными классами трафика, а не с отдельными пользовательскими соединениями, как в АТМ. Именно такая технология подходит для работы на магистрали сети.

Другим выбором сетевых интеграторов может оказаться объединение техники инжиниринга трафика MPLS с DiffServ, этот механизм получил название «DiffServ Aware Traffic Engineering». Он предусматривает прокладку в сети IP/MPLS агрегированных путей LSP двух типов — для чувствительного к задержкам трафика и для остального: в результате весь пользовательский трафик сводится всего к двум классам, так что, вместо информации о параметрах QoS тысяч виртуальных соединений (подход АТМ), устройствам LSR достаточно запоминать параметры только двух LSP по каждому интерфейсу — такое существенное сокращение обеспечивает высокую масштабируемость решения и сохраняет поддержку QoS. Беда только в том, что DiffServ Aware Traffic Engineering всего лишь Internet Draft, и до сих пор неясно, когда и в каком окончательном виде данная техника станет стандартом. Это действительно слабое место MPLS создает проблемы с совместимостью решений производителей в отношении механизмов QoS; кроме того, пользователь оказывается в совершенно непредсказуемой ситуации при получении сервиса MPLS — неизвестно, как его реализовал оператор, каким образом он поддерживает соблюдение параметров QoS и обеспечивает ли вообще, поскольку стандарта не существует. С АТМ таких проблем нет: QoS у всех производителей реализуется более-менее однотипно, в соответствии со стандартами. Более того, АТM дает пользователю возможность проконтролировать качество виртуального соединения, а для MPLS подобные стандартные средства отсутствуют.

Что же касается отсутствия в MPLS АТМ-подобных механизмов гранулированной поддержки QoS, то для работы на современной магистрали они и не нужны. Такой на первый взгляд неожиданный вывод достаточно просто обосновать теоретически и подтвердить практическими измерениями трафика Internet.

Так, если считать, что каждое пользовательское соединение создает поток данных со скоростью 100—200 Кбит/с, то полностью загруженный канал E1 (2 Мбит/с) переносит 10—20 таких соединений, канал STM-1 (155 Мбит/с) — 60—120, канал STM-16 (2,5 Гбит/c) — 1000—2000, а канал STM-64 (10 Гбит/с) — уже 4000—8000. Отдельный пользовательский поток обладает очень высокой степенью пульсаций — 50:1 или даже 100:1, что и создает эффект очередей, ведущий к неравномерным задержкам пакетов. Однако при объединении значительного количества пользовательских потоков вступает в действие закон больших чисел: пульсации одних потоков накладываются на периоды молчания других, так что суммарный поток становится гораздо более «гладким». А чем реже поток пульсирует, тем меньше проявляется эффект очередей.

Обычно, поясняя выбор максимально допустимой загрузки канала для чувствительного к задержкам трафика, используют кривую, показывающую, как изменяется среднее время ожидания пакетов в очередях W от коэффициента загрузки канала. Однако при этом нельзя забывать, что на ожидание в очередях влияет и другой фактор, а именно — коэффициент пульсации трафика. На Рисунке 2 показано влияние на задержки обоих коэффициентов. После увеличения коэффициента загрузки канала до 0,3-0,5 кривая, соответствующая значительным пульсациям Kmax, достаточно резко поднимается вверх, в результате загруженный таким образом канал не позволяет обслуживать чувствительный к задержкам трафик. При уменьшении пульсации трафика точка, при которой задержки начинают ощущаться, сдвигается вправо. Если трафик становится «идеально» синхронным, то задержки из-за пребывания в очередях исчезают вовсе — пакеты поступают с фиксированной задержкой на обработку коммуникационным устройством и распространение данных по каналам связи.

Рисунок 2. Зависимость среднего времени ожидания в очереди от пульсации трафика.

В своем докладе на 22-й конференции североамериканских операторов связи (North American Network Operator Group, NANOG), состоявшейся в мае 2001 г., Питер Лутберг (компания Stupi LLC) привел аналогичные графики задержек в очередях для каналов T1, OC-3, OC-48 и OC-192. В соответствии с его данными, канал OC-192 на 10 Гбит/с в сети IP может быть загружен до 97% (!) от своей номинальной скорости, и только после этого порога начинают появляться ощутимые задержки вследствие ожидания в очередях. К сожалению, из опубликованных материалов доклада не ясно, при каких предположениях сделан этот вывод.

Более конкретные результаты, подтверждающие низкую степень пульсации трафика в толстых каналах Internet, приведены в презентации компании Packet Design, сделанной на той же конференции NANOG. Сотрудники компании проводили измерения вариации задержек тестового трафика в 1 Мбит/с, который они пропускали через работающий канал OC-48 одного из американских операторов связи, при этом трафик пересылался между точками присутствия оператора в Сан-Франциско и Вашингтоне, т. е. между двумя побережьями. Результаты измерений показали, что 99,99% посланных пакетов прибыли в точку назначения с вариацией задержки меньшей, чем 1 мс, и только 0,01% имели показанные на Рисунке 3 отклонения в 10—20 мс (обычно американские операторы дают гарантию того, что трафик между двумя побережьями будет передаваться с вариацией не более 30 мс).

Рисунок 3. Вариация задержки при передаче пакетов по каналу OC-48 на 2,5 Гбит/с.

Подведем итоги. При передаче трафика через высокоскоростные каналы 2,5—10 Гбит/с пульсации большого количества (несколько тысяч) отдельных пользовательских потоков в суммарном потоке настолько сглаживаются, что для их обработки достаточно простых методов работы с очередями: например, тех, которые развиваются в рамках механизмов DiffServ, применяемых в устройствах IP/MPLS. И тонкие методы поддержки QoS, как у ATM, в таких условиях просто излишни, а их применение приведет только к удорожанию магистрали из-за необходимости запоминания каждым магистральным маршрутизатором тысяч параметров отдельных соединений, т. е. к явно не масштабируемому решению.

Нужно также отметить, что проблемы поддержки QoS на скоростных магистралях не очень интересуют многих операторов по другой причине — эти каналы недогружены, так что о 97% загрузки их владельцам остается только мечтать. Дело в том, что в период бума Internet в мире было проложено столько оптического волокна, что этих запасов хватит на много лет кризиса. Это привело, например, к тому, что стоимость аренды волокна от Нью-Йорка до Лондона снизилась с 2000 до 400 долларов в месяц. Так что до критических загрузок, когда собственно и нужны методы QoS, большое число западных операторов просто еще не доросло.

Но все это справедливо только для высокоскоростных каналов. Как только мы переходим к рассмотрению «магистралей» в 2 Мбит/c и даже 155 Мбит/с, ситуация изменяется, и АТМ в данном случае выглядит предпочтительнее.

НАДО ДРУЖИТЬ — НО КАК?

Мы сравнили технологии АТМ и IP/MPLS только по двум, хотя и очень важным для магистрали, параметрам — масштабируемости и поддержке QoS для разных типов трафика. Понятно, что было бы полезно провести подобное сравнение и по другим параметрам: набору услуг, которые можно развернуть на основе той и другой технологии, степени автоматизации формирования этих услуг, обеспечению высокой надежности транспортировки трафика в условиях отказов каналов и коммуникационных устройств — данный перечень можно и нужно продолжать. Безусловно, при таком сравнении следует учитывать еще одно измерение — тип оператора связи, так как потребности у операторов могут значительно отличаться. И хотя рамки журнальной статьи не позволяют детально остановиться на всех этих факторах, доступные авторам материалы позволяют утверждать, что и с учетом всех выше приведенных обстоятельств следующий вывод остается справедливым: для крупных операторов связи применение MPLS на сверхскоростной магистрали более перспективный вариант, чем АТМ.

При этом за АТМ остаются сети доступа (часто со скоростями вчерашних магистралей), где его применение вполне уместно. Большинство операторов связи поддерживают такое решение, считая сочетание «АТМ в сети доступа» и «IP/MPLS на магистрали» рациональным и стратегически верным. В таком случае возникает вопрос: как сеть доступа АТМ должна взаимодействовать с магистралью IP/MPLS?

Сегодня существует два подхода к обеспечению такого взаимодействия — на третьем уровне и на втором.

Вариант взаимодействия на третьем уровне наиболее проработан в документе RFC 2547 (к сожалению, он не является стандартом Internet), известном под названием IP/MPLS VPN или MPLS VPN третьего уровня. Собственно, здесь принципиальное значение имеет не то, какая технология второго уровня применяется в сети доступа, а то, что поверх нее работает протокол IP со своей адресацией. Если в сети используется АТМ, то ее виртуальные соединения заканчиваются на входных интерфейсах пограничного маршрутизатора, а трафик отображается на нужный путь LSP магистрали на основе IP-адреса назначения (подробнее о механизмах работы такой магистрали читайте в статье «MPLS на службе VPN» в «Журнале сетевых решений/LAN» за март 2002 г.). В случае, когда в сети доступа прибегают к другим технологиям второго уровня (Ethernet, frame relay) их адресная информация также отбрасывается при поступлении в магистраль и не учитывается при прохождении через нее.

Альтернативно сеть доступа может взаимодействовать с магистралью IP/ MPLS на втором уровне. При этом протоколы третьего уровня, например IP или IPX, вообще не участвуют во взаимодействии. Это очень важное свойство, потому что, как уже было отмечено выше, около половины пользовательского трафика, переносимого сетями западных операторов, составляет не трафик IP, а унаследованный трафик SNA, IPX, DECnet и трафик телефонных сетей, упакованный непосредственно в ячейки АТМ или кадры FR и т. п. Поэтому при организации взаимодействия на третьем уровне такой трафик нужно обязательно инкапсулировать в пакеты IP, что приводит к большим накладным расходам, а в данном варианте он инкапсулируется непосредственно в кадры или ячейки второго уровня, что, соответственно, уменьшает затраты.

Для перемещения трафика второго уровня через магистраль используются таблицы отображения адресов второго уровня на пути LSP. При этом адрес не отбрасывается, а запоминается и помещается в поле внутренней метки заголовка MPLS, т. е. задействуется свойство MPLS поддерживать иерархические пути за счет иерархии меток в заголовке кадра. При выходе кадра или ячейки из магистрали эта адресная информация восстанавливается, и данные продолжают перемещаться по сети доступа к узлу назначения в соответствии с работающей в ней технологией. Таким образом, реализуется туннелирование трафика второго уровня, при котором в качестве туннелей служат пути LSP через магистраль. Если в сети доступа применяется АТМ, то виртуальное соединение не заканчивается на входном устройстве магистрали, а прозрачным образом проходит через туннель MPLS и продолжается по выходе из магистрали в сеть доступа со стороны узла назначения. Таблица отображения номера соединения VCI/VPI на путь LSP во входном устройстве магистрали управляет маршрутом прохождения через магистраль. К сожалению, эта таблица должна создаваться вручную, другие подходы пока не предусмотрены.

Описанные схемы взаимодействия ATM и MPLS дополняют друг друга. Применяя их вместе, оператор получает возможность передавать через магистраль MPLS любой трафик, как IP, так и отличный от него.

Техника туннелирования трафика второго уровня через магистраль MPLS сегодня пока еще не является стандартной, хотя интенсивные работы в этом направлении ведутся. Правда, начало им положила не технология АТМ, а Ethernet, для которой такие схемы туннелирования уже поддерживаются производителями оборудования на основе Internet Draft, разработанного Лукой Мартини из компании Level 3 Communications и ставшего сейчас фактическим стандартом, несмотря на свой статус.

Е-MPLS ПРИХОДИТ В ГОРОДА

Однако и в сетях доступа технологии ATM, возможно, придется в скором времени потесниться, уступив место Ethernet. Желание многих участников телекоммуникационного рынка расширить рамки применения Ethernet, превратив ее в решение широкополосного доступа, а также в технологию для построения магистральных сетей операторов связи нового поколения, демонстрировалось на протяжении довольно большого времени, практически с момента появления стандарта Fast Ethernet с его скоростью 100 Мбит/с, благодаря которому технология встала на один уровень производительности с АТМ и SDH.

Рисунок 4. Рост пропускной способности телекоммуникационных сетей различного типа.

Динамика развития — рост скорости на порядок каждые пять лет (см. Рисунок 4) и низкая стоимость решений, уже сейчас далеко опережающих по производительности магистральные сети многих традиционных операторов, — делает Ethernet очень привлекательной для создания территориальных сетей.

Оконечное оборудование Ethernet, оборудование агрегирования и обработки, использующее в своей основе принципы неблокирующей коммутации и единый формат кадра на скоростях от 10 Мбит/с до 10 Гбит/с, уже сейчас может обеспечить уровень надежности сетевых решений порядка 99,999% и при этом обходится в десятки раз дешевле сетей SDH с аналогичными характеристиками.

Особенно заманчивым представляется применение Ethernet в сетях современных операторов мегаполисов (сети MAN). Этот рынок насыщен большим количеством крупных локальных сетей на базе Ethernet, владельцы которых хотят экономично объединить их в единую корпоративную сеть. Конечно, объединение возможно и с помощью стандартных услуг IP, т. е. на третьем уровне, но такой вариант всегда стоит дороже.

Однако до недавнего времени, несмотря на все свои достоинства, сфера применения Ethernet ограничивалась только локальными сетями. Интерес к этой технологии со стороны операторов продолжал носить чисто теоретический характер, поскольку оставались открытыми вопросы гарантии надежности и обеспечения качества обслуживания. При этом все члены операторского сообщества прекрасно отдавали себе отчет, с какими проблемами им придется столкнуться в случае «допуска» пользовательского трафика Ethernet в свои магистральные сети: начиная от отсутствия аппаратных реализаций обработки гигантских пакетов до банальных проблем переполнения таблиц MAC-адресов, атак arpoison и широковещательных штормов, которым подвержены «плоские», т. е. не разделенные маршрутизаторами, сети (при предоставлении услуг на третьем уровне эти проблемы отсекает пограничный маршрутизатор, просто в силу логики работы протоколов третьего уровня).

Первой «ласточкой» стало утверждение стандартов IEEE 802.1Q и IEEE 802.1p, благодаря которым, несмотря на их ориентированность на задачи корпоративных сетей, те из операторов, кто ведет агрессивную политику на телекоммуникационном рынке в области широкополосного доступа в Internet и предоставления услуг Extranet, смогли сделать колоссальный шаг вперед.

А сравнительно недавно неожиданная помощь пришла со стороны разработчиков MPLS. Предложенная ими инкапсуляция Martini позволяет решить многие проблемы. С одной стороны, она обеспечивает взаимодействие магистрали оператора с пользовательской сетью на втором уровне без привлечения третьего, а с другой — избавляет внутренние устройства магистрали, поддерживающие IP/MPLS, от необходимости быть в курсе адресации и структуры пользовательской сети, так как кадры передаются через магистраль на основе не МАС-адресов, а меток путей LSP.

Инкапсуляция Martini позволяет использовать для отображения на нужный путь LSP не только МАС-адреса, но и внутренние метки виртуальных локальных сетей (VLAN). Это обеспечивает предоставление масштабируемых услуг VPN второго уровня, для чего администратору не требуется задавать таблицы большой размерности, в которых участвуют МАС-адреса узлов. Такие услуги получили название «виртуальных частных локальных сетей». Простота решения и полная совместимость с существующими пользовательскими сетями Ethernet сулят новой технологии VPN большое будущее, так что более традиционным решениям VPN второго уровня на основе АТМ придется потесниться, особенно в сетях мегаполисов.

Работы по стандартизации объединения пользовательских сетей на втором уровне через магистраль MPLS сегодня активно продолжаются. Новая рабочая группа IETF под названием «Pseudo Wire Emulation Edge to Edge» (pwe3) разрабатывает спецификации для туннелирования трафика через MPLS различных технологий второго уровня — Ethernet, ATM, frame relay. Спецификации используют подход, аналогичный инкапсуляции Martini, но добавляют к ней такие недостающие элементы, как гарантия сохранения упорядоченности кадров/ячеек, возможность фрагментации, перенос служебного трафика АТМ/FR и т. п.

УГАДЫВАЯ ЖЕЛАНИЯ

Желание операторов продлить жизнь АТМ на магистрали быстро уловили крупнейшие производители телекоммуникационного оборудования. Они стали активно совершенствовать коммутаторы АТМ сразу в нескольких направлениях, чтобы операторы могли улучшить характеристики своих сетей АТМ без необходимости срочного перехода на MPLS. В результате на рынке появилось новое поколение коммутаторов АТМ с очень высокой общей производительностью — от 1,2 Гбит/с для применения в качестве пограничного устройства до 480 Гбит/c (Marconi BXR-48000) в устройствах, ориентированных для работы на магистрали. В своем обзоре компания Optical Oracle включила в число мультисервисных коммутаторов нового поколения целый ряд устройств (см. Таблица 4).

Таблица 4. Коммутаторы нового поколения для магистрали и границы.

Кроме повышенной суммарной производительности эти коммутаторы позволяют также организовать высокоскоростные магистральные линии на скоростях, раньше казавшихся для АТМ недостижимыми. Так, большинство магистральных продуктов поддерживает скорость в 2,5 Гбит/с, которую совсем не давно могли обеспечить в пакетных сетях только маршрутизаторы уровня Cisco GSR или Juniper M160 с интерфейсами для передачи непосредственно по SDH/Sonet (Packet over Sonet, PoS). Появление аналогичных высокоскоростных интерфейсов у коммутаторов АТМ даст возможность операторам нарастить пропускную способность ядра своей сети АТМ за счет введения узлов нового уровня иерархии без необходимости срочного перехода на IP/MPLS. А потребность в модернизации существующих сетей АТМ/FR у операторов есть, об этом говорят и они сами, например в интервью «АТМ & IP Report», и свидетельствует непрекращающийся рост трафика данных: все-таки удвоение трафика за год — конечно, не десятикратный рост, но тем не менее требует постоянного повышения производительности сетей, которые в случае АТM долго бы оставались на уровне 622 Мбит/с.

Некоторые производители решили догнать самые скоростные устройства IP, способные работать на скорости 10 Гбит/с (STM-64 или 10GigE). В начале октября компания Marconi объявила о начале выпуска новой интерфейсной карты ATM на 10 Гбит/с для своего маршрутизирующего коммутатора BXR 48000. Она разработана для министерства обороны США и уже прошла тестирование в лаборатории U.S. Naval Research Lab, где доказала свою работоспособность. «Карта будет привлекательна также для сервис-провайдеров, у которых имеется достаточно трафика, чтобы оправдать переход на более быстрые магистральные линии, но нет желания немедленно переходить на MPLS. Это дает операторам более длинную дорожку для разбега и больше времени, чтобы сделать переход на MPLS более плавным», — считает Джо МакГарви, старший аналитик из компании Current Analysis.

Компания Cisco также объявила о том, что в ее распоряжении появился новый набор микросхем, обеспечивающий функции сегментации/ассемблирования (SAR) АТМ на скорости OC-192c, т. е. 10 Гбит/c. Правда, не все ведущие производители согласны с этими двумя компаниями. Так, по мнению специалистов Lucent, рынка для интерфейсов ATM OC-192c практически не существует. Компания Nortel Networks, удерживающая самую крупную долю рынка мультисервисных коммутаторов (28,7% против 27,1% у Lucent, 19,1% у Alcatel и 18,2% у Cisco в 2001 г.), также не торопится повышать скорость своих коммутаторов Passport 20000 до 10 Гбит/с. Стоимость новой карты для Marconi BPX-48000 пока не объявлена (поставки должны были начаться в декабре 2002 г.), поэтому трудно судить, насколько такое решение будет конкурентоспособным по сравнению с аналогичными картами IP.

Еще одной особенностью коммутаторов нового поколения является их повсеместная поддержка IP/MPLS помимо АТМ. Таким образом, оператор, устанавливающий эти устройства в своей сети, может в будущем перейти к IP/MPLS без замены магистральных устройств. В том случае, когда он решит поддерживать MPLS с форматом ячейки ATM (т. е. A/MPLS), ему не понадобится даже менять аппаратуру, а достаточно будет только активизировать программное обеспечение IP/MPLS, которое будет работать на тех же интерфейсных картах. В новых коммутаторах обеспечивается полная поддержка всех функций IP, что делает их действительно мультисервисными и освобождает оператора от необходимости устанавливать в сети отдельные маршрутизаторы IP для связи с Internet.

Одновременная поддержка в магистральных коммутаторах АТМ и IP/MPLS дает возможность операторам реализовать еще одну схему их взаимодействия — смешанную. Собственно, это даже не схема, а стратегия постепенной миграции магистрали АТМ к магистрали IP/MPLS. По мере установки в сеть АТМ все большего количества коммутаторов нового поколения с поддержкой в том числе MPLS, оператор сможет увеличить и количество путей LSP между пограничными устройствами, не отказываясь в то же время от уже работающих виртуальных соединений АТМ. При этом производители таких коммутаторов (например, Equipe Communications, WaveSmith) в своих статьях рекомендуют операторам начать с перевода на MPLS не требовательного к качеству обслуживания трафика, для которого оператор не обязан гарантировать клиентам каких-либо количественных характеристик QoS. И только попрактиковавшись с трафиком подобного класса и накопив опыт работы с MPLS, следует обратиться к переводу на пути LSP других классов трафика, в том числе и чувствительных к задержкам, передающихся сегодня с помощью служб CBR и VBR-RT ATM.

ЛОСКУТНОЕ ОДЕЯЛО РОССИИ

Чтобы понять ситуацию с развитием мультисервисных сетей в России и оценить перспективы внедрения MPLS, необходимо представлять структуру телекоммуникационного рынка на постсоветском пространстве.

Владельцев сетей передачи данных в России можно разделить на три группы — государственные, ведомственные и коммерческие (альтернативные). Крупнейшим представителем государственных операторов является «Ростелеком». Собственную сеть передачи данных он построил поверх как принадлежащих ему физических каналов, так и созданных при непосредственном участии ведомственных операторов. Ведомственные (корпоративные) сети передачи данных строились в первую очередь с прицелом на решение собственных производственных и технологических задач, но при этом для будущего развития в них закладывался естественный запас производительности на уровне канальной емкости и на уровне узлового оборудования. В результате деление операторов на ведомственные и коммерческие становится все более условным, так как практически все ведомственные операторы России предоставляют или собираются предоставлять коммерческие услуги в регионах своего присутствия.

Согласно «Концептуальному положению по построению мультисервисных сетей на ВСС России», лежащему в основе долгосрочного развития межрегиональных компаний и ОАО «Ростелеком», определяются два основных уровня в архитектуре мультисервисных сетей связи (МСС).

1. Региональный: здесь рассматриваются задачи подключения клиентов и предоставления им услуг инфокоммуникационной сети.
2. Магистральный: на нем решаются задачи транспортировки трафика всех существующих сетей и организации взаимодействия между операторами различных регионов.

Сегодня только «Ростелеком» и такие крупнейшие ведомственно-коммерческие операторы, как «ТрансТелеком» и создающийся «ЕЭС Телеком», строят магистральные мультисервисные сети, которые по масштабу и роли относятся к магистральным сетям МСС. Эти сети создаются на базе собственной современной высокоскоростной первичной канальной инфраструктуры, а основу последней составляют волоконно-оптические линии связи с использованием мультиплексоров SDH и DWDM, поверх которых работают наложенные сети передачи данных.

Для зарубежных операторов (Sonera, Telia, Equant/Global One и др.), действующих на территории России, главной задачей является предоставление услуг местным подразделениям своих традиционных интернациональных клиентов, поэтому за редким исключением они предлагают услуги поверх арендованных каналов, а не развивают собственную транспортную инфраструктуру, так что функции магистральной сети МСС они выполнять не могут.

Практически все остальные ведомственные и коммерческие операторы России сегодня относятся к операторам сетей регионального уровня. Исходя из собственной роли в архитектуре МСС, они создают сети только в пределах регионов своего присутствия, а для их объединения пользуются услугами компаний «Ростелеком» или «ТрансТелеком». В России уже создано довольно большое количество региональных мультисервисных сетей, которые работают либо на основе комбинации технологий frame relay-ATM-IP, либо ATM-IP. Примерами первого варианта могут служить сети ОАО «Ивтелеком», ОАО «Тулателеком», ОАО «Уралтелеком», ОАО «Новгородтелеком», а второго — ОАО «Челябинсктелеком», ОАО «Связьинформ» Самарской области, «Нижегородские информационные сети», «Комкор».

Отобразив на карте России зоны ответственности действующих операторов в рамках единой инфокоммуникационной сети, мы увидим своеобразное «лоскутное одеяло» из региональных мультисервисных сетей, основой для объединения кусочков которого являются сети ОАО «Ростелеком» и «ТрансТелеком» (см. Рисунок 5). Важно подчеркнуть, что ввиду экономических ограничений чаще всего для связи своих сетей региональные операторы арендуют у «Ростелеком» или «ТрансТелеком» не отдельные волокна, а каналы PDH/SDH со скоростями E1, DS3 или в лучшем случае STM1. Поэтому даже при построении современных высокоскоростных сетей в нескольких регионах оператор вынужден организовать обмен данными между ними достаточно «тонкими» потоками. Аналогичная картина возникает и при попытке организовать взаимодействие между сетями разных региональных операторов.

Рисунок 5. Мультисервисные сети России.

Картину «лоскутного одеяла» усугубляет и то, что у разных операторов сети построены на оборудовании разных производителей: Cisco Systems, Nortel Networks, Alcatel, Huawеi и некоторых других, — поэтому проблемы взаимодействия для новых и новейших технологий проявляются особенно остро.

Какую же технологию следует выбрать российским операторам для объединения своих сетей и предоставления абонентам услуг передачи данных по всей территории нашей страны с обеспечением гарантий качества обслуживания на всем пути следования трафика?

На первый взгляд ответ очевиден — MPLS, с поэтапным переводом на нее трафика существующих сетей АТМ. Однако то, что хорошо для западного оператора, пока плохо сочетается с нашим «лоскутным одеялом». Действительно, все решения MPLS сегодня разработаны и опробованы для «правильно» построенной сети, в которой скорость магистрали существенно выше скорости сети доступа, а сама магистраль имеет разветвленную структуру, где есть большое количество промежуточных коммуникационных узлов и альтернативных маршрутов. Именно на такую ситуацию рассчитывали разработчики: MPLS позволяет рационально выбирать пути следования трафика через сеть со сложной топологией, а также быстро и экономично передавать агрегированный трафик через скоростные каналы с требуемым уровнем QoS. У нас же сеть оператора с точками присутствия в нескольких регионах такой магистрали не имеет — между регионами трафик должен «просачиваться» через низкоскоростные каналы с непременным возникновением перегрузок и заторов. В самих регионах масштаб сети оператора чаще всего не дотягивает до уровня, где MPLS может оказаться полезной, так как узлов у сети немного, и она состоит практически из одного пограничного слоя, коммутаторы которого непосредственно связаны между собой физическими каналами, а внутренних промежуточных узлов просто нет (во всяком случае, именно с такой картиной столкнулись некоторые сетевые интеграторы при внедрении MPLS в регионах).

Как мы уже обсуждали выше, для управления трафиком на низкоскоростных каналах механизмы поддержки QoS в MPLS подходят плохо. Здесь как раз нужны тонкие методы обслуживания очередей АТМ, поскольку они обеспечивают соблюдение параметров QoS для каждого виртуального соединения в отдельности. Только в этом случае оператор может гарантировать клиентам, что обещанные в SLA средние скорости трафика, пульсации и уровня задержек будут соблюдены.

Особого рода проблемы с реализацией MPLS возникают в том случае, когда технологию пытаются реализовать несколько операторов, создавая сквозные пути LSP, проходящие через несколько сетей. Нужно сказать, что и на западном рынке MPLS пока, как правило, работает в пределах сети одного оператора, что естественно, поскольку нужно начинать с более простых решений. Сопряжение сетей MPLS — дело новое, требующее значительной ручной работы по «сшиванию» виртуальных путей за счет согласования значений меток в разных сетях. Элегантное решение предусматривает использование иерархии меток MPLS, когда оператор более высокого уровня просто туннелирует пути LSP операторов более низкого уровня в своих агрегированных LSP, рассматривая их как своих клиентов. Однако эти решения до сих пор не опробованы даже успевшими уйти вперед по пути освоения MPLS транснациональными операторами.

Сегодня в России только такие «монстры», как «Ростелеком» и «ТрансТелеком», могут получить выгоды от применения MPLS в общероссийских масштабах, а региональные операторы на своих межрегиональных связях должны по-прежнему использовать АТМ. В то же время перед региональными операторами открываются хорошие возможности по применению Metro-MPLS и оказанию услуг виртуальных сетей Ethernet для корпоративных пользователей крупных городов и насыщенных клиентами территорий.