Самая высокоскоростная проводка для ЦОД

Первый этап закончился ориентировочно в 1990 году, второй — в 1995-м, третий — в 2000-м и наконец четвертый — в 2008–10 годах. Почему завершение четвертого этапа заняло два года, будет рассмотрено ниже.

К настоящему времени самые скоростные, полностью проработанные кабельные системы поддерживают 10 Гбит/с (еще более скоростные — для 40 и 100 Гбит/с — только разрабатываются). Для 10 Гбит/с имеются как все стандарты, так и физические компоненты (кабели, соединители, шнуры, испытательное оборудование). Кабельным системам на 10 Гбит/с присвоен международный Класс EA, а компонентам — Категория 6A (с полосой 500 МГц).

СИММЕТРИЧНАЯ МЕДНАЯ ПРОВОДКА

Впервые консолидированное решение относительно сетевой проводки было принято в 1995 году, когда три организации по стандартам (американская TIA/EIA, международная ISO/IEC и европейская CENELEC) приняли стандарты на Категорию 5 (Класс D) со скоростью передачи данных 100 Мбит/с и рабочей полосой частот 100 МГц. Эти стандарты до сих пор остаются базовыми для сетевой проводки.

Затем примерно пять лет ушло на создание кабельной системы для поддержки скорости передачи 1 Гбит/с. Были приняты два варианта проводки: Категории 5e с полосой 100 МГц и Категории 6 с полосой 250 МГц. Оба полностью оформились к 1999–2000 годам, были закреплены в стандартах и получили поддержку большинства компаний, выпускающих кабельные системы. До настоящего времени осуществляется массовое производство оборудования Категории 5e и Категории 6 — оно составляет основную продукцию, рассчитанную как на офисные, так и на промышленные компьютерные сети, для которых выпускаются все виды кабелей, соединителей, соединительных шнуров, испытательное оборудование, аксессуары и приспособления.

Приблизительно в конце этого периода начинаются работы по созданию сети на 10 Гбит/с, стандарт на которую — IEEE 802.3an — принят в середине 2006 года. Но разработка проводки для такой сети затянулась. Первый стандарт кабельной системы на скорость 10 Гбит/с оформился в США в 2008 году (TIA/EIA 568-B.2-10). Однако описываемая им проводка Категории 6A не удовлетворяла требованиям комитета ISO/IEC по кабельным системам, который разработал две поправки к стандарту ISO/IEC 11801:2002, значительно расширяющие требования к проводке на 10 Гбит/с. Последняя Поправка 2 вышла в феврале 2010 года, то есть полный международный стандарт на кабельную систему для 10 Гбит/с получил свое оформление совсем недавно. Этой проводке был присвоен Класс EA, а элементам кабельной системы — Категория 6A.

Таким образом, сегодня самая высокоскоростная симметричная кабельная система, на которую имеется вся необходимая документация и для которой выпускаются кабели, соединители и шнуры, способна передавать трафик до 10 Гбит/с. Система Класса EA описана в статье автора, опубликованной в сентябрьском номере «Журнала сетевых решений/LAN» за 2010 год.

Возникает естественный вопрос: а что дальше? С 2007 года рабочая группа IEEE High Speed Study Group (HSSG) ведет работы над стандартами для скоростей 40 и 100 Гбит/с. Как можно судить по опубликованной информации, в них, к сожалению, не предусматривается стандартизация тракта на симметричных четырехпарных кабелях, хотя предпосылки для создания такой линии имеются — кабели с полосой пропускания 1500 МГц и соединители с полосой 1000 МГц уже созданы.

По расчетам специалистов, тракт из таких кабелей и соединителей способен передать поток 40 Гбит/с и даже 100 Гбит/с на расстояние до 100 м. Подобные кабельные системы полностью соответствуют Классу FA (они подробно описаны автором в «Журнале сетевых решений / LAN» за июнь и декабрь 2009 года) и выпускаются компаниями-производителями. Ведущие вендоры СКС ожидают ускоренной стандартизации системы — от этого зависит дальнейшее развитие кабельных трактов на базе симметричных кабелей для ЦОД. Как сообщается, комитет IEEE 802.3 уже приступил к этой работе.

Каждое из предшествующих поколений создавалось в двух видах: с оптической кабельной системой и с медножильной. Для 100 Мбит/с оба типа сетевого оборудования разрабатывались практически одновременно: в 1995 году были приняты стандарты IEEE 802.3 u для 100BaseTX (медь) и 100Base-FX (оптика).

На следующем этапе (1 Гбит/с) сначала в 1998 году была разработана оптическая система, стандарт IEEE 802.3 Z (1000Base-SX/LX), а через год — медная, стандарт IEEE 802.3 ab (1000Base-T), по четырехпарному кабелю. И наконец, на этапе 10 Гбит/с оптическая система появилась на четыре года раньше, чем медная: в 2002 году опубликован стандарт IEEE 802.3 ae (10GbaseSR, RL…) и только в 2006-м — IEEE 802.3an (10GbaseT).

Как и ожидалось, на следующем этапе (40–100 Гбит/с) оптическая система передачи создана раньше, чем симметричная. Это связано с тем, что оптические сети получили опережающее развитие на магистралях связи общего пользования. В частности, первый стандарт для системы с оптическим интерфейсом уже принят в 2010 году (40/100GbaseSR).

Основное преимущество симметричных систем перед оптическими состоит в меньшей стоимости активного оборудования. Расчетная пропускная способность линии, соответствующей Классу F, равна примерно 55 Гбит/с. Реально она может достигать 60% этой величины, то есть близка к необходимым 40 Гбит/с.

Применение компонентов Категории 7A с рабочей полосой 1000 МГц и превосходным параметром ANEXT (межтрактовое переходное затухание) позволяет достичь еще больших скоростей передачи. Важным преимуществом 40-гигабитного тракта является то, что в случае применения в активном оборудовании многоуровневого кода PAM-16 верхняя рабочая частота не превышает 833 МГц.

Отметим, что часть спектра сигнала при передаче 40 Гбит/с превышает 500 МГц. На таких высоких частотах начинает сказываться повышенное затухание этих составляющих, поэтому мощность передатчика приходится увеличивать — с 0 дБм до +10 дБм. Этот прием позволяет свести к минимуму отрицательный эффект от повышенного затухания на верхних частотах рабочего диапазона и в то же время сохранить защищенность тракта от переходной помехи.

СКОРОСТНАЯ ОПТИЧЕСКАЯ ПРОВОДКА

Рисунок 1. Оконцовка оптического кабеля разъемом MPO/ MTP.

Какие предпосылки имеются для создания оптической кабельной системы на 40 Гбит/с? Прежде всего это переход на параллельную передачу, когда четыре потока по 10 Гбит/с передаются по отдельным световодам (волокнам). Таким образом, для передачи в обоих направлениях требуется 8 волокон. Скорее всего, в ЦОД будет использоваться многомодовое волокно вида ОМ3. Оптический кабель с 12 волокнами ОМ3 оконцовывается 12-волоконными разъемами MPO, как это продемонстрировано на Рисунке 1. Для развития системы возможно применение нового волокна ОМ4 при большой протяженности линий — до 300–550 м. Подобный тракт с волокном ОМ4 и многоволоконным соединителем MPO станет основой для линий передачи со скоростями до 100 Гбит/с. Некоторые компании используют аналогичный разъем MTP.

Рисунок 2. 24-волоконный разъем MPO/MTP R&M.

Для 100-гигабитной системы понадобится десять волокон в каждом направлении — в общей сложности необходимо двадцать волокон. Соответственно, потребуется два 12-волоконных соединителя MPO/MTP или 24-волоконный вариант этого разъема (см. Рисунок 2).

Оптические волокна и кабели для ЦОД подробно описаны в статье А. Семенова, опубликованной в январском номере «Журнала сетевых решений/LAN» за 2011 год. Поэтому в данной статье этот вопрос практически не рассматривается, а основное внимание мы уделим оптическим трактам на их основе и расчетам необходимых параметров.

Многомодовая кабельная система для 40 и 100 Гбит/с предусмотрена в стандарте IEEE 803.3ba для приложений 40GBaseSR4 и 100GBaseSR10. Соответственно, первое приложение работает по четырем волокнам на передачу и четырем на прием, а второе — по 10 волокнам того же назначения. Конфигурация основного кабельного тракта с соединителем MPO для 40 и 100 Гбит/с приведена на Рисунке 3, из которого видно, что в тракте, кроме оптического кабеля и разъемов MPO, присутствуют проходные адаптеры MPO, посредством которых организуются межсоединения. Таким образом, все соединения в тракте осуществляются с помощью соединителей MPO.

Рисунок 3. Конфигурация кабельного тракта MPO для 40 и 100 Гбит/с.

Исходные данные для проектирования оптических линий для 10/100 Гбит/с таковы: длина линии с волокнами ОМ3 — до 100 м, а с волокнами ОМ4 — до 150 м. Вносимые потери: IL = 1,9 дБ — для кабеля с волокнами ОМ3; IL = 1,5 дБ — для кабеля с волокнами ОМ4. Возвратные потери для таких трактов должны быть RL > 12 дБ (при RL < 12 дБ прерывается работа излучателя передатчика, поэтому комитет ISO/IEC требует RL > 20 дБ для оптических соединителей). Если в тракте имеется больше двух кассет MPO, для одного соединителя MPO следует обеспечить RL > 28 дБ, чтобы выполнить это требование.

Рисунок 4. Устройство специализированной кассеты MPO.

На уровне распределения к активному оборудованию используются специализированные кассеты (см. Рисунок 4). С одной стороны кассета оснащается разъемом MPO, а вдоль другой располагаются одноволоконные разъемы SC или LC. Обычно кассета рассчитана на 12 волокон, иногда — на 24 волокна. Претерминированный кабель подходит к разъему MPO, а распределение выполняется тонкими одиночными одноволоконными кабелями с разъемами. В Таблице 1 представлены распределительные кассеты некоторых производителей и используемые для их комплектования разъемы, выпускаемые в США.

В литературе встречаются аббревиатуры MPO и MTP, которые, по сути, обозначают один и тот же тип соединителя, удовлетворяющий стандарту IEC 61754-7. Аббревиатура MTP является зарегистрированной торговой маркой американской компании US Conec, запатентовавшей некоторые усовершенствования в конструкции первоначальной версии MPO-соединителя. MPO (Multi-fiber Push-on) — обозначение международного стандарта ISO/IEC 24764-1:2010 на СКС для ЦОД.

В свое время практически все ведущие мировые производители оптических компонентов лицензировали конструктивные «доработки» у компании US Conec и внедрили в своих MPO-продуктах, что подтверждается маркировкой «MTP®» на корпусе MPO-соединителя у некоторых производителей. Тем не менее совершенствование конструкции соединителя MPO/MTP продолжается: разработчики добиваются снижения затухания и отражений в зоне оптического контакта. В Таблице 2 представлены основные параметры кассет, производимых компанией TE / AMP NETCONNECT, в сравнении с кассетами MPO/MTP стандартного и улучшенного исполнения.

Для соблюдения полярности в тракте MPOptimate в одной из оконечных кассет в тракте предусмотрена возможность смены полярности (перемены положения) в парах волокон, при этом все линейные претерминированные кабели имеют прямую полярность. Вкупе с использованием стандартныx соединительных шнуров SC или LC Duplex, полярность в тракте соблюдается при любом количестве кассет, что упрощает проектирование и инсталляцию составных кабельных трактов, включающих промежуточные кассеты.

Подобную систему на основе оптических кабелей и разъемов MPO выпустила на рынок компания Nexans. В нее входят: полка для кассет, куда помещается до четырех кассет; сами кассеты с разнообразными разъемами на вторичной стороне; магистральный (ствольный) кабель, оконцованный разъемами MPO и полностью готовый для прокладки, с чехлами на концах. Комплект позволяет проложить длинную линию (до 150 м) между двумя шкафами в ЦОД и развести по этим шкафам волоконно-оптическую проводку.

Для ЦОД Nexans разработала особый оптический кабель марки MC-DC (Micro Cable Data Center) с небольшим весом (5,5 кг/км), уменьшенным диаметром по оболочке и малым радиусом изгиба. Этот круглый кабель легче ленточного; его удобнее прокладывать между шкафами. В нем применен новый, упрощенный способ соблюдения полярности в тракте, что вполне достижимо в случае круглого кабеля, но довольно трудно сделать для ленточного. Эта процедура выполняется как в ЦОД, так и во внешних распределительных сетях.

Параметры магистральной линии, собранной из описанных выше компонентов, даны в Таблице 3.

Как видно из Таблицы 3, магистральная линия длиной 100 м, собранная из компонентов производства Nexans, свободно обеспечивает бюджет 2,6 дБ для 10 Гбит/с.

Nexans решила проблему полярности тракта путем совершенствования претерминированного кабеля MPO – MPO: в круглом кабеле MC-DC транспонирование волокон облегчено. Перемена оптических волокон местами легко выполняется в процессе оконцевания кабеля разъемами MPO. При этом на обоих концах могут подключаться одинаковые кассеты.

ОСНОВНЫЕ ОТЛИЧИЯ ОПТИЧЕСКИХ ТРАКТОВ ЦОД

Современные ЦОД требуют передачи данных по оптическим трактам с большим числом соединений. Стандарты на приложения, где в качестве оптических источников передатчиков используются лазеры типа VCSEL, предусматривают значительно более жесткий бюджет мощности для тракта, чем прежние приложения на основе светодиодов, — 2,6 дБ вместо 11 дБ. При этом СКС для ЦОД содержит большое число разъемов на короткой трассе.

В центрах обработки данных СКС часто базируется на трактах, содержащих претерминированные соединители и кассеты с разъемами MPO/MTP, LC и SC. Смонтированная СКС должна отвечать новейшим требованиям приложений 40–100 Гбит/с. Требование по ограничению бюджета потерь вступает в противоречие с необходимостью увеличения числа соединителей в тракте. Некоторые изготовители оборудования решают эту проблему путем применения оптических волокон с улучшенными характеристиками. Другие идут по пути улучшения соединителей и повышения качества оптического контакта в разъемах.

Типовая СКС для ЦОД базируется на структуре, в которой используется большое число соединителей, находящихся на коротком расстоянии один от другого. Аналитики установили, что 93% трактов в ЦОД короче 45 м, а 99% оказываются менее 55 м. В некоторых из них содержится до шести соединений, например в сегментах SAN.

В большинстве трактов используются градиентные волокна с диаметром сердечника 50 мкм типа ОМ3, оптимизированные для работы с лазерными излучателями на длине волны 850 нм. В стандартах на приложения сформулированы следующие требования к соединителям: ограничение по вносимым потерям составляет ≤0,75 дБ, по возвратным потерям — ≥20 дБ. Поэтому необходимость значительного улучшения соединителей очевидна.

С целью удовлетворения сформулированных выше требований производители (AMP Netconnect/Tyco Electronics или TE Connectivity) занялись оптимизацией соединителей в отношении вносимого затухания, возвратных потерь, геометрических параметров торцов оптических волокон (LC и SC) и многоволоконных (MPO) соединителей. В результате появились новые системы MPO, в частности Low Loss MPO и MPOptimate, намного более совершенные, чем предыдущие версии MPO/MTP.

РАЗРАБОТКА ОПТИЧЕСКОЙ СИСТЕМЫ MPO/MTP НОВОГО ПОКОЛЕНИЯ

Выполненные разработки привели к улучшению вносимых и возвратных потерь соединителей. Затухание в точке контакта волокон вызвано поперечным смещением сердцевины волокна и присущим волокнам несоответствиями размеров. Низкий уровень затухания в разъемах МРО нового поколения был достигнут благодаря использованию волокон с жесткими допусками. Дальнейшее уменьшение вносимых потерь в контакте будет возможно, если промышленность сможет улучшить контроль сердцевины волокна.

Возвратные потери оптической линии ухудшаются с ростом числа соединителей. Чтобы величина суммарных возвратных потерь тракта составила 12 дБ, соединители, входящие в состав тракта, необходимо оптимизировать по параметру возвратных потерь (см. Таблицу 4). Это было достигнуто путем внедрения более совершенных методов заводской полировки и ужесточения допусков. В случае одноволоконных разъемов процедура не вызывала особых трудностей.

Полировка многоволоконных разъемов MPO — процесс более сложный, чем в случае LC и SC. Задачу осложняет то, что все находящиеся в одном наконечнике 12 волокон в соединителе должны обеспечить контакт с 12-ю волокнами стыкуемого разъема.

Сравним по параметрам тракты для ЦОД, собранные на основе коммерческой системы MTP/MPO и MPOptimate (см. Таблицу 5). Типичные значения для коммерческой кассеты MPO: вносимые потери — 1 дБ, возвратные потери — 20 дБ. Затухание оптических волокон ОМ3 равно 3 дБ/км. Требование стандарта для 10Gigabit Ethernet составляет не более 2,6 дБ. Тракт из двух кассет и кабеля длиной 100 м будет иметь потери 2,3 дБ. Таким образом, запас составит 0,3 дБ. При этом любые улучшения в ЦОД, как и переход на более высокие скорости, затруднены. Для кассеты MPOptimate данные такие: вносимые потери — 0,35 дБ; возвратные потери — 28 дБ на разъем MPO и 35 дБ на разъем LC. Затухание оптического волокна ОМ3 в претерминированном кабеле MPOptimate — 2,7 дБ/км. При тракте из двух кассет и кабеля между ними (100 м) потери составят 1 дБ. Бюджет для тракта равен 2,6 дБ, то есть в запасе 1,6 дБ. В таком случае любые будущие улучшения трактов ЦОД значительно облегчаются. Можно отметить, что новая систем MPOptimate позволяет довольно просто перейти от скорости 10 Гбит/с к 100 Гбит/с, если судить по запасу потерь. Что касается 10 Гбит/с, то число кассет в тракте может быть увеличено до шести при его протяженности не более 300 м, причем тракты будут полностью соответствовать стандартам для ЦОД. Кроме того, запас оптических характеристик кассет MPOptimate может компенсировать увеличение затухания из-за попадания пыли на торцы соединителей и тем самым повысить надежность передачи высокоскоростных приложений по оптическим трактам СКС.

Кабельные линии, собранные из компонентов MPOptimate с улучшенными параметрами и полировкой по усовершенствованной технологии, были подвергнуты испытаниям на соответствие требуемому бюджету мощности в 2,6 дБ. В лаборатории TE/AMP Netconnect были собраны две кабельные линии, обеспечивающие необходимую гибкость при разработке СКС. На Рисунке 5 показаны эти линии, позволяющие сравнить компоненты MPOptimate со стандартными компонентами на базе разъемов MTP/MPO. Каждая кассета содержала по одному соединителю MPO и LC; бюджет мощности проверялся для 10GbE.

Результаты испытаний показали, что оба тракта (см. Рисунок 5) «вписываются» в бюджет 2,6 дБ для этого приложения. Доказано, что использование MPOptimate позволяет удвоить число кассет в тракте и при этом обеспечить бюджет мощности для 10 Gigabit Ethernet при длине тракта 216 м. Возвратные потери для тракта с восемью кассетами системы MPOptimate не превышают минимально допустимого уровня, определенного стандартом на приложения. Таким образом, тракт длиной 216 м с восемью кассетами MPOptimate удовлетворяет предъявленным требованиям.

Рисунок 5. Два тракта — с обычными кассетами MTP/MPO и с кассетами MPOptimate.

В заключение отметим следующее:

• большую роль в новых высокоскоростных оптических системах играют соединительные шнуры с разъемами типа LC. При их использовании достигнуты следующие результаты: вносимые потери улучшенных LC составляют 0,15 дБ (у обычных — 0,3 дБ), а возвратные потери оптимизированных разъемов LC — 35 дБ (обычного LC — 20 дБ), то есть новый разъем обеспечивает в два раза лучшие показатели;
• на начальной стадии освоения скоростных оптических систем наибольшее внимание уделялось вносимым потерям оптических волокон. При повышенных скоростях передачи и большом числе соединений, вторым ключевым параметром для многомодовых систем становятся возвратные потери;
• нормальное функционирование проводки в ЦОД в большей степени зависит от работы соединительного оборудования, чем от волокна с низкими потерями. Для трактов внутри ЦОД зачастую достаточно волокна ОМ3 и компонента МРО/ MTP cо сниженными вносимыми потерями. Протяженные магистрали требуют применения более широкополосного волокна, например ОМ4.

Давид Гальперович — кандидат технических наук, старший научный сотрудник ОКБ кабельной промышленности. С ним можно связаться по тел.: (495) 583-54-72.