, высокая производительность, удобство управления, низкая стоимость, в том числе по сравнению с другими технологиями, открывают для него впечатляющие перспективы в области локальных сетей, кластеров и сетей хранения.

Чтобы подключение сервера по протоколу 10 Gigabit Ethernet (10GbE) имело смысл, процессор устройства следует освободить от реализации протокольных процедур, благодаря чему увеличивается эффективная вычислительная мощность и сокращается время задержки. С учетом этого обстоятельства производители перекладывают решение протокольных задач на платы сетевых интерфейсов (Network Interface Gard, NIC), для чего внедряют дополнительные компоненты, которые получили название «механизм разгруз-ки TCP/IP» (TCP/IP Offload Engine, TOE).

С начала 2005 г. стали появляться отдельные образцы сетевых плат 10GbE с опцией TOE (см. Рисунок 1).

Рисунок 1. Адаптер 10GbE, например T210 от Chelsio, позволяет заметно улучшить характеристики соединения с сервером благодаря TOE.

Первые результаты тестирования оказались многообещающими. Однако достигаемая скорость передачи (примерно 7,7 Гбит/с при условии применения шины PCI-X-1.0 на 133 МГц совместно с 64-разрядным процессором) пока еще не вполне соответствует предъявляемым требованиям. При переходе на шину PCI Express пропускная способность канала может быть увеличена до 10 Гбит/с.

Еще одна возможность уменьшения нагрузки на процессор состоит в копировании принимаемых данных непосредственно в память приложения с помощью процедуры удаленного прямого доступа к памяти (Remote Direct Memory Access, RDMA). Консорциум RDMA уже разработал соответствующую спецификацию iWarp.

Протокол iSCSI с поддержкой опции Error Recovery Level (ERL) 2 полностью определен IETF в RFC 3720. iSCSI ERL2 с функциональностью Active/Active Session Continuation обеспечивает высокую степень надежности. Аналогично оборудованию Fibre Channel с опцией Dual Loop Back это позволяет избежать потерь как отдельных данных, так и целых сеансов.

В настоящее время комитет IEEE 802.3an работает над созданием спецификации 10GbE по меди. Широкое распространение этого сетевого интерфейса во многом зависит от обеспечения возможности его функционирования в сети на основе неэкранированных кабелей с витыми парами. Окончательное утверждение нормативных документов намечено на июнь 2006 г., а до тех пор дополнительные изменения и уточнения могут вноситься только на уровне программного обеспечения.

КОНСОЛИДАЦИЯ, ВОССТАНОВЛЕНИЕ И РЕЗЕРВИРОВАНИЕ

Нагрузка на серверы обычно не превышает 10-15%. При этом мощность устройств рассчитывается исходя из пиковых значений, хотя оборудование функционирует в таком режиме всего несколько часов в день или только в конце месяца. В режиме нормальной нагрузки избыточные вычислительные ресурсы не используются, а сам факт их наличия лишь увеличивает эксплуатационные расходы предприятия.

Повысить эффективность и та-ким образом уменьшить затраты предполагается за счет консолидации вычислительных центров, применения модульных серверов, а также внедрения технологии виртуализации. Реализация всех трех способов означает на практике объединение сетевой инфраструктуры и пересмотр выдвигаемых к ней требований. Изменение принципов организации локальной сети подразумевает:

  • снижение времени реакции — коммутаторы должны поддерживать большие кадры;
  • увеличение числа портов GbE и 10GbE — замена старых серверов на новые высокопроизводительные устройства с гигабитными портами влечет за собой потребность в большем числе гигабитных портов в коммутаторах. В самое ближайшее время следует ожидать начала массового спроса на 10-гигабитные сетевые платы вследствие физической невозможности выделить нужное количество слотов под гигабитные порты. Как следствие, коммутаторы должны проектироваться в расчете на поддержку портов 10GbE;
  • применение технологии 10GbE в глобальных сетях — увеличение количества гигабитных портов ведет к необходимости внедрения 10-гигабитных интерфейсов, что позволяет избежать появления узких мест в сети. Этот объективный процесс сопровождается повышением уровня требований к магистральной части сетевой инфраструктуры;
  • функционирование портов со скоростью линии — разгрузка сети невозможна без применения неблокируемых портов Ethernet;
  • высокая эксплуатационная надежность — поскольку весь трафик данных проходит через меньшее число коммутаторов, требования к уровню их отказоустойчивости возрастают. Столь же важное значение приобретают средства обеспечения избыточности, включая замену в «горячем» режиме всех основных функциональных модулей (источников электропитания, матриц коммутаторов, управляющих процессорных модулей), монтаж и демонтаж всех компонентов, обновление программного обеспечения без отключения устройства от сети, а также четкое разделение управляющего и информационного трафика на коммутаторе;
  • высокая плотность неблокируемых портов — коммутаторы с высокой плотностью портов позволяют уменьшить стоимость решения.

10-гигабитные коммутаторы с неблокируемой архитектурой могут применяться и для задач восстановления и резервного копирования. Эти стратегии обеспечения сохранности информации основаны на зеркалировании данных в географически разнесенных точках. Таким образом удается создавать системы с эксплуатационной избыточностью, в рамках которых гарантируется немедленный доступ к информации. При использовании оптических 10-гигабитных модулей перекрываемые расстояния могут достигать 100 км, причем без необходимости усиления сигнала в промежуточных пунктах. Требования к оборудованию выдвигаются примерно такие же, как и к устройствам для построения консолидированных архитектур.

СЕТИ ХРАНЕНИЯ

Концепция построения сетей хранения (Storage Area Network, SAN) базируется на применении протокола и компонентов Fibre Channel. В настоящее время оборудование Fibre Channel поддерживает скорости передачи данных 1 и 2 Гбит/с.

Спецификации на скорости 4 и 10 Гбит/с уже утверждены, однако до практической реализации дело пока не дошло. iSCSI c ERL2 и 10GbE вызывают постоянно растущий интерес, поскольку обеспечивают глобальный транспорт данных благодаря простоте сопряжения локальных, городских и глобальных сетей (см. Рисунок 2). При этом какие-либо ограничения на дальность передачи отсутствуют, что облегчает консолидацию и виртуализацию. Включение же в систему стандартных коммутаторов Ethernet позволяет снизить стоимость ее реализации.

Рисунок 2. Коммутаторы 10 Gigabit Ethernet (в данном случае серии Е от Force 10 с портами Line-Rate) способствуют конвергенции локальной сети, сетей хранения и глобальных сетей.

Наряду с надежной техникой с хо-рошо отработанными протоколами взаимодействия на рынке имеется достаточное число квалифицированных специалистов и эффективный инструментарий для управления. Использование интерфейсов 10GbE в сочетании с технологиями TCP Offload и RDMA гарантирует достижение высокой производительности и предлагает полный функционал для обеспечения качества сервиса (Quality-of-Service, QoS). Все это позволяет осуществлять эффективное резервное копирование, тиражирование и восстановление данных через глобальные сети IP. Применение стандартного ПО облегчает внедрение программных вариантов технологии iSCSI в существующие системы. Эффективность использования ресурсов улучшается за счет автоматического задействования ресурсов пропускной способности незагруженных соединений.

Согласно приводимым IDC данным, в 2008 г. объем рынка iSCSI достигнет 2,9 млрд долларов. Протокол iSCSI поддерживают все наиболее распространенные операционные системы: Windows, Linux и UNIX. Как показали опросы, проведенные в начале 2005 г., 75% респондентов собираются инсталлировать IP SAN до конца 2006 г. Fibre Channel продолжает играть важную роль в сетях хранения вследствие своего широкого распространения, но тем не менее можно смело утверждать, что в новых 10-гигабитных инсталляциях наметилась четкая тенденция на преимущественное применение технологии 10GbE.

МЕЖСОЕДИНЕНИЯ В КЛАСТЕРАХ

В кластерах для соединения отдельных узлов структуры используются различные сети (межсоединение) (см. также врезку «Обзор вариантов межсоединения»). Речь при этом идет о четырех различных категориях узлов: ввода/вывода, управления, памяти и передачи сообщений.

Межсоединение для ввода/вывода. Сеть такого рода базируется исключительно на технологии Ethernet и предназначена для поддержки двухстороннего обмена данными с пользователями, другими компьютерами (например, для организации Grid Computing), с магистральной частью сети или с глобальной сетью. На уровне соединений с магистральной частью сети или с глобальной сетью де-факто применяется 10 Gigabit Ethernet, о других сетевых технологиях речи даже не идет. На такие параметры решения, как его общая стоимость, гибкость и производительность, первостепенное влияние оказывает тип коммутаторов (модульный, стековый, моноблочный), а также количественное соотношение между отдельными разновидностями этих устройств. Если в Grid Computing используются преимущественно модульные коммутаторы, то в кластерах в большинстве случаев применяются стековые разновидности этого оборудования.

Межсоединение систем управления. Для сети управления технология Ethernet также является стандартом де-факто. С целью экономии финансовых ресурсов предприятия часто используют для решения задач управления сети ввода/вывода на базе технологии Ethernet, поскольку требования к производительности сети не отличаются излишней жесткостью.

Соединение систем хранения. В данной области выделяют три сетевые технологии соединения систем хранения: описанные выше Fibre Channel и Ethernet/iSCSI, а также Infiniband. Что касается последней, то, поскольку выбор устройств чрезвычайно ограничен, обоснованных прогнозов относительно ее будущего дать пока невозможно. Заметим, что достоинства и недостатки технологии Infiniband и сетей передачи сообщений (см. далее) практически идентичны.

Сети передачи сообщений. Такие сети предназначены для соединения отдельных компьютерных узлов с компьютерами кластера. В перечень важнейших параметров входят: время задержки, пропускная способность, гибкость решения и его стоимость. Наряду с частными решениями Myrinet и Quadrics предлагаются и стандартные технологии — Infiniband и Ethernet. Если решения Myrinet, например, уже на протяжении ряда лет доминируют в кластерном списке Top 500, то Ethernet находится в начале своего пути, хотя и развивается быстрыми темпами. Еще три года назад в указанном списке не было ни одного кластера на базе Ethernet, сейчас кластеры с межсоединением GbE и Myrinet составляют 42 и 28%, соответственно.

Испытания, проведенные в июне 2005 г. в национальной лаборатории в Лос-Аламосе, а также в Национальной лаборатории Sandia, наглядно продемонстрировали, что в подавляющем большинстве случаев техника 10GbE-TOE на уровне разъемного интерфейса эквивалентна технике Infiniband и Myrinet или превосходит ее. Как было подтверждено, технология ТОЕ заметно улучшает производительность оборудования. Согласно заявлению компании Myricom, 10-гигабитные коммутаторы серии Myri и соответствующие сетевые платы будут обеспечивать полную совместимость с интерфейсом 10GbE. Их появление, естественно, изменит сложившуюся ситуацию.

КОНВЕРГЕНЦИЯ ЛОКАЛЬНЫХ СЕТЕЙ, SAN И КЛАСТЕРОВ

В крупных вычислительных центрах для организации сетей хранения по-прежнему продолжают использовать Fibre Channel, а для межсоединений внутри кластера — Infiniband или Myrinet. Объемы применения этих технологий достаточно малы по сравнению с распространением Ethernet на уровне локальных сетей. К тому же рынок Ethernet для кластерных сетей и сетей хранения в сегменте как бюджетных, так и высокотехнологичных решений демонстрирует явную тенденцию к росту.

Каждая из перечисленных выше технологий обладает своими достоинствами. Однако их одновременная инсталляция, эксплуатация и управление оказываются очень дорогим и неудобным занятием. С учетом этого обстоятельства 10GbE, iWarp и iSCSI имеют очень хорошие перспективы как средство консолидации и объединения локальных сетей, сетей хранения и кластеров в одну высокопроизводительную и недорогую сетевую структуру, в основе которой лежит технология Ethernet. Такой подход демонстрирует наибольшие преимущества в случае применения модульных серверов. Кроме того, отдельные сети становится возможным консолидировать на базе одной физической структуры. Их разделение теперь выполняется с помощью технологии виртуальных сетей (VLAN) в соответствии со стандартом IEEE 802.1q.

Данное направление пользуется особым вниманием со стороны производителей компонентов и систем. Физическое разделение сетей имеет право на существование лишь в тех ситуациях, когда это обосновано конкретными потребностями. Примером такого решения может служить формирование группы высокопроизводительных серверов с минимальным временем обработки запросов для научных расчетов. Мы же можем констатировать, что направление построения вычислительных центров исключительно на базе технологии Ethernet имеет прекрасные рыночные перспективы.

ЗАКЛЮЧЕНИЕ

Локальные сети Ethernet со скорос-тью передачи 10 Гбит/с применяются во всех областях информационных технологий. Пока открытыми остаются только два вопроса: о темпах внедрения стандарта и о влиянии на альтернативные технологии Fibre Channel или Infiniband. Ожидаемое появление в 2006 г. стандарта на 10 Gigabit Ethernet по меди должно существенно изменить ситуацию на рынке и привести к снижению цен, как это было при принятии стандарта Gigabit Ethernet. Как можно предположить, внедрение таких дополнительных опций, как возможность работы по многомодовому волокну на расстоянии до 300 м (10GbE-LRM) и по меди на расстоянии до 20 м (10GbE-CX4), только усилит эти тенденции. 10GbE-LRM — дешевая версия интерфейса 10GbE-LX — позволяет увеличить скорость передачи информации на уровне магистральных соединений с 1 до 10 Гбит/с при работе по уже проложенному многомодовому волокну.

10 Gigabit Ethernet с поддержкой ТОЕ, iSCSI и iWarp, без сомнения, изменит технический облик вычислительных центров следующего поколения. Эта технология имеет немало преимуществ перед конкурентами в области построения сетей хранения и кластерных групп. Тем не менее справедливости ради следует отметить, что говорить о закате Fibre Channel и Infiniband преждевременно. Их преимущества позволяют эффективно использовать в специальных областях, например для научных исследований.

Клаус Хельф — директор по маркетингу компании Sellbin Technologies. С ним можно связаться по адресу: wg@lanline.awi.de.

Обзор вариантов межсоединения

Достоинства Myrinet:

  • широкое распространение и высокая надежность;
  • небольшое время задержки;
  • хорошее соотношение цена/производительность.

Недостатки Myrinet:

  • нестандартное решение, поддерживаемое всего одним производителем;
  • ограниченная пропускная способность — не более 2 Гбит/с (в ближайшее время ожидается появление варианта 10 Гбит/с);
  • сложная структура кабельной проводки при максимуме 256 узлов;
  • отсутствие возможности подключения к сетям хранения и глобальным сетям;
  • отсутствие систем хранения с поддержкой этой технологии.

Достоинства Infiniband:

  • стандарт Infiniband Trade Assotiation (IBTA);
  • несколько производителей;
  • небольшое время задержки;
  • пропускная способность 2, 10, 30 Гбит/с;
  • поддержка приоритезации Quality of Service;
  • наличие сдвоенных адаптеров 2 х 10 Гбит/с.

Недостатки Infiniband:

  • сложность изменения физической и логической структуры;
  • необходимость применения дополнительного шлюза для подключения к магистральной сети или глобальной сети;
  • сложная и дорогостоящая кабельная проводка;
  • ограничения на дальность передачи (17 м в случае применения электропроводных кабелей);
  • зависимость от единственного производителя электронной элементной базы (компания Mellanox).

Достоинства Ethernet:

  • наличие хорошо развитого инструментария для управления и отладки;
  • отсутствие недостатка в специалистах и шлюзах;
  • возможность применения для любых межсоединений;
  • простая и дешевая кабельная проводка;
  • высокая эксплуатационная надежность;
  • высокая собственная динамика при построении сетей хранения на базе IP с iSCSI;
  • возможность формирования структуры из нескольких удаленных кластеров (Grid);
  • низкие вычислительные затраты в случае интеграции сетевого адаптера на системную плату;
  • возможность увеличения производительности за счет TOE и RDMA.

Недостатки Ethernet:

  • наличие задержки (сокращение времени задержки за счет применения TOE и RDMA должно получить свое практическое подтверждение);
  • высокая стоимость 10-гигабитного интерфейса (в ближайшем будущем ожидается снижение цены).

? AWi Verlag