Технология Gigabit Ethernet берет очередную высоту

Максимальная пропускная способность основанных на ней сетей возросла на два порядка. Последнее время в стенах IEEE и других организаций ведется интенсивная деятельность, направленная на достижение технологией Ethernet 10-гигабитного рубежа. Однако происходящее не должно вводить пользователей в заблуждение. Скорости передачи данных, которые удается зарегистрировать в реальных сетях Fast и Gigabit Ethernet (даже в соединениях «точка—точка»), имеют мало общего со значениями, фигурирующими в многочисленных рекламных буклетах.

У пользователей, полагающих, что технология Gigabit Ethernet позволит раз и навсегда решить проблему недостаточной пропускной способности в локальных сетях, нет никаких оснований для безудержного восторга. Результаты тестирования, проведенного сотрудниками Университета Западной Виргинии, свидетельствуют о том, что хотя внедрение протоколов Gigabit Ethernet в состоянии увеличить общую производительность сети, оно наталкивается на ряд существенных ограничений, особенно когда к гигабитной сети напрямую подключаются серверы и рабочие станции.

Мы впервые столкнулись с этими ограничениями в ходе испытаний в июне прошлого года. За прошедшие месяцы ситуация несколько изменилась к лучшему. Появившееся на рынке второе поколение устройств для сетей Gigabit Ethernet обещает поднять быстродействие даже тех гигабитных каналов, что непосредственно оканчиваются на рабочих станциях.

Заметную эволюцию претерпела и аппаратная «начинка» компьютеров, работающих в высокоскоростных сетях. Для серверов обычными стали центральные процессоры с тактовой частотой 550 МГц и новая 64-разрядная архитектура системной шины, увеличенная рабочая частота которой (66 МГц) позволила расшить узкие места в области ввода-вывода. В сетевые адаптеры Gigabit Ethernet второго поколения добавлено несколько функций интеллектуальной обработки трафика; например, теперь они самостоятельно вычисляют контрольные суммы, избавляя центральный процессор и операционную систему от выполнения связанных с этим рутинных процедур, что заметно повышает общую производительность. Наконец, компания Microsoft не устает заявлять о существенном улучшении средств поддержки сетевой обработки в составе ОС Windows 2000.

Что же сулят перечисленные изменения пользователю? Чтобы попытаться ответить на этот вопрос, сотрудники лаборатории сетевых приложений Университета Западной Виргинии провели повторное тестирование производительности сетей Gigabit Ethernet, воспользовавшись теми возможностями, которые открылись с появлением продуктов второго поколения.

Теория и реалии гигабитных сетей

Мы намеренно ограничили набор использованных тестов операционной средой Windows 2000, поскольку на сегодняшний день она оказалась единственной доступной ОС, усовершенствованной специально в целях повышения быстродействия сетей Gigabit Ethernet.

Прошлый раз (без малого год назад) максимальная скорость передачи данных, которую нам удалось наблюдать в гигабитной сети Ethernet, составила всего 29 Мбит/с. Это значение было зарегистрировано при передаче файла между сервером, работавшим под управлением Windows NT 4.0, и станцией-клиентом с ОС Windows 95; нетрудно видеть, что оно соответствует всего 3% от максимальной (теоретической) производительности сети Gigabit Ethernet.

Переход на оборудование второго поколения и операционную систему Windows 2000 привел к тому, что наивысшая пропускная способность в тесте, имитировавшем условия реальной сети, повысилась до 158 Мбит/с, т. е. степень использования полосы пропускания составила около 16%. Средние же значения производительности, зарегистрированные в разных тестах, находились в диапазоне от 137 до 145 Мбит/с (табл. 1). Эти показатели делают сегодня вполне оправданным непосредственное подключение серверов и высокопроизводительных рабочих станций к каналам Gigabit Ethernet, тогда как результаты прошлых испытаний привели нас к прямо противоположному заключению.

В связи с этим возникает несколько вопросов. Во-первых, что стало основной причиной увеличения производительности? Во-вторых, почему степень использования суммарной полосы пропускания осталась на уровне 14—16% и что мешает ее дальнейшему повышению?

Кто виноват?

Главным фактором, на наш взгляд, стало использование более мощных компьютеров. Чтобы убедиться в этом, мы установили те же сетевые платы SysKonnect и пакет Windows NT 4 SP 5 на станции Optiplex с 200 МГц процессорами Pentium II. Как отмечалось выше, в ходе предыдущего испытания пропускная способность сети находилась в пределах от 21 до 29 Мбит/с (табл. 2). На всякий случай повторив прежние тесты, мы получили значение из того же диапазона — 23 Мбит/с. Затем на станции Optiplex были инсталлированы операционные системы Windows 2000 Professional и Server. После обновления ПО производительность сети практически не изменилась — она равнялась 28—31 Мбит/с.

Любопытно, что в прошлый раз, установив на компьютеры Optiplex с 200-МГц процессорами операционную систему Windows NT 4 и подключив их к сети Fast Ethernet, мы получили для средней скорости передачи величину 19 Мбит/с. Таким образом, переход на Gigabit Ethernet дал выигрыш всего 4 Мбит/с, или 21%! После установки операционной системы Windows 2000 средняя производительность сети составила 29 Мбит/с. С переходом же на Gigabit Ethernet она не изменилась вовсе — фактически это была все та же сеть Fast Ethernet!

Очевидно, «медленные» компьютеры попросту тормозят работу сети, поскольку узкими местами в процессе передачи данных становятся жесткие диски, внутренние шины и невысокая производительность центральных процессоров. Такие машины не в состоянии обрабатывать пакеты в том же темпе, в каком те поступают из сети, даже если это сеть Fast Ethernet.

Вывод очевиден: если в вашей организации используются старые серверы или рабочие станции, бессмысленно тратить деньги на их прямое подключение к сети Gigabit Ethernet, поскольку такая мера не даст никакого положительного эффекта. Результаты наших тестов свидетельствуют о том, что, не располагая мощными современными настольными компьютерами, используемыми в качестве серверов и рабочих станций, не стоит и помышлять о возможности получить заметную прибавку к быстродействию сети после ее перевода на гигабитные рельсы.

Убедившись в правильности заключения о решающей роли вычислительных платформ, подсоединяемых к сети, мы инсталлировали программное обеспечение Windows NT 4.0 SP 5 на станции Dell Precision 610 с адаптерами Gigabit Ethernet компании SysKonnect и снова запустили тест на производительность.

На этот раз зарегистрированные скорости передачи составили 100— 107 Мбит/с. Это был явный прогресс по сравнению с тем, что мы получили ранее. Однако степень использования суммарной полосы пропускания сети находилась на уровне 10%, т. е. была ниже, чем при испытаниях сети Fast Ethernet.

Впрочем, несомненный положительный результат этого теста состоит в том, что он показал: использование современных персональных компьютеров и сетевых адаптеров второго поколения позволяет превзойти абсолютные показатели сети Fast Ethernet на одиночных потоках данных, передаваемых между сервером и станцией-клиентом. Отмеченное обстоятельство оправдывает применение гигабитной технологии на уровне настольных систем — для подключения к сети как серверов, так и высокопроизводительных рабочих станций, например используемых в приложениях CAD/CAM.

Затем мы попытались выяснить, какие преимущества дает установка ОС Windows 2000 на более мощных компьютерах. Оказалось, что в этом случае пропускная способность возросла еще больше, достигнув значений 138— 145 Мбит/с. Это уже довольно внушительные показатели, и улучшение по сравнению с тестами, когда те же самые компьютеры работали под управлением Windows NT, было налицо. Тем не менее нас по-прежнему не мог удовлетворить тот факт, что степень использования суммарной пропускной способности сети не превышала 15%.

Где же собака зарыта?

Когда речь заходит об узких местах в вычислительной сети, одно можно утверждать наверное: они периодически меняют свое местонахождение. В течение многих лет узким местом оставалась кабельная инфраструктура, пропускная способность которой не поспевала за стремительным ростом быстродействия центральных процессоров. Однако с появлением современных сетевых технологий вроде Gigabit Ethernet и ATM эти времена отошли в прошлое. Сегодня основным фактором, сдерживающим дальнейший рост сетевой производительности, стали сетевые адаптеры, системные шины компьютеров и отдельные компоненты серверов и рабочих станций, включая центральные процессоры.

Чтобы определить, какие аппаратные средства в первую очередь замедляют работу тестовой сети Gigabit Ethernet, мы прибегли к процедуре прямого обмена данными между ОЗУ (табл. 3). Подобный тест, конечно же, не соответствует типичным ситуациям, возникающим в реальных сетях, зато он позволяет точно идентифицировать самое узкое место. Прямые операции обмена с оперативной памятью полностью устраняют эффекты, обусловленные наличием жестких дисков, тогда как все остальные аппаратные ресурсы (центральный процессор, системная шина, сетевой адаптер и др.) остаются задействованными в полной мере. Мы предприняли такое испытание потому, что с самого начала рассматривали жесткие диски в качестве главных источников заниженного быстродействия сети.

Эти подозрения полностью подтвердились. Стоило исключить операции обращения к жестким дискам, как скорость передачи возросла до 360 Мбит/с, т. е. сразу в 3,5 раза. И это при том, что в имевшихся у нас компьютерах Dell Precision 610 были установлены не дешевые диски с интерфейсом ISA, а 9-гигабайтные накопители фирмы Quantum с интерфейсом Ultra2/Wide SCSI. Оказалось, что даже такие устройства хранения не в состоянии совладать с потоком запросов на запись данных, поступающих из гигабитной сети.

Этот тест весьма поучителен. Он недвусмысленно указывает на то, что ограничения на скорость обмена по сети Gigabit Ethernet в значительной степени связаны с большими временами выполнения операций чтения/записи данных контроллерами жестких дисков. Конечно, пользователи могут несколько поднять производительность накопителей, заменив существующие или установив дополнительные устройства хранения, однако решающий вклад в повышение фактической пропускной способности современных сетей должны внести изготовители жестких дисков, разработав устройства с увеличенным объемом дисковой кэш-памяти, специально оптимизированные для выполнения операций случайного ввода/вывода.

Другое узкое место связано с операционной системой. В ходе первого тестирования серьезные нарекания у нас вызвал способ обработки сетевого трафика в среде Windows. Если на компьютере установлена система Windows NT, она будет «возиться» с каждым пакетом, тем самым создавая существенную нагрузку на центральный процессор, шину и ОЗУ. В результате производительность сети окажется заметно ниже ожидаемой.

В системе Windows 2000 компания Microsoft впервые попыталась перенести обработку пакетов туда, где по логике вещей ее и надлежит выполнять, т. е. поручила ее сетевому адаптеру. Кроме того, в Windows 2000 усовершенствован способ взаимодействия ОС со стеком протоколов IP, что также привело к повышению производительности.

В прошлый раз мы намеренно не занимались специальной настройкой параметров IP под задачи тестирования. Мы хотели воспользоваться значениями, принятыми по умолчанию, а не пытаться изо всех сил заставить операционную систему обрабатывать сетевые пакеты хотя бы чуточку быстрее. В целом мы остались верны данному принципу и на этот раз. Однако, когда дело дошло до испытаний продуктов Gigabit Ethernet второго поколения, кое-что изменилось.

Начать с того, что программное обеспечение TCP/IP, включенное в состав Windows 2000, обладает развитыми средствами самонастройки. Например, в этой ОС поддерживается стандарт Network Driver Interface Specification (NDIS) версии 5.0, в котором появился ряд ценных новшеств, в том числе возможность переноса части процедур обработки трафика — вычисление контрольных сумм протокола TCP, шифрование трафика по протоколу IPSec и др. — на уровень сетевого адаптера. По умолчанию NDIS 5.0 позволяет программному обеспечению TCP/IP предоставить адаптеру выяснять, какая максимальная длина передаваемых блоков данных (MTU) поддерживается в сети. Блоки максимальной длины будут затем использоваться операционной системой, что приведет к повышению эффективности загрузки сетевых ресурсов. В Windows 2000 предусмотрена и возможность ручной настройки некоторых параметров, включая сегментацию крупных пакетов и использование удлиненных кадров Jumbo Frames (см. врезку), — это тоже может поднять быстродействие сети Gigabit Ethernet.

Тестирование скорости обмена при прямых операциях с памятью позволило также выявить количественные различия между «аппаратной» и программной обработкой контрольных сумм. Протокол TCP использует контрольные суммы как для заголовков, так и для данных в каждом сегменте. Подобный алгоритм позволяет снизить вероятность того, что нарушение в работе сети приведет к передаче поврежденных пакетов сетевым приложениям. Однако подсчет контрольных сумм требует интенсивных вычислений, и в предыдущих версиях Windows они выполнялись на уровне центрального процессора и операционной системы. Поскольку контрольная сумма вычисляется для каждого пакета, эта процедура создавала значительную нагрузку не только на сеть, но и на процессор.

В Windows 2000 подсчет контрольных сумм протокола TCP делегирован сетевому адаптеру. Понятно, что соответствующие функции должны поддерживаться сетевым драйвером, и если это имеет место, то выигрыш в производительности оказывается довольно ощутимым. В наших испытаниях перевод операций с контрольными суммами на уровень адаптера привел к увеличению пропускной способности до 504 Мбит/с, а это уже больше половины максимально возможной скорости передачи в сети Gigabit Ethernet.

Итог таков: быстродействие гигабитной сети Ethernet может быть повышено в несколько раз за счет использования сетевых адаптеров второго поколения, операционных систем, специально разработанных для высокоскоростных сетей, и компьютеров с мощными вычислительными ресурсами. Если вдобавок к этому не пожалеть времени на настройку стека протоколов TCP/IP, можно вплотную приблизиться к тому уровню сетевой производительности, который обещан стандартами Gigabit Ethernet.

ОБ АВТОРЕ

Процедура тестирования

Мы не внесли существенных изменений в конфигурацию сети по сравнению с той, что фигурировала в предыдущем тестировании, организованном в стенах Университета Западной Виргинии. В качестве коммутатора в ней по-прежнему было установлено устройство AT 9108 Gigabit Switch производства Allied Telesyn. Сервер и рабочие станции подключались к нему напрямую по волоконно-оптическим линиям, при этом использовались двухпортовые адаптеры второго поколения для сетей Gigabit Ethernet SK-9844 SK-NET GE-SX производства SysKonnect. Правда, нам пришлось добавить в сеть коммутатор Cisco 4912G, который заменил несколько устройств данного класса и тем самым позволил гарантировать, что производительность коммутаторов не оказывает негативного влияния на измеряемые параметры. Функционирование обеих упомянутых моделей коммутаторов не вызвало у нас никаких нареканий.

Зато мы серьезно обновили компьютерный парк. Использовавшиеся прежде машины Optiplex компании Dell c 200 МГц процессорами Pentium II мы заменили на гораздо более мощные рабочие станции Precision 610 того же производителя. Каждая из них имела жесткий диск фирмы Quantum емкостью 9 Гбайт с интерфейсом Ultra2/Wide SCSI (максимальная скорость вращения шпинделя — 10 тыс. оборотов в минуту), центральный процессор Pentium Xeon III с тактовой частотой 500 МГц и 128 Мбайт оперативной памяти. Две станции Precision 610 работали под управлением операционной системы Windows 2000 Professional и выступали в качестве клиентов. На третьем компьютере, игравшем роль сервера, была установлена ОС Windows 2000 Server.

Первым делом мы решили сымитировать реальную операцию пересылки несжатого файла длиной 378 741 855 байт между разными рабочими станциями. Исследовались параметры передачи между клиентами, а также с сервера на станцию-клиент. Перед очередным запуском процедуры обмена мы изменяли имя передаваемого файла, чтобы система Windows 2000 не могла воспользоваться его копией, предварительно помещенной в кэш. В ходе этого теста несколько раз измерялось время передачи файла на данную машину и с нее, после чего полученные значения усреднялись. Исследуя скорость пересылки файлов, мы не предпринимали никаких попыток оптимизировать конфигурацию ОС Windows 2000.

Следующий тест имел целью оценить максимальную производительность операций обмена непосредственно между ОЗУ двух компьютеров, работавших под Windows 2000, через сеть Gigabit Ethernet. На этот раз мы специальным образом настроили конфигурации операционных систем на машинах, участвовавших в тестировании, следуя рекомендациям корпорации Microsoft, содержащимся в «Руководстве по оптимизации производительности Windows 2000».

В качестве инструментария в тесте на обмен данными между оперативными запоминающими устройствами служила версия программного обеспечения Test TCP (TTCP) для Windows NT, для нее еще используют аббревиатуру NTTTCP. Фактически это ПО представляет собой эталонный тест, применяемый в сетевой индустрии для разобщения стека протоколов TCP/IP и сетевых драйверов. Вариант TTCP, написанный под Windows NT, обращается к некоторым расширенным функциям асинхронного ввода-вывода, заложенным в операционную систему Windows 2000.

Удлинение кадров Ethernet дает выигрыш только для операций обмена с памятью

Jumbo Frames: эффект не очевиден

Технология Jumbo Frames была предложена несколько лет назад компанией Alteon. Ее основная идея заключается более чем в пятикратном увеличении длины кадров Ethernet (со стандартных 1615 до 9014 байт) в целях повышения пропускной способности (за счет снижения относительной доли заголовков в общей длине пакетов).

При прошлогоднем тестировании мы намеренно не использовали кадры Jumbo Frames, поскольку в то время они еще не получили постоянной прописки в сетях Ethernet. Однако за последнее время тема удлиненных кадров стала весьма популярной среди пользователей Gigabit Ethernet. В связи с тем, что ширина полосы пропускания гигабитных сетей Ethernet значительно превышает аналогичную характеристику сетей Fast Ethernet, положительный эффект от перехода на удлиненные кадры оказывается более заметен в гигабитных каналах.

После увеличения длины кадров до 9014 байт (со стандартного значения) пропускная способность для операций обмена данными между ОЗУ возросла до 806 Мбит/с. Использование имеющейся полосы пропускания на уровне 81% представляется прекрасным показателем. Однако следует учитывать то обстоятельство, что кадры Jumbo Frames сегодня поддерживаются далеко не всеми производителями. В частности, с ними не смог работать ни один из коммутаторов, имевшихся в нашем распоряжении.

Стоит заметить также, что весь выигрыш от увеличения длины кадров был сведен на нет, как только мы снова ввели в игру жесткие диски. На операциях передачи файлов даже с использованием кадров Jumbo Frames пропускная способность упала до 137 Мбит/с, а это значение практически не отличается от скорости, полученной на пакетах Ethernet стандартной длины. Данный факт лишний раз свидетельствует о том, что жесткие диски являются основным барьером на пути радикального повышения производительности вычислительных сетей.