Как в Bear, Stearns & Company тестируют сетевые устройства
Экономия от реализации пятилетнего проекта компании Bear, Stearns
Крупная финансовая компания Bear, Stearns & Company вкладывает значительные средства в виртуальные локальные сети с целью увеличения производительности сети и ускорения восстановления ее работы после отказов. Недавно сотруднику этой компании Джеффу Маршаллу пришлось столкнуться с такой задачей установки сети, которую многие его коллеги сочли бы невыполнимой. Однако когда в игру вступают г-н Маршалл и его "соратники", дело просто не может кончиться неудачей.
Критически важное задание
Джефф Маршалл руководит группой коммуникационных технологий (Communications Technology Group - CTG) компании Bear, Stearns & Company. Эта компания является депозитарно-распределительным центром (клиринг-хаузом), обслуживающим своих собственных брокеров и 1800 фирм с Уолл-стрит; через нее ежедневно проходит примерно 20% биржевых сделок. В прошлом году г-н Маршалл предпринял рискованную операцию по переносу примерно на 100 км нескольких сотен критически важных серверов. Они были транспортированы из чрезвычайно дорогостоящего помещения штаб-квартиры компании (на Парк-авеню, Манхэттен) в значительно более дешевый центр обработки данных в Уиппани (шт. Нью-Джерси), что по другую сторону реки Гудзон.
Перед группой Маршалла стояли следующие проблемы: время ответа на запросы 4 тыс. сотрудников компании должно быть точно таким, как если бы серверы находились в том же здании; восстановление работы сети в случае отказа одного из компонентов должно происходить в течение нескольких секунд - в противном случае компания рискует потерять сделки на миллионы долларов. "Компания настолько крупная, что если наша машина остановится, это нанесет заметный ущерб экономике в целом", - заявил г-н Маршалл, сын военного моряка, сам в прошлом пилот-истребитель.
Все эти проблемы удалось решить, использовав комбинацию самых современных сетевых технологий: виртуальных локальных сетей, коммутации ATM и SONET. За свой подвиг группа получила награду User Excellence Award журнала NetworkWorld.
С решительностью бывалого летчика Джефф Маршалл перевел сеть Bear, Stearns на работу в непрерывном режиме, своей устойчивостью не уступающем сетям телефонных компаний. "У нас просто не было выбора - наша сеть должна работать непрерывно, - сказал г-н Маршалл. - Все уже давно усвоили, что компьютеры, обрабатывающие сделки, должны работать в непрерывном режиме. Настало время строить на тех же принципах и работу сетей". План Маршалла предполагал, во-первых, ограничение числа и снижение роли маршрутизаторов за счет перевода функции маршрутизации на границу сети, а во-вторых, переход на магистральный канал сети SONET (Synchronous Optical Network), над которым надо было надстроить сеть ATM, что позволило бы обеспечить уровень сервиса, необходимый для решения новых задач.
Сложная маршрутизация
Сеть маршрутизаторов Bear, Stearns состояла из 170 устройств, обеспечивающих связи между 4000 пользователями в масштабах городской сети Нью-Йорка, и еще 180 устройств, позволяющих получать данные от торговых партнеров и поставщиков биржевой информации.
Однако в последнее время сотрудники CTG несколько разочаровались в маршрутизаторах, в первую очередь из-за проблем с поддержкой такого большого количества устройств: значительно выросли затраты на увеличение объемов памяти и модернизацию программного обеспечения, а кроме того, все труднее стало обеспечивать одновременную замену версий всех программ. "Главная задача нашей компании состоит отнюдь не в том, чтобы поддерживать в рабочем состоянии и модифицировать маршрутизаторы, а в том, чтобы создавать современные торговые системы", - говорит Джон Кэйн, вице-президент Dear, Stearn по разработке систем. С ним согласен и Джефф Маршалл: "Когда кому-то надо совершить миллиардную торговую операцию с использованием находящегося за пару сотен километров суперкомпьютера Cray, то его меньше всего должно волновать состояние маршрутизаторов".
Серьезные затраты на поддержку маршрутизаторов, задержки при передаче информации, а также появление более дешевых и простых коммутационных технологий привели сотрудников CTG к мысли перейти от магистральной сети на базе маршрутизаторов к сети с коммутируемым ядром. В настоящее время значительная часть сети на базе маршрутизаторов демонтируется. Из 170 маршрутизаторов производства Bay Networks, обслуживавших внутреннюю сеть Bear, Stearns, останутся только 20. Из них 10 будут использоваться для передачи трафика в коммутируемую магистраль, а остальные 10 - находиться в резерве на случай отказа действующих маршрутизаторов. Все 180 маршрутизаторов, используемых для связи со сторонними торговыми партнерами и поставщиками информации, по словам г-на Маршалла, будут работать точно так же, как и раньше.
Фундамент уже заложен
Примерно в то же самое время, когда CTG испытала разочарование в маршрутизаторах, компания начала строить высокопроизводительное двунаправленное коммутируемое кольцо SONET масштаба городской сети. Цель данного проекта состояла в том, чтобы на некоторое время обеспечить решение проблемы пропускной способности сети на базе маршрутизаторов. Именно этому кольцу суждено было впоследствии стать главным элементом концепции непрерывной работы сети, предложенной г-ном Маршаллом.
"Мы стремились создать как можно больший запас пропускной способности", - заявляет Джефф Маршалл. Цель состояла в том, чтобы избавить инженеров CTG от необходимости решать проблему пропускной способности, тем самым позволив им сосредоточиться на поиске ответов на более серьезные вопросы. "Мы не хотели тратить драгоценные ресурсы нашей группы на постепенное, от месяца к месяцу, наращивание пропускной способности", - говорит г-н Маршалл.
Итак, воспользовавшись каналами связи, проложенными компанией Metropolitan Fiber Systems, фирма Bear, Stearns & Company построила кольцо SONET, идущее от дома 245 по Парк-авеню (где расположена штаб-квартира компании) в центр обработки данных компании в Уиппани, затем через реку в Бруклин, оттуда в торговый центр MetroTech и наконец, снова на Парк-авеню. Пропускная способность сети составляла 2,4 Гбит/с (OC-48); к концу 1996 г. эта цифра должна была удвоиться - компания собиралась проложить второе кольцо на базе каналов OC-48, доведя тем самым общую пропускную способность сети примерно до 5 Гбит/с. Второе кольцо призвано обеспечить пропускную способность, необходимую для перемещения серверов в Уиппани и поддержки роста масштабов приложений, поскольку возможности существующего кольца OC-48 уже почти исчерпаны.
Передача данных по кольцу может идти в двух направлениях, что способствует быстрому восстановлению работы сети в случае отказа коммутатора или канала. В компании не припомнят ни одного случая отказа системы передачи данных с момента установки сети с избыточностью, говорит Кен Джонс, вице-президент Bear, Stearns по технологическим разработкам. Кольцо продолжало работать даже в том случае, когда в результате автомобильной аварии было выбито несколько кабельных опор. "Система надежна, как скала", - говорит г-н Джонс.
Суммарная экономия компании Bear, Stearns за три года, прошедшие с момента постройки сети SONET, составила 8,1 млн дол.; именно такую сумму пришлось бы заплатить телефонным компаниям за пользование их сетями. Согласно расчетам сотрудников CTG, экономия средств за пятилетний период составит 13,5 млн дол. (см. таблицу).
В деревню, в теплый край
Сеть SONET была установлена в середине 1993 г., и с этого момента в Bear, Stearns начали заниматься более серьезными сетевыми проблемами. В частности, информационному центру компании на Парк-авеню давно уже было тесно в отведенном для него помещении, а сотрудники CTG постепенно пришли к выводу, что штаб-квартира компании - далеко не лучшее место для вычислительного центра. Под зданием проходили железнодорожный туннель и разнообразные городские коммуникации, что могло вызвать перебои в энергоснабжении и другие неприятности (не говоря уж о чудовищных ценах на недвижимость). Поэтому специалисты CTG всерьез задумались о переводе серверов данных компании в вычислительный центр в Уиппани.
Имелась и еще одна причина рассмотреть вопрос о переводе серверов в Уиппани. По всему зданию штаб-квартиры компании были разбросаны сотни серверов NetWare, Windows NT и Unix - вычислительная сеть имела распределенную архитектуру. Между тем, с точки зрения технологии резервного копирования и обеспечения избыточности системы, централизованное размещение серверов куда предпочтительней.
У сотрудников компании эта идея вызвала определенный скептицизм, поскольку некоторое время назад уже предпринималась попытка связать клиентов из Манхэттена с серверами в Уиппани при помощи 100-мегабитных каналов связи на базе скоростного последовательного интерфейса (High Speed Serial Interface - HSSI). Передача данных по каналам HSSI привела к увеличению времени ответа сервера на запросы персонального компьютера. Мало того, в случае отказа маршрутизатора или канала связи перерыв в работе пользователей составлял 3-4 минуты, что никоим образом компанию не устраивало.
По мнению инженеров компании, использование WAN-каналов на базе ATM должно было позволить им передавать трафик к расположенным в информационном центре серверам без дополнительных задержек. Терять-то было особенно нечего! Как рассказал Дон Хендерсон, заместитель руководителя CTG по новым технологиям, проектированию и реализации сетей, серьезное исследование трафика показало, что маршрутизаторы и подсоединенные к ним 48 подсетей значительно снижают производительность системы в целом. "Вычислительные приложения попросту поглощали производительность сети, - говорит г-н Хендерсон. - Необходимо было провести балансировку трафика, чтобы повысить локальную производительность и разобраться с распределением полосы пропускания".
Поэтому CTG приняла решение построить сеть ATM на базе кольца SONET. Для перекачки трафика из сети на базе маршрутизаторов были установлены ATM-коммутаторы DVB2 Apex производства General DataComm. За оборудованием для штаб-квартиры решили обратиться к давнему знакомому, компании Bay Networks, в свое время поставлявшей Bear, Stearns маршрутизаторы. CTG приступила к установке ATM-коммутаторов семейств Ethercell/Lattiscell производства Bay, демонтируя при этом отдельные подсети и обеспечивая рабочим станциям большие доли суммарной пропускной способности (в соответствии с их потребностями).
Вскоре, однако, выяснилось, что использование коммутаторов для рабочих групп порождает серьезную проблему. Для установления связи с удаленными серверами через сеть ATM в устройствах семейств Ethercell/Lattiscell компании Bay используется технология LAN Emulation (LANE). Так вот, выяснилось, что LANE не особенно хорошо работает в сетях, число узлов которых измеряется тысячами. Мало того, в случае отказа восстановление неисправного канала связи занимало от 4 до 8 мин, т. е. даже больше, чем 3-4 мин, необходимые для устранения неисправности в сети на базе маршрутизаторов.
CTG также обнаружила, что число используемых сетью виртуальных коммутируемых каналов (switched virtual circuits - SVC) превосходит всякое воображение. "В сети было столько виртуальных каналов, что они снижали производительность", - вспоминает г-н Хендерсон. При работе с LANE для эмуляции каждого клиента локальной сети требовалось пять виртуальных каналов - один для передачи данных и четыре служебных, необходимых в основном для запросов защитных серверов, серверов маршрутизации и прочих устройств, которые используются для установки соединения. В CTG быстро подсчитали, что для обслуживания каждой секции одной подсети потребуется почти 4 тыс. виртуальных каналов; если же распространить LANE-технологию на всю компанию, то может понадобиться ни много ни мало 150 тыс. виртуальных каналов. "Такое количество SVC полностью "забило" бы всю пропускную способность нашей сети, - говорит г-н Хендерсон. - Мы поняли, что при таком подходе у нас ничего не получится, если только мы не сможем найти какой-то свой способ слияния нескольких SVC".
Сотрудники CTG приняли решение повременить с реализацией планов переноса серверов в Уиппани и проанализировать ситуацию. "Нам нужна была технология, которая позволяла бы устанавливать правила работы (policies), обеспечивала фильтрацию трафика, поддерживала подавление широковещательной рассылки и имела уровень интеллекта, достаточный для приспособления к изменяющимся внешним условиям, - говорит г-н Хендерсон. - После некоторых раздумий мы пришли к выводу, что положение могут спасти виртуальные локальные сети (virtual local area network - VLAN)".
Ситуация, в которой оказалась Bear, Stearns, была бы безвыходной, если бы сотрудники CTG не имели обыкновения одновременно рассматривать несколько вариантов решения проблемы. Когда стало понятно, что коммутаторы Ethercell/Lattiscell не подходят, было быстро принято решение использовать устройство ATMizer (Agile Networks) - коммутатор ATM с расширенными возможностями организации VLAN. В то время ATMizer был совершенно неизвестен большинству пользователей, а сама технология VLAN только-только появилась. Однако Хендерсон и его единомышленники успели к этому моменту почти год провозиться с ATMizer в лаборатории.
Сообразительность - выше среднего
Лабораторные испытания показали, что ATMizer вполне можно использовать в сетях такого масштаба, какой необходим Bear, Stearns; кроме того, выяснилось, что гибридный коммутатор ATM/VLAN способен мгновенно находить пути передачи данных в обход отказавших участков. Убедившись, что коммутаторы должны работать нормально, в Bear, Stearns приступили к энергичному развертыванию сети.
С июня прошлого года Bear, Stearns установила в сети между Парк-авеню и Уиппани 35 коммутаторов ATM/VLAN модели ATMizer 125 производства Agile. Дон Хендерсон сообщил, что планируется установить еще 25 устройств в MetroTech и на прочих принадлежащих компании точках в Нью-Йорке и пригородах. Коммутаторы ATMizer передают данные на магистральные коммутаторы ATM под названием DVB2 (см. рисунок). Со стороны локальной сети ATMizer подключены к Ethernet-коммутаторам C100 производства Bay Networks; эти коммутаторы связаны с рабочими станциями каналами с пропускной способностью 10 или 100 Мбит/с.
Одним из больших достоинств изделий компании Agile, по мнению Дона Хендерсона, является то, что они хорошо "разбираются" в протоколах и обладают достаточным интеллектом для того, чтобы распознавать типы протоколов и обрабатывать их в соответствии с установленными приоритетами. Например, ATMizer может распознать, исходит ли этот поток данных под IPX от рабочей станции или от сервера. Если источником является сервер, то коммутатор пошлет ему полную информацию, необходимую для обновления таблиц протоколов Server Advertising Protocol и Routing Information Protocol, вместо того чтобы рассылать эти данные всем серверам и клиентам. "Таким образом удается значительно снизить накладные расходы на широковещательную рассылку, - говорит г-н Хендерсон. - Это очень полезная функция".
Коммутатор имеет функцию самообучения при работе с IP. При подключении к нему нового IP-устройства коммутатор анализирует все передаваемые этим устройством сигналы и выясняет, к какому серверу оно обращается чаще всего. При повторных входах пользователя в систему устройство помещается в ту же виртуальную локальную подсеть.
Еще одно преимущество ATMizer состоит в том, что этот коммутатор не поддерживает стандарт LANE, а соответственно, не возникают накладные расходы, связанные с обслуживанием SVC. Вместо этого ATMizer "уплотняет" весь обмен информацией с одним клиентом, что позволяет использовать один сеанс эмуляции LAN вместо 10, и это обеспечивает уменьшение числа необходимых виртуальных коммутируемых каналов. "Это значительно более разумный путь использования ресурсов SVC", - считает г-н Кэйн.
"Поскольку коммутируемых виртуальных каналов становится меньше, то и изменить схему маршрутизации можно значительно быстрее", - говорит г-н Хендерсон. При полном отказе коммутатора перенаправление потока данных на другой коммутатор занимает 15 с; для обработки отказа одного порта Ethernet требуется всего 5 с. "При этом TCP-сеансы не нарушаются, и это особенно приятно пользователям", - утверждает г-н Кэйн.
Как считает г-н Джонс, решение проблемы отказов стало "огромным шагом вперед". После этого в CTG смогли вплотную подойти к перемещению стратегически важных серверов на новое место. В настоящий момент уже перенесено примерно 50-60 серверов, еще 30-40 переедут на новое место в ближайшее время. Все новые серверы, начинающие работу в сети, устанавливаются только в Уиппани. В CTG предполагают, что к концу лета на новом месте будут работать уже примерно 200-250 серверов. "Главное - у нас уже создана сетевая инфраструктура, необходимая для поддержки всех серверов по мере их перемещения на новое место", - говорит г-н Хендерсон. Благодаря перемещению серверов с Парк-авеню (где один квадратный метр площади стоит примерно 200-250 дол.) в Нью-Джерси компания сможет сэкономить примерно 750 тыс. дол. в год.
Следующий шаг
Джефф Маршалл испытывает удовлетворение по поводу того, что его сотрудникам удалось решить задачу переноса серверов без увеличения времени ответа на запросы пользователей. По его мнению, однако, более существенным является то, что переход к использованию VLAN означает для компании возможность развернуть сеть в мировом масштабе; при этом особенно важно, что можно гарантировать непрерывность работы сети.
"Теперь у нас появилась возможность совершить еще один важный переход - образовать "виртуальное облако" кампус-сети", - говорит Джефф Маршалл. Ему уже рисуется будущая информационная инфраструктура, в которой виртуальные локальные сети связывают между собой иностранные подразделения компании, а маршрутизаторы полностью выведены за пределы ядра сети, на ее границу, и используются только в качестве устройств доступа. "Одна из главных проблем, связанных с маршрутизаторами, состоит в том, что одна паршивая овца может остановить какой-нибудь важный процесс в масштабах всей компании, - утверждает г-н Маршалл. - Основной вывод, который я извлек для себя из всей этой истории, состоит в том, что коммутируемые сети проще устроены и более управляемы".
Джефф Маршалл глубоко сочувствует своим коллегам, вложившим колоссальные средства в развертывание крупных сетей на базе маршрутизаторов. "Они должны ощущать себя как бы на грани гибели, - говорит он. - И я хочу им сказать: не беспокойтесь, у вас еще появится возможность исправить положение".
VLAN: советы новичкам
Как в Bear, Stearns & Company тестируют сетевые устройства
На стене за рабочим столом Билла Зайферта, основателя и генерального директора компании Agile Networks, висит самый первый заказ на коммутатор ATMizer - от компании Bear, Stearns & Company. "Получить этот заказ было не так-то легко, - вспоминает Билл Зайферт. - Сотрудники Bear, Stearns обладают более глубокими знаниями, чем наш средний покупатель, и у них имелось совершенно четкое представление о том, чего они хотят от нашего изделия. Кроме того, они крайне скептически относятся к заявлениям производителя".
На самом деле ATMizer отчасти получился таким, каков он есть, именно благодаря тому, что специалисты группы коммуникационных технологий (Communications Technology Group - CTG) компании Bear, Stears информировали производителя, какие функции коммутатора виртуальных LAN нужны им в первую очередь. "В ряде случаев нам нужны были технологии, которых к тому моменту просто еще не существовало, и тогда приходилось подталкивать их разработку, - вспоминает Джефф Маршалл, руководитель CTG. - Зачастую у нас просто не оставалось другого выхода, кроме как экспериментировать в производственных условиях".
В результате компания оказалась на самом переднем крае новой технологии. Однако за все надо платить: сотрудникам CTG приходится постоянно учиться. В области ATM и VLAN им удалось научиться очень многому.
"Самый главный момент - входное тестирование оборудования, - считает Дон Хендерсон, заместитель руководителя CTG по новым технологиям, проектированию и реализации сетей. - Обычно изделие приходится очень тщательно тестировать, чтобы убедиться, что оно работает именно так, как про него написано".
Сотрудники CTG также проверяли, как будут работать в новых условиях сетевые приложения. Как правило, для этого делались мгновенные "снимки" работы производственной сети, после чего данные условия воспроизводились в лаборатории - таким путем удавалось оценить, как коммутаторы ATM и VLAN могут повлиять на производительность. В CTG даже имитировали отказы оборудования, вытаскивая платы и кабели из устройств, и наблюдали, каким образом поток информации будет направлен в обход выведенных из строя коммутаторов или каналов связи.
"Не верьте ничьим словам, - предупреждает Дон Хендерсон. - Надо все всегда проверять самому".
Экономия от реализации пятилетнего проекта компании Bear, Stearns
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|