Отказоустойчивая глобальная сеть

Сделать глобальную сеть практически не подверженной никаким неприятностям непросто, но тем не менее возможно.

Помните подметные письма, получателям которых предписывалось скопировать письмо в нескольких экземплярах и переслать дальше, иначе им грозили всяческие несчастья? Глобальная сеть чем-то напоминает эти подметные письма: если канал отказывает, то несчастья не миновать.

Один из способов сделать каналы более надежными — создать отказоустойчивую глобальную сеть. Для многих отказоустойчивость ассоциируется прежде всего с локальными сетями, но она не менее важна и для глобальных сетей.

В этой статье мы рассмотрим некоторые архитектуры, реализации и службы, с помощью которых вы можете попытаться создать надежную глобальную сеть, насколько это возможно.

ПЛАТА ЗА СВЯЗЬ

Проблемы могут возникнуть в самых разных звеньях цепи систем и служб, из которых, собственно, глобальная сеть и состоит. С усложнением глобальных сетей число укромных уголков и местечек, где могут таиться проблемы, намного возросло.

Начинаете вы с нуля или модифицируете имеющуюся сеть, добиться отказоустойчивости глобальной сети можно, только если сделать каждое звено в цепи надежным, гибким и, по возможности, дублированным. Выполнение этого обязательного домашнего задания является единственным способом избавиться от таких неприятностей, как полная недоступность сервиса из-за сбоя одного-единственного звена.

При этом немалую роль играют финансовые соображения. Сьюзен Алмейда, вице-президент по консалтинговым услугам в Strategic Networks, сравнивает оценку связи по глобальной сети с чисткой лука. "Глобальная сеть имеет множество уровней, относительно которых вы должны решить, насколько целесообразны дальнейшие вложения в избыточность для данного компонента или уровня", — говорит она.

Вопросы затрат могут стать вопросами политики при попытке примирить технические и финансовые интересы компании.

При определении того, какую меру избыточности вы можете позволить своей глобальной сети, придется рассмотреть несколько факторов. Прежде всего, это точная стоимость приложений для глобальной сети и их важность для бизнеса. Вы должны также оценить стоимость необходимого оборудования и услуг для создания эффективной, избыточной конфигурации.

Основные компоненты, которые вы должны учесть в бюджете глобальной сети, может, руководствуясь здравым смыслом, без труда назвать каждый: горячее резервирование, двойные источники питания и резервные сетевые платы — все они позволят предотвратить проблемы в вашей части глобальной сети.

Другой требующий рассмотрения элемент — оборудование в помещении заказчика (Customer Premises Equipment, CPE), включающее находящееся у вас основное и резервное оборудование.

Интерфейсы с глобальной сетью, такие, как коммутаторы, маршрутизаторы, серверы и модемы, потребуют, скорее всего, значительных инвестиций — все зависит от того, какая мощность необходима им для обработки предполагаемого объема трафика. Создание резервных систем также увеличивает расходы на глобальную сеть.

Остальные затраты связаны с программным обеспечением, благодаря которому все эти системы могут действовать согласованно. Например, если какая-либо система функционировала с данным программным обеспечением неэффективно, то его может потребоваться обновить или заменить на другое. Кроме того, недостаточная совместимость может в конечном итоге сказаться на стоимости, если ПО разработчика А, с которым вы работаете в одной части глобальной сети, не взаимодействует должным образом с программным обеспечением разработчика Б в другой ее части. Покупка еще одной программы для достижения совместимости может оказаться накладной.

Узнайте, какого рода оборудование использует ваш сервис-провайдер. Пусть действительной причиной недавнего отказа службы frame relay компании AT&T была "ошибка коммутатора", данный инцидент еще раз показал всю важность знания того, какое оборудование используется оператором связи или сервис-провайдером.

Эту оценку должны помочь вам провести следующие вопросы. Насколько надежна аппаратная платформа провайдера? Какая избыточность предусмотрена сервис-провайдером? Если провайдер предлагает постоянные виртуальные соединения, то как быстро его оборудование способно обнаружить сбой и скорректировать идентификатор соединения канального уровня (Data-Link Connection Identifier, DLCI) для изменения маршрутизации?

Алмейда из Strategic Networks рекомендует попросить поставщика оборудования и сервис-провайдера предоставить данные о сервисном обслуживании с тем, чтобы узнать, как часто и при каких условиях случаются сбои и простои. Когда дело касается оборудования и услуг, от которых напрямую зависит функционирование глобальной сети, вы ничего не должны оставлять без внимания.

ХОРОШИЕ СОЕДИНЕНИЯ

Другими критическими элементами глобальной сети являются каналы связи между офисом и сетью оператора связи. Например, таким элементом может быть оптическое соединение в монтажном шкафу или медная линия связи с центральной станцией или точкой входа в сеть. Вы должны в обязательном порядке знать обо всех подобных маршрутах, для чего можете попросить у оператора карту с указанием всех точек вдоль этих путей связи.

Пути связи должны отличаться разнообразием и избыточностью, например проходить через несколько каналов в разных оптических линиях. Несмотря на то что эта задача кажется достаточно простой (в особенности если у вас есть карта от сервис-провайдера), проверку всех начальных, конечных и промежуточных точек вдоль оптической линии на практике может оказаться очень сложно осуществить.

Некоторые недавние происшествия показывают, насколько важно может быть наличие избыточных путей связи. Мартин Леви, вице-президент по сетевым технологиям в Concentric Networks, провайдере Internet, говорит, что некоторые неизвестные факты об оптических линиях в Калифорнии позволил узнать "Эль Ниньо".

Ураган "Эль Ниньо" повредил большой мост с активным движением над рекой в центральной Калифорнии. Оптоволокно по крайней мере двух операторов связи было проложено по мосту в одном и том же кабелепроводе. Когда река разлилась, оба оператора лишились связи. Некоторые из клиентов наивно полагали, что если они приобрели услуги у разных операторов, то каждая из услуг осуществляется по отдельному оптическому пути, поэтому они были немало удивлены, когда в действительности оказалось, что услуги предоставлялись чуть ли не по одному кабелю. (Рассказ о том, как атмосферные явления могут повлиять на глобальную сеть, читайте во врезке "Спутник вызывает нарушение связи".)

Помимо нескольких оптических путей мы бы рекомендовали приобрести основной и дополнительный сервисы у разных операторов — например линию T-1 у оператора А и линии ISDN у оператора B.

Однако Эндрю Афлербах, ведущий инженер в Columbia Telecommunications, консалтинговой компании в области технической поддержки связи, предупреждает: "Клиенты должны остерегаться ложной избыточности. Иногда приобретение двух комплектов сервисов имеет смысл, например, при подписании крупного контракта с оператором связи, в соответствии с которым, скажем, ISDN предоставляется бесплатно с каналами Т-1, но при этом вы должны обратить особое внимание на потенциальные точки сбоев и на то, насколько предполагаемый резерв в действительности способен вам помочь".

Concentric Networks пользуется услугами нескольких операторов связи, чьи каналы проходят через различные оптические линии. К ее магистрали ATM/frame relay подключено множество распределенных центров обработки данных, говорит Леви (см. Рисунок 1). Concentric предлагает также услуги по созданию виртуальных частных сетей (Virtual Private Network, VPN).

Компания, кажется, вполне удовлетворена таким подходом. Ее новая услуга по размещению сервера Web предоставляется с гарантией доступности 99,7% времени, а соглашения об уровне сервиса (Service Level Agreement, SLA) распространяются теперь и на выделенные соединения, при этом они гарантируют среднюю задержку на магистрали из конца в конец не более 125 мс.

ЧЕМ ШИРЕ, ТЕМ ЛУЧШЕ

Абонентский шлейф — он предоставляется обычно местным оператором связи или, если таковой имеется, конкурирующим местным оператором связи — является наименее надежной частью глобальной сети. Абонентский шлейф обеспечивает связь между клиентом и центральной станцией или точкой доступа в сеть оператора связи. Не только проблемы с оборудованием на стороне клиента, но и такие события, как обрыв кабеля или штормы, могут в мгновение ока прервать связь по абонентскому шлейфу.

Один из способов противодействия такого рода проблемам состоит в приобретении абонентских шлейфов более чем у одного провайдера. ISP MindSpring, например, имеет две системы SONET: одну — от BellSouth, а другую — от MediaOne, провайдера кабельного телевидения, доступа в Internet и телефонных услуг.

Однако географическое положение вашей компании может быть таково, что приобретение дополнительной услуги окажется невозможным. Эдзель Гарсиамендес-Будар, технический директор по широкополосным системам передачи данных в NetworkMCI, указывает, что в большинстве крупных городов США получить абонентские шлейфы у нескольких провайдеров не составляет проблемы.

Общая ситуация может стать еще более привлекательной по мере того, как все большее число операторов станет предлагать полный спектр услуг. Тим Уайтинг, менеджер по продуктам в Ameritech, говорит, что для оператора связи немаловажное значение имеет возможность видеть, что происходит с оборудованием в помещении клиента, в том числе картину трафика. Уайтинг рассматривает интеллектуальное оборудование, такое, как DSU/CSU, как крупный шаг вперед к получению информации о сети заказчика.

Провайдеры абонентских шлейфов могут защитить свои каналы посредством увеличения точек входа в сеть.

К местным операторам связи мы рекомендуем применять те же правила разнообразия и избыточности, т. е. приобретать услугу нескольких операторов с разными путями связи и разными точками входа.

Прогресс в области связи, в том числе американский Закон о реформе связи 1996 года, создает проблемы тем заказчикам, кто хотел бы сделать свою глобальную сеть более независимой и избыточной. Такие слияния, как союзы Bell Atlantic — Nynex и SBC Communications — Pacific Telesys, оставляют мало выбора пользователям.

Американский закон о связи предусматривает, что если региональные компании Bell имеют конкурентов на своем рынке, то они могут предлагать также услуги дальней связи. Один из способов сделать это — перепродавать каналы операторов дальней связи. К сожалению, это означает, что если потеря связи происходит по вине оператора, то реселлер также будет не в состоянии предоставлять услугу.

Избыточность и подмена важны также и на уровне операторов межстанционной связи (Interexchange Carrier, IXC) — еще один момент, важность которого высветил выход из строя сети frame relay компании AT&T. Это напоминание, что никакая сеть не является безупречной, вкупе с требованиями со стороны клиентов подписания более жестких соглашений об уровне сервиса должно заставить операторов максимально увеличить избыточность и надежность своих сетей. Это касается не только оборудования и путей связи вообще, но и точек доступа в частности.

В настоящее время MCI обеспечивает отказоустойчивость как на физическом, так и на логическом уровне. Помимо избыточности оборудования компания располагает несколькими кольцами SONET, а также линейными каналами SONET по всей стране. На виртуальном уровне MCI предусматривает многочисленные возможности ремаршрутизации в своих сервисах frame relay и ATM.

Интересно будет посмотреть, какого рода избыточность предусмотрела Sprint в своей новой инфраструктуре (под названием "Интегрированная сеть по запросу" — Integrated On-Demand Network, ION), имеющей, по утверждению компании, достаточную емкость для передачи нескольких телефонных вызовов, приема факсов, поддержки приложений старшего класса и использования Internet на гораздо более высоких скоростях — и все это по одному соединению. Будучи созданной на базе магистрали ATM поверх SONET, сеть позволяет заключать весьма любопытные соглашения об уровне сервиса.

Из-за непредсказуемости Internet некоторые заказчики одновременно заключают соглашения с несколькими провайдерами Internet. Такая стратегия позволяет гарантировать избыточность на случай сбоев и повысить пропускную способность для трафика через Internet.

Хороший провайдер Internet стремится добиться избыточности и разнообразия в своей сети (см. врезку "Инфраструктура сети провайдера Internet изнутри"). Кроме того, многие провайдеры Internet пользуются услугами нескольких операторов связи и сервис-провайдеров, дабы данные могли передаваться по избыточным маршрутам. Помимо открытия как можно большего числа точек доступа в сеть провайдеры создают так называемые супер- и мега-точки доступа, т. е. центры обработки данных для поддержки либо точек доступа нескольких клиентов, либо нескольких точек доступа крупного клиента.

СБОИ НЕДОПУСТИМЫ

Теперь мы рассмотрим некоторые общие методы создания резервной глобальной сети. Если у вас есть выделенная линия Т-1, например, то одним из вариантов создания резерва будет приобретение соединения ISDN в обход основной сети. При другом подходе соединение ISDN и выделенные линии используются для получения доступа к альтернативному месту в сети, если основной адресат оказывается недоступен.

Прежде чем реализовывать резервное решение на базе ISDN, вы должны определить, трафик какого объема будет проходить по этим линиям. Базовый интерфейс обмена (Basic Rate Interface, BRI) поддерживает скорость в 128 Кбит/с. Если BRI ISDN используется в качестве резерва для линии Т-1 с пропускной способностью 1,544 Мбит/с, то следует задать приоритеты и выделить необходимую пропускную способность для критически важных данных.

Другого рода страховка состоит в приобретении услуг коммутируемого доступа, например маршрутизации по запросу при вызове. Преимущество очевидно — вы платите только за то, что используете (в отличие от выделенных средств связи), но часто число соединений, которые сервис-провайдер в состоянии предоставить, оказывается ограниченным. Если вы заинтересованы в этом типе сервиса, то проверьте целостность таких соединений и вооружитесь как можно более точными оценками предполагаемого объема трафика.

Постоянные и коммутируемые виртуальные соединения открывают еще одну возможность для создания резерва. PVC — это постоянно активные виртуальные соединения, на которые трафик может быть перенаправлен в случае перегрузки или разрыва на другой линии. SVC — это временные соединения. Благодаря тому что они устанавливаются динамически и разрываются по завершении передачи, они больше подходят на роль резервных соединений в сети со спорадическим трафиком. PVC и SVC позволяют создавать сети с ячеистой топологией, а это увеличивает избыточность.

Однако виртуальные соединения — не панацея. Джим Маркл, исполнительный вице-президент по сетевым услугам в MindSpring, не испытывает энтузиазма по поводу использования PVC как средства обеспечения избыточности. Хотя операторы связи и предлагали ему приобрести PVC в качестве резервных соединений на случай аварии, он отказался от этих предложений. "Почему я должен платить за такую защиту? — спрашивает он. — Честно говоря, если сеть оператора работает, то PVC мне не нужны".

Леви из Concentric Networks предостерегает тех, кто собирается добиться избыточности за счет приобретения нескольких PVC. Например, если вы приобретаете PVC у оператора межстанционной связи, то убедитесь прежде, что эти постоянные соединения проходят по различным маршрутам.

На резервные системы не следует полагаться, если они не протестированы. Чтобы резервный вариант не подвел в случае кризиса, его следует периодически проверять в действии с целью выявления потенциальных проблем — до того, как произойдет авария.

ЗАЧЕМ НУЖНО SLA?

Соглашениям об уровне сервиса еще предстоит занять свое место страхового полиса для глобальной сети. Однако постепенный прогресс наблюдается и здесь, одно из свидетельств тому — недавний переход MCI на предоставление гарантии 99,99-процентной доступности для сети frame relay.

Споры по поводу того, что такие соглашения реально дают, не утихают. "Большая часть SLA бессмысленна с точки зрения денег, — говорит Маркл из MindSping. — Я не хочу возмещения одной тридцатой стоимости моей сети frame relay в случае ее простоя. Мы требуем предоставления некоей гарантии доставки от любого нового поставщика, но не собираемся наживаться за счет этих гарантий. На самом деле я каждый раз говорю им: мы не хотим получать от вас никаких денег".

Настоящая ценность этих соглашений, по мнению Маркла, состоит в том, что они дают объективную "систему баллов", по которой мы можем сравнить различных поставщиков. Он также считает их полезным ориентиром при обсуждении контракта.

Алмейда из Strategic Networks соглашается с тем, что вам необходимо узнать, что стоит за цифрами, когда речь идет о подобных документах. "Соглашение об уровне сервиса — одна из тех страховок, наступление страхового случая по которой крайне нежелательно, — говорит она. — Предусмотренные штрафы не в состоянии компенсировать те потери, которые несет типичная компания. Соглашение служит главным образом для подтверждения сервис-провайдером своих обязательств".

Уайтинг из Ameritech полагает, что для того, чтобы SLA имели под собой твердое основание, отчеты должны стать более наглядными: "Клиенты должны без труда видеть, что они получают (в смысле сервиса и производительности)", — считает он. Для этой цели компания должна разработать свой собственный пакет составления отчетов на основании собранной статистики, а это, в свою очередь, поможет Ameritech определить, что происходит в их сетях.

ОТКАЗОУСТОЙЧИВОСТЬ НА ЗАВТРАШНИЙ ДЕНЬ

С обострением потребности в отказоустойчивых глобальных сетях сервис-провайдеры и поставщики наверняка предложат новые схемы обеспечения отказоустойчивости.

Один из вариантов, которому многие предрекают широкое распространение, — это беспроводной резерв. "Мы увидим, вероятно, все больше и больше [беспроводных реализаций] с ростом их популярности и снижением цен", — полагает Уайтинг из Ameritech. Однако тот же Уайтинг считает, что беспроводные абонентские шлейфы будут служить главным образом в качестве резерва, а не для замены проводных абонентских шлейфов. "Я полагаю, что рынок резервных беспроводных абонентских шлейфов намного шире, чем думается", — говорит он.

Афлербах из Columbia Telecommunications рассматривает прямые беспроводные и микроволновые каналы в качестве жизнеспособной альтернативы для обеспечения связи в рамках города. Несмотря на то что такие ограничения, как требование прямой видимости, могут привести к проблемам, он верит, что прямые соединения будут введены во многие конфигурации. "Технология стала намного дешевле и надежнее, — говорит он, — и она позволяет достаточно просто перекинуть беспроводной мост между двумя помещениями".

СПУТНИК ВЫЗЫВАЕТ НАРУШЕНИЕ СВЯЗИ

Проблемы в космосе

Приблизительно в то же время, когда "Затерянный в космосе" с триумфом шествовал по кинотеатрам, событие, заслуживающее того, чтобы о нем сняли фильм, разворачивалось на высоте свыше 20 000 миль над землей. 19 мая 1998 года приблизительно в 6 утра спутник связи Galaxy TV, принадлежащий PanAmSat (филиалу Hughes Electronics), отклонился от курса. Это привело к отключению всех систем, в том числе сетей передачи голоса и данных, вещания телевизионных программ, банкоматов и большинства пейджеров в Соединенных Штатах.

Такие организации, как CNN и National Public Radio, оказались в гуще событий: внезапно из служб новостей они сами стали объектом интереса средств массовой информации.

Хотя службы обеих организаций зависели от galaxy 3R и, в конечном итоге, от спутников Galaxy IV, они вынуждены были принимать быстрые решения в ответ на отключение.

Спутниковый канал Galaxy IV отключился, когда NPR передавала программу "Все новости" на сотни принадлежащих ей станций. Одна из систем доставки данных в штаб-квартире — система обмена сообщениями, которую узел использует для рассылки программ, спутниковой и другой информации на станции, — также вышла из строя.

Первым шагом NPR стала организация немедленной рассылки ее программ по RealAudio Internet. Затем, по словам Сириола Эванса, менеджера по связям с общественностью, другие организации, такие, как ABC, PBS и Canadian Broadcast System, разрешили NPR воспользоваться их спутниковыми каналами. Некоторые станции получали программы по каналам ISDN.

Несмотря на всю царившую суматоху, компания извлекла ценные уроки. "Некоторые из станций использовали передачу через Internet как основной источник получения программ, что нас просто ошеломило, — говорит М. Дж. Беар, директор по новым средствам массовой информации. — Теперь мы рассматриваем возможность начать предоставление альтернативных потоков данных через Internet. Программа, производство которой завершено, может быть передана в сеть в любой момент времени".

Сеть CNN для аэропортов была также вынуждена принимать срочные меры, после того как ее картинка внезапно исчезла с мониторов в аэропортах по всей стране.

После того как Hughes Electronics известила CNN, что исправление ситуации потребует времени, "мы, образно говоря, стали делать круги, — рассказывает Стивен Шиповиц, главный исполнительный продюсер CNN Airport Network. — Мы продолжали вещание, потому что не хотели, чтобы восстановление связи застало нас врасплох".

Несмотря на то что решение о продолжении вещания может показаться само собой разумеющимся, на самом деле это было не так. Усилия и затраты на продолжение вещания требовалось сопоставить с выгодой от консервации этих ресурсов. Но, по словам Шиповица, игра того стоила.

"На следующее утро после отключения мы приняли решение перейти на Galaxy 3R, — говорит он. — Через два часа половина наших узлов снова работала".

СПОСОБЫ ОБЕСПЕЧЕНИЯ ИЗБЫТОЧНОСТИ

Инфраструктура провайдера Internet изнутри

Если вы стремитесь добиться того, чтобы сервисы были доступны постоянно, то без избыточности не обойтись. Этот принцип относится не только к числу и типу сервис-провайдеров, но и к внутренней инфраструктуре их сетей.

Данная концепция не осталась без внимания в Accentric, новой дочерней компании Simple Network Communications, чей бизнес по организации доступа в Internet еще раз подтверждает правило "чем больше, тем лучше".

В частности, Accentric заключила контракты с пятью провайдерами Internet (в том числе Sprint, UUNET и GTE Internetworking), а также с несколькими конкурирующими провайдерами доступа (в частности, с MFS/WorldCom и TCG), дабы сервис имел под собой надежную избыточную платформу.

Simple Network Communications начинала с размещения страниц Web других компаний и работала по соглашению с сервис-провайдером с использованием его средств. В конце концов компания решила установить свои серверы.

Accentric приобрела пять каналов DS3 (на 44,736 Мбит/с). Она предлагает аренду каналов T-1 (на 1,544 Мбит/с), предоставление выделенных серверов и услуги по соразмещению. Сейчас Accentric переходит на каналы OC-3 (на 155,5 Мбит/с). В настоящее время совокупная пропускная способность ее каналов составляет 255 Мбит/с.

В случае Accentric обеспечение избыточности состояло не просто в дублировании "нескольких соединений здесь и нескольких компонентов там". На деле компании пришлось преодолеть ряд довольно значительных препятствий, чтобы придти к желаемой конфигурации, говорит Роберт Бингхэм, президент и основатель Simple Network Communications.

Выбор компанией узла был предопределен, в частности, местоположением точки схождения оптических линий пяти провайдеров Internet. Она находилась поблизости от высотного здания в центре Сан-Диего. Такой сценарий поставил трудноразрешимые технические задачи перед центром доступа в Internet, тем более что компания пыталась создать наиболее эффективную физическую инфраструктуру в рамках высотного здания, где арендовали помещения и другие компании, деятельность которых не должна была прерываться.

Чтобы не зависеть от используемой другими обитателями системы энергоснабжения, Accentric проложила свою трубу для кабеля через пол здания в гараж высотки, где компания разместила собственный генератор на 450 кВт. Для этого, по словам Бингхэма, компании "потребовалось спустить 10 000 кг меди между нашим этажом здания и гаражом".

Независимая система энергоснабжения вкупе с дизельной резервной системой дает Accentric достаточно энергии для того, чтобы ее сеть могла функционировать с использованием ее собственных ресурсов в течение недели.

Другую головоломку представляла система кондиционирования воздуха. Два десятитонных устройства не располагали к непосредственной установке в здании. По сути, единственный способ приспособить устройства состоял в удалении некоторых окон здания, и это позволило обеспечить необходимую вентиляцию.

Как символ корпоративных обязательств, сотрудники Accentric носят майки с надписями "Избыточность и еще раз избыточность" — естественно, с обеих сторон.

Ресурсы Internet

Прогнозы относительно будущего беспроводных технологий для глобальных сетей

- www.lucent.com/wirelessnet/products/tech/technical.html.

Техническая документация по виртуальным частным сетям

- www.cisco.com/warp/public/728/General/vpdnwp.htm.

Описание соглашений об уровне сервиса

- ameritech.com/products/custom/topic/archive/last/white/1.html

Подробности об отказе службы frame relay компании AT&T

att.com/speeches/98/980414.maa.html

Хронология запуска спутников дивизиона спутниковой связи Hughes Electronics

- www.hughesspace.com/launch/launched.html.