Взгляд изнутри улья

Отделам ИС крупных операторов сотовой связи приходится решать задачи, ничуть не уступающие (а иногда и превосходящие) по масштабам тем, которые решают их коллеги из финансовых и правительственных институтов.

Когда заходит речь об инфраструктуре телекоммуникационных компаний, первое, что приходит в голову, - каналы связи, телефонные станции, мультиплексоры и т. д. Сетевые технологии тоже попадают в этот список в контексте предоставления соответствующих услуг, как, например, подключение к Internet. Мало кто задумывается, что внутренняя работа самих телекоммуникационных компаний связана с обработкой огромного количества информации о том, кто и в каком объеме воспользовался конкретным сервисом. При достаточно развитом бизнесе поток транзакций может достичь уровня, наблюдаемого, скажем, в сети банковских терминалов - классического источника непрерывно поступающей информации. Государственные телефонные компании (естественные монополии, как их модно сегодня называть) пока не перешли на повременную оплату разговоров и вполне могут позволить себе не торопиться с учетом того, кто сколько наговорил, но для бурно развивающегося частного сектора телекоммуникационного бизнеса вопрос оперативного учета всей коммерческой информации сегодня является жизненно важным.

В 1992 году на свет появилось акционерное общество "ВымпелКом", поставившее перед собой цель создать сеть сотовой телефонии. Сотовая связь на тот момент в России была почти неизвестна и являлась привилегией верхушки госаппарата. Предугадать масштабы спроса было практически невозможно, и созданная в этом же году пилотная система обеспечивала подключение всего 200 абонентов. Все же, несмотря на все опасения, россияне оказались очень восприимчивы к западным новшествам и были готовы за них платить. Поэтому в 1994 году "ВымпелКом" строит сеть на 10 000 абонентов и начинает полномасштабную коммерческую деятельность под торговой маркой "Би Лайн". За год бизнес компании вырос более чем в два раза и число абонентов сети превысило 22 500 человек. Адекватным образом росла сама компания и увеличивался объем циркулирующей внутри нее финансово-коммерческой информации. Усложнялись и механизмы работы с клиентами - рост конкуренции постоянно приводил (и приводит) к появлению новых видов услуг и схем оплаты, что соответствующим образом сказывалось на внутреннем документообороте. Необходимо было всерьез заняться вопросом построения корпоративной информационной системы, отвечающей следующим требованиям: сеть должна без проблем расти по мере увеличения рабочих мест, работать круглосуточно и быстро "переваривать" биллинговую информацию. Итак, задача: построить корпоративную сеть компании, располагающейся уже на двух территориях и планирующей дальнейший рост, в том числе и географический.

ВЫБОР В ПОЛЬЗУ АТМ

В первую очередь следовало выбрать подходящую технологию для магистрали. Необходимая для этого кабельная инфраструктура уже существовала. Сотовое телефонное оборудование компании было связано одномодовыми волоконно-оптическими кабелями (собственные линии "ВымпелКом"), а офисы компании территориально находились в узлах сети, поэтому, со всех точек зрения, было разумным задействовать часть неиспользованных жил из тех же линий. Наличие волоконно-оптических линий предопределило возможные варианты выбора: FDDI или ATM. Два года назад позиции FDDI были намного сильнее, технология использовалась, в частности, и внутри локальной сети "ВымпелКом", но особенности архитектуры FDDI требовали внесения заметных изменений в существующую структуру волоконно-оптических линий, в то время как применение АТМ позволяло обойтись без подобного вмешательства.

После определения магистральной технологии без особых раздумий был решен вопрос выбора производителя оборудования: на момент разработки проекта компания FORE Systems была практически единственным производителем по-настоящему работоспособных продуктов АТМ. Проект магистрали (сильно видоизменившийся с тех пор) разрабатывался при участии московской компании "РУСЛАН Коммуникейшнз", к которой отдел ИС "ВымпелКом" обращался за консультациями по оборудованию FORE (и за самим оборудованием). В качестве магистральных устройств были выбраны коммутаторы ForeRunner ASX-200 (два ASX-200WG и один ASX-200BX).

Прежде чем продолжить тему, следует подчеркнуть, что магистраль АТМ и собственно сотовая телефония используют независимые жилы волоконно-оптических кабелей и существуют абсолютно независимо друг от друга. Каждый из трех находящихся на различных территориях коммутаторов соединен с двумя другими (для передачи ячеек ATM по волоконно-оптическим линиям применяется технология SONET), таким образом магистраль замыкается в кольцо, что позволяет ей продолжать бесперебойно функционировать в случае аварийного обрыва любой из трех линий. Магистраль АТМ передает трафик корпоративной сети (об ее организации речь пойдет дальше), равно как и связывает две цифровые офисные АТС - Definity в офисе на ул. 8 Марта и Corex в офисе на "Маяковской". Для телефонного трафика организован виртуальный канал АТМ с гарантированной пропускной способностью 2 Мбит/c. На работе внутренней телефонной сети "ВымпелКом" подробно останавливаться не будем (поскольку эта тема выходит за рамки статьи), указав только, что подключение станций к ATM осуществляется при помощи мультиплексора

Cell-Ace компании Cellware. АТС подключаются к нему по линии E-1, затем Cell-Ace конвертирует ISDN в ячейки ATM и передает в магистральный коммутатор на другую территорию, где при помощи того же Cell-Ace производится обратная конвертация.

ДВИГАЯСЬ ВГЛУБЬ И ВШИРЬ

Перейдем теперь к собственно корпоративной сети. К магистральным коммутаторам FORE подключены коммутаторы рабочих групп. За исключением установленных на новой территории (м. "Красносельская") устройств Centillion производства Bay Networks и двух коммутаторов рабочих групп FORE, все сетевое оборудование, действующее ниже уровня магистральных коммутаторов, производства 3Com. Оно исторически используется в "ВымпелКом" в качестве фактического корпоративного стандарта. Роль коммутаторов рабочих групп выполняют устройства LinkSwitch моделей 1000, 2700 и LANplex 2500. Интересно, что имеющийся в офисе на ул. 8 Марта коммутатор LinkSwitch 2700 c модулем АТМ - первый, установленный в России. При подключении рабочих групп возникают неизбежные проблемы совместимости оборудования - Centillion, например, отказывается понимать используемую FORE реализацию PNNI. Взаимодействие оборудования FORE и 3Com также требует усилий - здесь сотрудникам "ВымпелКом" помогают специалисты компании IBS, в которой это оборудование (3Com) и приобретается.

Помимо коммутаторов рабочих групп напрямую к ATM подключены три главных корпоративных сервера (ALR Quad 6 в стоечном исполнении) под управлением IntranetWare, находящиеся на главной территории (кстати, главный сервер на "Маяковской" тоже напрямую подключен к ATM). На один сервер собирается вся "сырая" биллинговая информация (номера абонентов, время разговора и т. д.), получаемая с сотового коммутатора Ericsson. Связь сотового коммутатора с сервером осуществляется через выделенную рабочую станцию, в которой установлены платы Eicon - с их помощью рабочая станция связывается с коммутатором по протоколу Х.25, получает с него данные и по сети перебрасывает их на сервер. Установка специального "перевалочного пункта" обусловлена неожиданно возникшей технической проблемой: при попытке переброски данных с сотового коммутатора на сервер прямо по сети (через маршрутизатор) выяснилось, что стандартные модули X.25 маршрутизаторов "не понимают" сотовые коммутаторы Ericsson. К счастью, обнаружилось, что платы Eicon умеют "разговаривать" с этим коммутатором, и проблема была решена описанным способом. Аналогичным образом к коммутатору Ericsson подключено еще несколько рабочих станций, с которых осуществляются мониторинг и управление его работой. На сегодняшний день ежедневный объем поступающей биллинговой информации составляет около 300 Мбайт, общий объем хранящейся на сервере базы данных по биллингу с учетом архива (до сброса на вторичные носители информация хранится полгода) - около 40 Гбайт.

По результатам обработки биллинговой базы данных формируется база данных счетов абонентов сети "Би Лайн", которая хранится на втором сервере. Естественно, результаты обработки "сырого" биллинга этим не ограничиваются, и много информации порождается и хранится в рабочих группах. Точно оценить объем всех хранимых данных очень трудно, но теоретически он должен быть не меньше объема архива биллинга. Третий сервер является основным сервером компании и содержит все разделяемые данные, ПО и т. п. В завершение разговора о магистрали и организованных в ней виртуальных каналах передачи данных следует отметить, что в отдельный канал выделен трафик управления (RMON, SNMP); таким образом, в магистрали существует четыре логических канала: телефонный (виртуальный канал АТМ), два информационных и канал управления, организованный, как и предыдущие два, посредством LANE. Впрочем, как мне объяснили, неизбежно возникновение в магистрали новых информационных VLAN.

УЧЕТ И КОНТРОЛЬ

Раз уж зашла речь об управлении сетью, то разовьем эту тему. Начнем с того, что все коммутаторы (и некоторые концентраторы) поддерживают управление RMON и частично SNMP. Поголовная "RMONизация" позволила избежать присущих коммутируемым сетям проблем с диагностикой и управлением, описанных в статье Стива Штайнке "Управление коммутируемыми сетями" (LAN, февраль этого года). Кстати, для диагностики, в частности, используется упомянутый в той же статье сетевой анализатор FLUKE LANmeter (модель 682 Enterprise).

Управление сетью осуществляется при помощи различных приложений. Во-первых, так же, как и в случае маршрутизации IPX, средствами собственно IntranetWare. Для администрирования рабочих мест применяется приложение Novell ManageWise - на подавляющем большинстве рабочих станций (в идеале на всех, но сеть непрерывно растет) установлены соответствующие агенты. Для администрирования сетевых устройств используется Sun NetManager на рабочей станции Sun, разумеется, под управлением SunOS. Естественно, в первую очередь было опробовано "родное" ПО, которое вполне отвечало всем требованиям. Использовать Unix-платформу для управляющих приложений предполагается и в дальнейшем, поскольку, по мнению системных администраторов "ВымпелКом", аналогичные приложения под Windows NT работают хуже. Говоря об управляющих приложениях во множественном числе, я имел в виду, что в ближайшем будущем планируется добавить к NetManager приложения от производителей оборудования. Во-первых, это уже установленный и работающий 3Com Transcend Enterprise Manager (оборудования 3Com в сети работает больше всего). Далее намечено установить ПО ForeView, как легко понять, для управления магистральными коммутаторами.

4... 10... 100

Продолжим раговор о собственно сети и заглянем за коммутаторы рабочих групп. Дальше, естественно, идут концентраторы - простые и коммутирующие. В сети используется 10-мегабитный Ethernet, а также существует уже упомянутое в начале статьи кольцо FDDI, "низведенное" до уровня рабочей группы. 100-мегабитные соединения (Fast Ethernet) применяются только при подключении серверов рабочих групп. Серверы рабочих групп в подавляющем большинстве работают под управлением NetWare 4.1 или IntranetWare, за редким исключением используется Windows NT. Столь масштабное использование NetWare 4.1/ IntranetWare объясняется наличием в этих операционных системах службы каталогов NDS, что для организации со сложной структурой (причем оно непрерывно растет) является критическим требованием. Кстати, несмотря на то что сегодня число рабочих мест в сети превышает 600 человек (плюс добавляется непрерывный рост количества рабочих мест на новой территории), перевод хотя бы части рабочих групп на 100-мегабитные соединения не планируется. Во-первых, до сих пор нехватки пропускной способности не наблюдалось, а 10-мегабитный коммутируемый Ethernet справляется даже с видеоконференциями. Видео используется, разумеется, далеко не всеми сотрудниками, а только руководством компании, и благодаря правильно организованной коммутации не нагружает общий трафик сети. Вторая причина, по которой в переходе на Fast Ethernet нет особой необходимости, заключается в том, что у сети существует значительный "запас прочности". Речь идет о том, что, пока сеть растет как на дрожжах, постоянно видоизменяясь, возможности для применения всех доступных средств управления "на полную мощность" нет. При стабилизации темпов роста сети можно будет повысить ее КПД. То же можно сказать и о самой магистрали - очевидно, что потенциал 155-мегабитной АТМ еще далеко не исчерпан.

Для организации временных соединений "ВымпелКомом" используются мосты ARLAN 640 компании AiroNet. Необходимость применения беспроводных соединений возникает, как правило, при появлении новых помещений, особенно если они находятся не в одном здании с сетевым центром. Один мост подключается к коммутатору рабочих групп, второй - к концентратору удаленного офиса. Полученная 4-мегабитная линия позволяет новому отделу сразу приступить к работе в сети и без особых проблем дожидаться, когда в помещение будет протянут кабель. Второе применение радио-Ethernet - "горячий" резерв в случае аварийного обрыва кабеля. Конечно, радиолиния - неадекватная замена оптике, но главное в такой ситуации - оперативное восстановление соединения, которое проводится максимум за 15 минут (когда радиооборудование заранее настроено, время тратится в основном только на то, чтобы донести его до места).

ПИСЬМА ВХОДЯТ И ВЫХОДЯТ

В течение долгого времени для внутреннего документооборота компании использовалась система Lotus Notes. Однако несмотря на все ее преимущества, "ВымпелКом", судя по всему, перейдет на Microsoft Exchange, поскольку как следует интегрировать с Notes существующие базы данных не удается из-за того, что система плохо поддерживает отличные от принятых в Lotus форматы. Переход на Exchange, в свою очередь, позволит использовать для интеграции баз данных Microsoft SQL Server. Отдел ИС компании не испытывает особого желания расставаться с Notes, но отсутствие соответствующего эффективного решения (попытки обратиться за помощью в московское и британское отделения Lotus результатов, к сожалению, не дали) делает переход на Exchange практически неизбежным.

Связь с внешним миром осуществляется через Internet. Компания имеет 2-мегабитный канал, сеть подключена к нему через маршрутизатор Cisco 2501. За маршрутизатором находится брандмауэр, за которым установлен также и сервер Web компании (www.beeline.msk.ru или www.vimpelkom.ru). В качестве сервера для простоты используется продукт Microsoft, работающий, естественно, на платформе Windows NT. Доступ в Internet имеют далеко не все сотрудники "ВымпелКома", а только те, кому это нужно по работе. В настоящий момент предполагается полностью отказаться от использования протокола IP во внутренней сети за счет применения встроенного в IntranetWare шлюза IPX/IP Gateway. В качестве почтового приложения (клиентской части) используется Lotus cc:Mail 2.02, русская версия, и сс:Mail 6.0. Шлюзование сс:Mail с протоколом SMTP осуществляется при помощи приложения Internet Mail Exchange компании IMA, работающего под Windows NT.

ЗАКЛЮЧЕНИЕ

Самое замечательное в корпоративной сети AO "ВымпелКом" - это то, что она, во-первых, растет очень быстрыми темпами, во-вторых, в ней применяется множество различных решений, и, в-третьих, все это работает (не работать не имеет права). Мы наверняка еще раз вернемся к данной теме, поскольку в этой сети постоянно (в частности по ходу написания этой статьи) происходят заметные изменения, и со временем, несомненно, должен сработать переход количества в качество.