Серверная комната изнутри

Эффективный проект может оказаться спасительным для жизненно важных сетевых активов в отсеке связи/серверной комнате.

Они почти столь же уникальны, как и отпечатки пальцев. Они должны отвечать конкретным требованиям организации и в то же время оставлять достаточно места для повседневных изменений, а также последующих технологических разработок. Проекты отсека связи/серверной комнаты (далее по тексту мы будем использовать термин "серверная комната") играют основную роль в определении производительности и эффективности сети.

В этой статье мы подробно рассмотрим процесс проектирования, в том числе анализ базовой физической инфраструктуры серверной комнаты и элементов, которые проект должен обязательно содержать. А кроме того, мы дадим некоторые общие рекомендации, опишем правила и методы, а также перечислим стандарты, относящиеся к таким проектам.

ВНУТРЕННЯЯ ПЛАНИРОВКА

Прежде чем переходить к процессу проектирования, мы рассмотрим стандарт на связную проводку коммерческого здания ANSI/TIA/EIA 568A, определяющий компоновку и характеристики кабельных систем внутри зданий. В соответствии с TIA/EIA 568A серверная комната - это местонахождение кросса для связи магистрали и горизонтальной проводки. Кроме того, она служит для размещения оборудования связи, оконцевания кабеля и перекрестной проводки.

Теперь, когда мы определили контекст серверной комнаты, давайте изучим процесс, в соответствии с которым эти средства создаются. На начальной фазе процесса проектирования определите конкретные цели, которые вы в конечном счете хотите достичь. Одна из основных задач - решить, кто будет участвовать в этом процессе. Вклад сотрудников разных отделов вашей организации может оказаться весьма полезным. Вообще говоря, проектом может заниматься целая команда разработчиков.

Кроме того, прежде чем браться за проектирование, вы должны будете определить приоритеты. В чем больше заинтересована ваша организация: в увеличении пропускной способности или в сокращении расходов? Такие решения могут иметь принципиальное значение для проекта серверной комнаты.

Если вы перепроектируете имеющуюся серверную комнату, то в результате перепланировки имеющееся оборудование должно быть размещено более эффективно и оставлено место для нового. Составьте список всех функций, которые комната должна обеспечивать в настоящем и будущем.

После принятия соответствующих решений определите этапы реализации проекта. Иначе он может затянуться и оказаться более дорогим, чем предполагалось вначале.

Если говорить более конкретно, то две основные цели процесса проектирования - это эффективное размещение оборудования и повышение продуктивности. Среди других целей - размещение серверной комнаты таким образом, чтобы проводка достигала всех терминалов в здании (и на конкретном этаже), обеспечивая при этом необходимый уровень защиты от таких опасностей, как сбои питания и неблагоприятные условия окружающей среды.

Для проведения операций типа перемещений, добавлений и изменений, проект серверной комнаты должен быть достаточно гибким, гарантировать надежность, упрощать тестирование плюс к этому быть прозрачным для пользователей.

По возможности проект должен соответствовать стандартам и содержать последние записи обо всех межсоединениях, маршрутах, источниках питания и местоположении оборудования. Такие записи могут храниться в реляционной базе данных (с теневой базой данных), которая облегчает тестирование, обслуживание и наращивание инфраструктуры.

Исторически отсек связи и серверная комната находились в разных местах. Однако в настоящее время такие элементы телекоммуникационной системы, как устройство автоматического распределения вызовов (Automatic Call Distribution, ACD), кнопочные телефонные системы (Key Telephone System, KTS) и учрежденческие АTC, а также компоненты системы передачи данных (концентраторы, маршрутизаторы, серверы и оборудование удаленного доступа), все чаще находятся в одной и той же комнате.

Все средства серверной комнаты можно разделить на три основные класса. К физическим средствам относятся приборы для поддержания определенных температурных и других условий в помещении, оборудование типа коммутаторов и серверов, элементы инфраструктуры (например, кроссы и межсоединения); к логическим - программы для обеспечения функционирования, обслуживания и управления сети; к сервисным - программное и аппаратное обеспечение, а также средства связи (для таких целей, как телекоммуникации и доступ в Internet) и мониторинг.

ПЕРВЫЙ ЭТАЖ

Основные требования к физической инфраструктуре, необходимой для обеспечения связи и передачи данных, одни и те же вне зависимости от того, какова кабельная инфраструктура - централизованная или распределенная. (Мы рассмотрим эти два типа инфраструктуры несколько позже.)

Данная статья посвящена прежде всего внутренней проводке, междомной проводке и коммуникационной инфраструктуре на базе проводной среды передачи, такой как медный или оптический кабели.

Физическая инфраструктура включает оборудование и программное обеспечение. К телекоммуникационному оборудованию относятся кабели для горизонтальной и вертикальной проводки, УАТС, устройство автоматического распределения вызовов, кнопочные телефонные системы, телефоны, мультиплексоры, тестовые и диагностические приборы, соединительные блоки и гнезда, а также аппаратное и программное обеспечение для управления и обслуживания связи.

Оборудование передачи данных - это кабели и стенные розетки, серверы, маршрутизаторы, мосты, компьютеры, устройства резервного копирования и хранения данных, мультиплексоры, модемы, принтеры, порты локальных/городских/глобальных сетей, тестовый и диагностический инструментарий, а также программное обеспечение управления и обслуживания сети и инфраструктуры.

К оборудованию межсоединения относятся основные, промежуточные и горизонтальные кроссы, панели переключений (устройства, в которых входящие и исходящие линии связаны с помощью временных или полупостоянных соединений), соединительные блоки, лотки для кабеля, кабельные каналы и кабелепроводы.

Если сеть расположена в одном здании, главный распределительный щит - ГРЩ (Main Distribution Frame, MDF) называется также распределительным щитом здания - ЗРЩ (Building Distribution Frame, BDF). (В ГРЩ перекрестные соединения осуществляются между внешней станцией и оборудованием АТС.) Если сеть охватывает несколько зданий на одной территории, то телефонная станция или ГРЩ просто необходимы.

ГРЩ может располагаться в цокольном этаже одного из зданий и служить в качестве межсоединения всех остальных зданий через ЗРЩ и промежуточные распределительные щиты - ПРЩ (Inter-mediate Distribution Frames, IDF) в каждом из зданий. (ПРЩ - это щит, в котором перекрестные соединения осуществляются только между оборудованием АТС.)

Правильный монтаж ГРЩ/ЗРЩ на надежной опоре, а также необходимое заземление (обычно с помощью заземляющей перемычки или сети заземления) должны быть предусмотрены проектом. (Перемычка должна иметь малое сопротивление с целью обеспечения безопасного отвода практически любого тока.)

ПРЩ или горизонтальная кросс-панель - ГКП (Horizontal Cross Connect, HXC) состоят, как правило, из двух комплектов соединительных блоков, расположенных вертикально или горизонтально в одном и том же щите. Один ряд служит для оконцевания вертикальной проводки, а другой - для кабелей от стенных/конечных гнезд. Перемычки, шнуры переключений или перекрестные соединители нужны для подключения того или иного терминала к вертикальному кабелю.

Что касается проектирования серверной комнаты, применение ПРЩ и ГКП упрощает перемещения, добавления и изменения за счет того, что они позволяют установить больше горизонтальной проводки, чем требуется в данный момент. В результате вы имеете запас емкости для последующего роста.

Соединения могут быть упорядочены и активизированы в соответствии с необходимостью. В случае передачи данных промежуточный распределительный щит может представлять собой панель переключений, а в случае голосовой или традиционной связи - соединительный блок.

СВЯЗУЮЩИЙ СОЮЗ

Тип проводки, которую вы должны будете предусмотреть в своем проекте, зависит от природы сети, ее функций и конфигурации.

Наиболее распространены медные кабели с витыми парами. Неэкранированная витая пара Категории 5 (100 Ом) наиболее популярна в коммерческих проектах. Она способна поддерживать передачу на частоте до 100 МГц на расстояние до 100 м. Появившиеся усовершенствованные конструкции кабеля (до 600 МГц), а также экранированной витой пары должны обеспечить высококачественную передачу на большие расстояния (свыше 100 м).

Среди других вариантов 150-омный кабель STP с частотой до 300 МГц, но он значительно дороже Категории 5, а кроме того, тяжелее и труднее в установке.

Тонкий коаксиальный кабель (75 Ом) гибок, относительно недорог да и весит немного; он применяется в случае тонкого Ethernet и кабельного телевидения. Толстый коаксиальный кабель (50 Ом) несколько труднее заделывать и инсталлировать, но зато он может передавать данные на большие расстояния.

Оптический кабель делается как из стекла, так и из пластика. Пластиковый кабель пригоден для передачи данных на расстояние свыше 150 м со скоростью 150 Мбит/с, он гибок и прост в инсталляции. Многомодовое стеклянное оптическое волокно позволяет передавать данные на расстояние порядка 2 км, а одномодовое волокно - на расстояние свыше 3 км без применения повторителей или регенераторов.

ATM Forum рекомендует использование оптоволокна для скоростей свыше уровня OC-3 (155 Мбит/с). Несмотря на то что стенные розетки, панели переключений и работа по их установке для оптоволокна и UTP Категории 5 отличаются не сильно, разница в дополнительных затратах на соединители (такие как оптические адаптеры, концентраторы и другое сетевое оборудование), а также в оборудовании для совмещения и сращивания волокон весьма существенна. Зачастую благодаря лучшим характеристикам оптоволокна высокие затраты вполне оправданы, тем не менее его применение определяется в конечном счете целями и бюджетом конкретной организации.

РАСПРЕДЕЛЕННАЯ ПРОВОДКА

Как мы уже говорили, кабельные инфраструктуры бывают двух типов - централизованные и распределенные. В централизованной модели настенные/конечные разъемы связаны напрямую с телефонной станцией или ГРЩ в серверной комнате (см. Рисунок 1); при распределенной модели соединения осуществляются не напрямую, а через ПРЩ и/или ГКП (см. Рисунок 2).

Горизонтальная проводка - это проводка внутри серверной комнаты и этажная проводка (т. е. от серверной комнаты до стенных гнезд в других помещениях на том же самом этаже). Внутренняя проводка серверной комнаты связывает коммутаторы и/или панели переключений непосредственно со стенными гнездами для подключения терминалов в локальной рабочей зоне. При проектировании горизонтальной проводки (внутри серверной комнаты и на этаже) первоочередное значение имеют такие факторы, как гибкость, надежность, цена и время инсталляции.

К выбору метода прокладки кабеля надо отнестись как можно более серьезно. Применение кабелепроводов для прокладки кабеля до терминала обходится дорого, к тому же этот метод негибок. Открытая проводка, при которой кабель крепится к объектам типа плинтуса и трубы, дешевле, но при этом и ненадежней. Другой метод - прокладка кабеля под полом. В этом случае кабель прикрепляется к полу снизу настила, и как-либо изменить исходную конфигурацию весьма затруднительно.

Кроме того, проводка может быть проведена напрямую через съемный или пустотный пол. Пустотные, или ячеистые, полы состоят из бетонных ячеек. Несмотря на то что начальные инвестиции высоки, пустотные полы обеспечивают надежную опору и защиту от электромагнитных помех. Съемные полы покрываются плоским настилом, а также плитками поверх металлической или бетонной конструкции с пандусами при входе в комнату. Такой подход применяется обычно, когда значительное количество кабелей требуется разместить на небольшой площади и когда изменения производятся достаточно часто. Съемные полы обеспечивают необходимую гибкость, но они, вообще говоря, дороговаты. В такой конфигурации точки подключения находятся в креплениях пола или поднимаются с помощью кабелепроводов на стену.

Подвесной потолок во многих отношениях сходен со съемным полом, за исключением того, что в данном случае опорная металлическая конструкция свисает с потолка, а открытые проемы закрываются с помощью окрашенных древесно-волоконных плит. Этот метод гибок, но при реконфигурации он чреват дополнительными затратами.

Вертикальные кабели используются для связи ГРЩ или ЗРЩ с ПРЩ или ГКП на разных этажах. При проектировании протяженность кабеля можно уменьшить, если разместить ГРЩ/ЗРЩ и ПРЩ/ГКП на всех этажах друг под другом. Проект должен предусматривать наличие достаточной емкости в трассах кабеля между этажами и обеспечение адекватной защиты от шума, радиочастотных и электромагнитных помех, огня и других физических повреждений.

Вертикальный кабель может быть проложен в кабелепроводах, применение которых особенно оправданно, когда серверные комнаты на каждом этаже расположены не друг под другом. В этом случае для снижения затрат кабельные каналы могут быть проложены по стенам или внутри кабелепроводов других систем.

Междомная проводка обеспечивает межсоединение ГРЩ и ПРЩ/ЗРЩ, когда ГРЩ и ПРЩ расположены в различных зданиях на одной территории. ПРЩ/ЗРЩ соединяются с ГКП на каждом этаже с помощью, например, вертикальной проводки. ГРЩ может находиться в одном здании вместе с центральными вычислительными ресурсами, системами связи и устройствами печати. ПРЩ/ЗРЩ могут располагаться в цокольном этаже каждого здания на территории, обслуживаемой ГРЩ.

Типичной топологией в подобных случаях является "звезда", но применение соответствующих межсоединений и адаптеров позволяет организовать и другие топологии, например "кольцо", "дерево", "шина" и проч.

Тип среды передачи (UTP, STP или оптоволокно) для междомной или магистральной проводки зависит от требуемого качества передачи, расстояния между отправителем и получателем, а также естественных или искусственных препятствий (к примеру, трасса кабеля должна обходить источники избыточных радиочастотных или электромагнитных помех, таких как гаражи и трансформаторы).

ЦЕНТРАЛИЗОВАННАЯ ПРОВОДКА

При централизованной проводке стенные/конечные гнезда связаны напрямую с телефонной станцией или главным распределительным щитом в центральной серверной комнате. Централизованная проводка позволяет полнее использовать порты концентраторов и маршрутизаторов; она также проще в расширении, администрировании, управлении, тестировании и диагностике. Например, в случае перемещений, добавлений и изменений все соединения необходимо изменить только в ГРЩ.

В силу ряда причин централизованная проводка применяется во все большем и большем числе сетей. Основную роль при этом играют достоинства оптоволокна. С точки зрения таких составляющих, как энергопитание и вентиляция, оптоволокно дешевле медного кабеля.

С другой стороны, оборудование типа оптических сетевых плат, концентраторов и маршрутизаторов, стыков и панелей переключений, а также соединителей дороже оборудования для медного кабеля и требует больше места, чем последнее. В краткосрочной перспективе вложения в оптику могут себя не окупить, но со временем они оправдаются многократно.

Ввиду того, что затраты на сетевое оборудование составляют большую часть общих затрат, оборудование, а также кабельную инфраструктуру следует тщательно выбирать уже на стадии проектирования: данные компоненты должны соответствовать перспективным требованиям к последующему росту сети.

ДОКУМЕНТАЦИЯ И УПРАВЛЕНИЕ ПИТАНИЕМ

Документальная система управления кабелями и средствами соединения должна непременно предусматриваться проектом. С помощью соответствующих меток, символов и цветных кодов для идентификации элементов сети вы можете вести записи о телекоммуникационной структуре организации. Такие записи должны содержать сведения о среде передачи между конечными точками, о маршрутах между точками и об элементах заземления. Такого рода система облегчает тестирование и диагностирование, а также перемещения, добавления и изменения.

Документальная система управления кабелями базируется преимущественно на той или иной базе данных с мощным встроенным механизмом поиска, благодаря которому любой конкретный кабельный или сетевой компонент может быть без труда найден.

Терминальное оборудование в рабочей зоне серверной комнаты включает телефоны, компьютеры и диагностическое оборудование. При проектировании серверной комнаты первоочередное внимание необходимо уделить протяженности кабеля. Рекомендуемая максимальная длина горизонтального кабеля в рабочей зоне равна 3 м; требования и характеристики те же самые, что и для кабелей, используемых в других местах сети (см. Рисунок 3).

В некоторых тестах резисторы, адаптеры и/или соединители требуется подключить к кабелям в рабочей зоне, но прежде следует убедиться, что такие соединения не повлияют отрицательным образом на трансмиссионные характеристики сети.

Заземление характеризует соединение с малым импедансом (т. е. оно способно проводить сильный ток) от любого объекта к земле, предотвращающее опасное для объекта нарастание напряжения и тока. Осуществляется заземление с помощью изолированного медного провода, способного проводить фактически любой ток. Проводка должна иметь заземление во всех серверных комнатах; необходимыми элементами здесь являются заземляющие перемычки и шины заземления.

При проектировании серверной комнаты вы должны предусмотреть возможность частных проверок питания в случае, когда многочисленные перемещения, добавления и изменения осуществляются за короткий промежуток времени. Кроме того, почаще проверяйте заземляющие и нейтральные провода (особенно те, что напрямую подсоединены к компьютерам и оборудованию связи). Плюс к этому необходимо по мере возможности контролировать такие характеристики, как эффективное напряжение и токи силовой, нейтральной и заземляющей проводки оборудования и электрических распределительных систем.

Помимо наличия вышеперечисленных характеристик, выбранная система ИБП должна переключаться на питание от батарей за 1-10 мс. Батареи следует тестировать на регулярной основе. Кроме того, они нуждаются в постоянном контроле. Мониторинг можно осуществлять и локально, и удаленно с помощью программного обеспечения с сетевого монитора или консоли. Оборудование ИБП до 100 кВА можно разместить в серверной комнате; все, что превосходит этот предел, следует поместить в другом помещении.

Методы планирования и инсталляции электрической распределительной инфраструктуры для защиты питания внутри здания определяют два стандарта: серия национальных американских стандартов NEC и IEEE 1100. В зависимости от размера и сложности операций соответствие стандартам IEEE может оказаться более предпочтительным. Стандарты IEEE налагают более жесткие требования в отношении совместного использования устройствами нейтрального провода при заземлении. Однако это позволяет достичь лучших характеристик.

Стандарты IEEE требуют, чтобы каждое устройство имело свою собственную полную цепь с соответствующим образом подобранным нейтральным проводом. Это предотвращает появление избыточных токов и, как следствие, перегрев нейтральных проводов. Данный стандарт предполагает также применение металлических кабелепроводов и кабельных каналов для критичных цепей или проводов. Наконец, важнейшие компьютерные или телекоммуникационные устройства необходимо заземлять каждый в отдельности. Как следствие, риску короткого замыкания будет подвержено только одно устройство.

ДРУЖЕЛЮБНАЯ СРЕДА

На стадии проектирования нужно также взять в расчет обстановку и среду серверной комнаты. Светильники, например, должны крепиться приблизительно на высоте 2,5 м над полом. Кроме того, серверную комнату следует оснастить двумя источниками переменного тока на 220 В.

Обогрев, вентиляция и кондиционирование воздуха следует производить на постоянной основе, и весь объем воздуха в комнате должен полностью обновляться каждый час. Температура комнаты должна составлять от 18 до 24^o С, а относительная влажность - от 30 до 50%. Температуру и влажность необходимо измерять на высоте 1,5 м над уровнем пола.

Наконец, электромагнитные помехи не должны превосходить 3 В/м во всех диапазонах рабочих частот. Вибрацию необходимо ограничить для определенных видов оборудования и кроссов.

Маршруты и площади для телекоммуникаций в коммерческом здании включают зал для аппаратуры связи, точки входа каналов связи, горизонтальные и вертикальные кабельные каналы и рабочие станции. Их спецификации содержат целый ряд рекомендаций. Например, в случае распределенной проводки зал для аппаратуры связи должен располагаться на каждом этаже здания, что обеспечивает стык между горизонтальными и магистральными маршрутами.

Кроме того, зал для аппаратуры связи должен обслуживать рабочие станции в радиусе 90 м, а каждой рабочей станции, необходимо выделить площадь пола в 10 м². Таким образом, если отсек связи обслуживает 100 рабочих станций, то эта площадь должна составлять 1000 м², а размер зала для аппаратуры связи - 3-3,4 м. Если обслуживаемая площадь превышает 1000 м², вы должны создать еще один зал для аппаратуры связи.

Зал для аппаратуры связи можно разместить в серверной комнате. Общая площадь такой комнаты должна составлять приблизительно 20 м².

Требования к площади могут оказаться еще выше, когда сетевое оборудование на базе оптического кабеля также располагается в серверной комнате. Пол должен быть достаточно прочным, чтобы выдержать нагрузку свыше 100 кг/м².

БЕЗОПАСНОСТЬ И СТАНДАРТЫ

Задача системы информационной безопасности состоит в обеспечении защиты активов от несанкционированного доступа и изменения и в то же время в обеспечении доступа к ним имеющих на то право пользователей без излишних трудностей. Активы серверной комнаты включают также информацию о системах (и в системах) связи и передачи данных; оборудование, программное обеспечение, файлы, кабельные трассы и компоновку межсоединений плюс записи об управлении и эксплуатации.

Компьютерный центр и банк данных нельзя располагать рядом с внешней стеной здания, а сама комната не должна иметь больших открывающихся окон. Центр здания - это, вероятно, наиболее подходящее, по крайней мере для банка данных, место. Кроме того, компьютерные центры и банки данных не должны выделяться по внешнему виду из коридора (в некоторых случаях даже какие-либо таблички с обозначениями на дверях не рекомендуются).

Несанкционированный доступ к логическим и физическим элементам серверной комнаты, а также неправильное функционирование оборудования можно обнаружить с помощью целого ряда методов. Среди них звуковые сигналы типа сирены, визуальные сигналы типа разноцветных мигающих сигнальных ламп, сообщения о вирусах по электронной почте и предупреждения на пейджер.

Другие предосторожности предусматривают применение программных и аппаратных замков и ключей, магнитных карт, периодических проверок эффективности различных аспектов схем защиты. Одинаково важно защитить внутренние и внешние трассы кабеля, а также информацию или базу данных о кабельном маршруте. Меры защиты проще предусмотреть на стадии проектирования, чем внедрять их постфактум.

Хорошо спроектированная серверная комната должна соответствовать или превосходить надлежащие стандарты. В первую очередь это ANSI/EIA/TIA 568A, 569, 570, 606 и 607. Информацию об этих стандартах можно найти по адресам: www.ansi.org, www.eia.org и www.industry.net/tia. Другие полезные стандарты включают IEEE 1100 (www.ieee.org) и NEC 210, 240 и 570.

МОДЕЛЬ СЛЕДУЮЩЕГО ГОДА

Несмотря на уникальность любого зала для аппаратуры связи, общие рекомендации все же существуют. Конечно, добавления в проект можно сделать и позже, однако гораздо эффективнее предусмотреть максимально возможное число функций в оригинальном проекте, к тому же это отнимает меньше времени.

Процесс проектирования должен быть тщательным и последовательным, так как поспешные решения чреваты посредственными (или вообще плохими) результатами. Серверная комната - сердце вашей сети. Планирование с расчетом на будущее позволит вашим сетям связи и передачи данных всегда находиться в добром здравии.