Значительно уступая двум лидерам по объемам поставок, производители модульных серверов «второго эшелона» стремятся превзойти их в изощренности технических решений.
Модульные серверные платформы оказываются более эффективными с точки зрения охлаждения, потребляют меньше электроэнергии по сравнению с традиционными серверами и занимают не слишком много места. Как утверждают производители, они дешевле по совокупной стоимости владения, проще в администрировании и представляют хорошую основу для физической консолидации и виртуализации серверов. Последняя технология, по данным Gartner, оказывает возрастающее влияние на рынок ИТ и в значительной степени решает проблему неэффективного использования серверов в ЦОД, загруженных в среднем лишь на 30%.
Согласно отчету IDC, в III квартале 2006 г. продажи модульных серверов всех архитектур (x86, EPIC, RISC) в мире достигли 738 млн долларов, что составляет 5,7% серверного рынка, а в сегменте серверов стандартной архитектуры их доля приближается к 10% (см. Рисунок 1). В последнюю пару лет ежеквартально продается 1,6-1,8 млн таких систем. Хотя темпы роста сегмента модульных серверов в регионе EMEA в период с 2006 по 2010 гг., как ожидается, снизятся с 65% до 45%, он останется самым быстро растущим сегментом серверного рынка.
По словам Роберта Фариша, главы представительства IDC в России, модульные серверы составляют основной элемент динамических ЦОД, под которыми в IDC понимают сервис-ориентированную архитектуру и инфраструктуру. Они помогают решить проблемы энергопотребления и нехватки площадей, упростить управление, что также очень актуально, поскольку ырост расходов на управление серверами опережает рост серверного парка. Модульные серверы, позиционируемые ведущими производителями как «адаптивная инфраструктура в одной коробке», играют важнейшую роль в их серверной стратегии. Если мощные стоечные серверы на платформах RISC и EPIC представляют собой вертикально масштабируемые системы, то модульные серверы — решения для горизонтального масштабирования.
Доминирующие позиции на мировом рынке модульных серверов занимают IBM и HP. Их общая доля превышает 75%, а в России составляет более 90%. Они предлагают модульные серверы, архитектуру которых можно назвать классической. Того же принципа придерживается и Dell, занимающая третье место на мировом рынке модульных серверов. Традиционно рассчитывая на эффективность своей бизнес-модели — организацию сборки и логистики, компания старается не уступать IBM и HP в энергоэффективности и управляемости модульных платформ.
Как и лидеры рынка, свой первый модульный сервер PowerEdge 1655MC Dell представила в 2002 г., в ноябре 2004 г. появился PowerEdge 1855, а в настоящее время выпускается уже девятое поколение модульных серверов PowerEdge 1955. По словам Ребекки Джоунс, бизнес-менеджера по корпоративным решениям Dell в регионе EMEA, хотя эта модель является пока единственным предложением компании в данном сегменте, для нее предусмотрены разнообразные варианты конфигурации, ориентированные на различные нагрузки и приложения — от серверов приложений до инфраструктурных задач (контроллеры доменов, фермы серверов Web, файловые серверы и серверы печати), а также в качестве платформы консолидации и виртуализации. Применительно к модульной архитектуре философия компании состоит в том, чтобы соблюсти баланс между производительностью и плотностью, предложив продукт, как минимум не уступающий серверам 1U — и по конфигурации, и по цене. Подобно продуктам HP BladeSystem, в PowerEdge 1955 поддерживаются заменяемые в «горячем» режиме диски SAS и память FB DIMM вплоть до 32 Гбайт. Стойка высотой 42U вмещает 60 двухпроцессорных серверов Dell.
В ПОИСКАХ ИННОВАЦИЙ
Sun Microsystems и Fujitsu Siemens Computers (FSC), входящие в пятерку лидеров рынка, вступили в игру лишь немногим позднее и стараются предложить оригинальные технические решения, превосходящие по своим характеристикам «классический» дизайн. Выпущенная в сентябре 2005 г. система PRIMERGY BladeFrame от FSC появилась в результате соглашения последней с Egenera. Это шасси представляет собой динамический пул серверов архитектуры x86 — обезличенных, взаимозаменяемых серверных узлов (память+процессор). Каждый модульный сервер лишен сетевых адаптеров, CD-ROM и жестких дисков и использует общие виртуальные интерфейсы ввода/вывода для локальной сети/сети хранения, распределение которых осуществляется с помощью ПО Processor Area Network (PAN) Manager. Последнее отвечает также за управление модульными серверами, взаимодействие которых осуществляется посредством встроенных в шасси высокоскоростных коммутаторов. В FSC считают, что такой подход уменьшает число сбоев и упрощает управление.
Старшая модель BladeFrame вмещает до 24 процессорных узлов — до 192 ядер при использовании двухъядерных процессоров Intel Xeon или AMD Opteron. В ближайших планах компании — выпуск версии PAN 5.0 с поддержкой ПО виртуализации Xen (в дополнение к VMware GSX) и поддержка миграции приложений между модульными серверами в реальном времени. Как заявил Джозеф Регер, ее система PRIMERGY BladeFrame позиционируется в качестве готовой платформы виртуализации, причем виртуализация осуществляется на уровне модульных серверов и групп серверов.
Образы ОС и приложений в архитектуре BladeFrame размещаются на центральном устройстве хранения, а серверы и системы хранения предоставляются по требованию. Среди новинок и разработка динамической инфраструктуры для платформы Microsoft под управлением Microsoft Operation Manager (MOM). Ранее компания выпустила модульные серверы PRIMERGY BX3200 (2002 г.) и BX600 (2004 г.), близкие по дизайну и конструкции системам HP, IBM и Dell (см. Рисунок 2). В BX600 используются резервируемые модули управления в шасси и встроенные переключатели KVM. В этой системе впервые в отрасли обеспечена возможность объединения двух- или четырехмодульных серверов таким образомм, что они функционируют как одна система (аналог SMР).
Sun Microsystems предприняла первые попытки выхода на рынок модульных серверов Sun пару лет назад. В июле 2006 г. появилось шасси Sun Blade 8000 (см. Рисунок 3), а в ноябре — более компактная версия 8000 P. В шасси Sun Blade 8000 можно установить до десяти четырехпроцессорных серверов на базе AMD Opteron. В текущем году планируется выпустить модули с процессорами Sun Niagara. Летом должен появиться процессор Niagara 2 — также с восемью ядрами, но поддерживающий восемь потоков на ядро вместо четырех. Поставки систем на базе этого процессора должны начаться во второй половине года, однако о планах их применения в модульных серверах пока не сообщается. Рассчитывая укрепить свои позиции на быстро растущем рынке модульных серверов, Sun представила новый сервер Sun Blade X8420 с четырьмя двухъядерными процессорами AMD Opteron 8000 (2,8 ГГц). Этот сервер начального уровня стоит немногим более 13 тыс. долларов. Сервис подписки Sun Refresh Service предполагает доставку и установку у клиентов новых «лезвий» взамен прежних
в течение трех месяцев, но пока доступен только в США.
Разработчики Sun выбрали процессоры AMD Opteron вследствие их более низкого энергопотребления по сравнению с Intel Xeon (Woodcrest) и хорошей масштабируемости при увеличении количества процессоров. Sun использует процессоры AMD с 2003 г., и в компании считают, что это в значительной степени способствовало усилению ее позиций на мировом серверном рынке, однако она явно не собирается ограничиваться линейкой серверов с процессорами AMD Opteron. В январе Sun и Intel объявили о заключении стратегического альянса, в рамках которого Intel займется продвижением ОС Solaris, а Sun станет продавать серверы уровня предприятий, телекоммуникационные серверы и рабочие станции на базе процессоров Intel Xeon. В рамках альянса будет осуществляться совместная разработка программных и аппаратных решений. В системы Sun на платформе Intel Xeon планируется интегрировать ключевые технологии Intel VT, Intel IO Acceleration Technology и Intel Demand Based Switching.
Что касается платформы Sun Blade 8000, то, по словам Павла Анни, менеджера Sun Microsystems в Южной и Восточной Европе, разработчики постарались учесть ошибки и использовать опыт создателей подобных систем, воплотив в ней лучшие отраслевые достижения. В частности, одна из задач состояла в создании сбалансированной платформы с мощной подсистемой ввода/вывода. Предназначенная для корпоративных ЦОД система Sun Blade 8000 (Andromeda) рассчитана на десять серверных модулей в пассивном шасси с объединительной панелью PCI Express. Ее наиболее заметное отличие состоит в модульной архитектуре ввода/вывода.
Сохранив диски, в Sun «упростили» серверы за счет выноса плат ввода/вывода и сетевых интерфейсов за пределы серверного модуля. Сами серверы имеют лишь шесть «выходов» PCI Express, которые через объединительную панель связаны с устанавливаемыми в шасси модулями ввода/вывода PCI Express EM (ExpressModule) — по два выделенных модуля на каждый сервер, а также с четырьмя сетевыми модулями PCI Express NEM (Network ExpressModule) (см. Рисунок 4). Эти внешние адаптеры ввода/вывода можно заменять в «горячем» режиме, причем модули NEM поддерживают Gigabit Ethernet и Fibre Channel (а в будущем и InfiniBand) и комбинируются в соответствии с потребностями.
В Sun Blade 8000 каждый серверный модуль может оснащаться четырьмя двухъядерными процессорами AMD, оперативной памятью до 64 Гбайт, двумя дисками SAS или SATA со встроенной поддержкой RAID 0 и 1, шестью интерфейсами PCI Express и сервисным процессором ILOM. Жесткие диски заменяются в «горячем» режиме. Модули EM форм-фактора PCI-SIG с пропускной способностью 32 Гбит/с каждый (x8 PCIe) также поддерживают «горячую» замену. Как отмечает Павел Анни, подобная архитектура позволяет не извлекать серверный модуль и не отключать оборудование при расширении системы, как это приходится делать в случае установки дополнительных плат. С выпуском модулей NEM для InfiniBand благодаря такой конструкции станет возможно легко создавать вычислительные кластеры, узлы которых будут связаны через коммутатор InfiniBand. Кроме того, Sun удалось добиться высокой плотности оборудования: по данным компании, ее платформа превосходит конкурентов в отношении процессорной мощности на стойку. Модульные серверы Sun первого поколения предусматривали установку в шасси B1600 серверов на базе UltraSPARC и x86. В настоящее время новейшие 64-разрядные серверы Sun Blade 8000 представляют собой «стандартные» платформы, поддерживающие ОС Solaris, Linux, Windows, программное обеспечение VMware, и содержат до 160 ядер AMD Opteron на стандартную стойку. Разработчики постарались сделать их простыми в управлении, обслуживании и развертывании, предусмотрев развитые средства удаленного управления. При извлечении модуля из шасси для обслуживания он отключается от питания, однако с помощью специальной кнопки можно включить светодиодные индикаторы, показывающие состояние сервера — в течение 30 с они запитываются от специального конденсатора.
В Sun считают, что, поскольку управление модульными серверами осуществляется точно так же, как стоечными, это упрощает их интеграцию в имеющуюся среду ИТ, а консолидация и виртуализация серверов позволяют сократить расходы на обслуживание системы, приобретение ПО и оборудования, повысить эффективность использования серверов, увеличить гибкость и автоматизацию управления, получить предсказуемые уровни обслуживания за счет высокой производительности и доступности системы. Наряду с VMware, Sun предлагает собственное решение виртуализации — легко создаваемые и поддерживаемые контейнеры Solaris. По данным компании, при таком подходе непроизводительные потери составляют менее 1%.
Как считают специалисты компании, ПО VMware на модульных платформах Sun позволяет реализовать функционал, аналогичный системам FSC. Решения с VMware, использующие в качестве основной ОС Linux или Windows, тестируются на совместимость и активно предлагаются с системами Sun.
По словам Андрея Иванова, ведущего специалиста компании «Тринити Солюшнс», принципиальных отличий между модульными и стоечными серверами с точки зрения возможностей виртуализации нет. В обоих случаях на одном сервере или модуле выполняется несколько задач (ОС). Выбор оборудования для виртуализации в первую очередь обусловлен потребностями: для «легких» задач привлекательнее модульные серверы, а для «тяжелых» — стоечные системы, поскольку они позволяют установить больший объем оперативной памяти и больше адаптеров ввода/вывода. Однако все это относится к классическим модульным платформам.
В решении PRIMERGY BladeFrame разработчики по-старались превзойти «классику» и в области виртуализации. «Интегрированная виртуализация» этой платформы от FSC упрощает динамическое выделение компьютерных ресурсов приложениям, ведь платформа BladeFrame представляет собой пул динамически конфигурируемых серверов. В архитектуре BladeFrame применяются модули pBlade (processor blade) — «серверы без состояния», оснащенные лишь процессорами и памятью. У них общие виртуальные интерфейсы ввода/вывода для локальных сетей и сетей хранения данных, назначаемые с помощью ПО PAN Manager. ОС загружается с внешнего устройства хранения.
FSC усовершенствовала средства виртуализации в BladeFrame, представив в ноябре vBlade — расширение архитектуры PAN. Благодаря технологии vBlade виртуальные машины, работающие на системах PRIMERGY BladeFrame, автоматически получают доступ ко всем сервисам виртуализации, включая различные варианты обработки отказов и аварийного восстановления. Им доступны пулы ресурсов, группы модульных серверов, средства приостановки и возобновления работы, миграция в реальном времени и другие возможности. vBlade является подмножеством pBlade и использует часть процессоров и памяти pBlade, что позволяет консолидировать на одном вычислительном модуле множество серверных приложений, работающих под управлением различных ОС. Первая версия vBlade опирается на решение для виртуализации XenEnterprise от XenSource.
В области ПО управления FSC, подобно Dell, опирается на партнерство со специализированными поставщиками. В ноябре прошлого года она анонсировала решение Dynamic IT for Microsoft для компаний, применяющих приложения Windows (например, SQL Server, Exchange и SAP). В качестве аппаратной платформы используется PRIMERGY BladeFrame. Ее ПО интеллектуального администрирования ресурсов (PAN Manager) связано с ПО Microsoft System Center Operations Manager. Системные ресурсы делаются виртуальными и доступными приложениям и сервисам тогда, когда они необходимы. Это касается не только серверов, но и систем хранения EMC, где реализованы собственные программные решения. Кроме того, они предоставляют ресурсы хранения по требованию.
Такая платформа с автоматизированным управлением динамически адаптируется к изменениям потребности в ресурсах ИТ, которые можно быстро перераспределять и конфигурировать. Решение следит за производительностью приложений и систем, заблаговременно перераспределяя вычислительные ресурсы на основе правил. MOM позволяет осуществлять мониторинг производительности систем, контролировать использование процессора и памяти, нагрузку на сеть, пространство на дисках, время отклика сети, следить за работой приложений, а также настроить автоматическую реакцию на системные предупреждения, выполняя те или иные действия в соответствии с заданными правилами: например, переведя в активный режим работы сервер, располагающий большим объемом ресурсов. При сокращении нагрузки невостребованные ресурсы возвращаются в пул.
О намерении усилить свои позиции на рынке модульных серверов заявила и Hitachi. В начале января на американском рынке появился ее новый модульный сервер BladeSymphony (см. Рисунок 5), где виртуализация реализована на уровне микропрограммного обеспечения Virtage без применения ПО Xen. Virtage позволяет эффективнее распоряжаться системными ресурсами с целью оптимальной обработки выполняемых приложений. Hitachi выпускает две модификации шасси BladeSymphony — высотой 38U и 16U. Решение включает в себя систему хранения TagmaStore AMS500, гигабитный коммутатор GS3000 и ПО управления BladeSymphony Manage Suite. Как и в HP BladeSystem, в BladeSymphony можно применять серверы на базе двухъядерных Intel Itanium 2 (серия 9000) и Intel Xeon 5100, комбинируя их в одном шасси. В шасси 16U устанавливается восемь серверов, включая факультативные серверы хранения SCSI. В сервере используется технология межсоединения Blade Symmetric Multiprocessing (SMP). ПО управления содержит инструменты для централизованного управления системой — серверами, сетью и ресурсами хранения. Оно позволяет обновлять BIOS и ОС, развертывать систему, выполнять резервное копирование/восстановление, регистрацию событий и вывод сообщений администратору. Источники питания (резервируемые по схеме N+1), коммутатор и модули управления заменяются в «горячем» режиме.
Важная особенность платформы — возможность объединения сразу нескольких «лезвий» подобно Quadblade у FSC. В этом случае ряд четырех- или восьмипроцессорных серверов с Itanium 2 9000 (Montecito) образуют одну многопроцессорную машину со 128 Гбайт памяти без собственных дисков. В Hitachi планируют применить обе технологии (Virtage и SMP) в и системах на базе процессоров Xeon.
ЗАКЛЮЧЕНИЕ
По словам Андрея Иванова, в ближайшие год-два в развитии архитектуры модульных серверов ждать принципиально новых решений не приходится, так как клиенты заинтересованы в поддержке уже существующих решений. Разумеется, это не означает, что модули с новыми процессорами, а также новые модули ввода/вывода появляться не будут. Примечательная тенденция — отказ от жестких дисков, использование загрузки через iSCSI и SAN, совершенствование методов оптимизации энергопотребления. В «Тринити Солюшнс» считают, что FSC и Sun выпускают достаточно интересные решения, которые, несомненно, найдут своего покупателя, однако никто из поставщиков «второго эшелона» не предлагает продукт, способный оставить конкурентов далеко позади. Тем не менее, как ожидается, уже в ближайшей перспективе альтернативные решения заметно увеличат свою долю в этом сегменте. Так, лишь недавно платформу BladeFrame вывела на российский рынок Fujitsu Siemens, сейчас это оборудование находится на тестировании у потенциальных заказчиков. Компания имеет неплохие перспективы — наряду с быстро растущей Dell с ее классическими платформами. Sun представила новые модульные серверы, но предлагает всего два типа «лезвий», что несколько сужает рамки их возможного применения, поэтому для вхождения в тройку лидеров ей потребуется реализация очень крупных проектов или существенное развитие предлагаемой линейки.
По сравнению с мировым рынком доля продаж модульных серверов в России ниже. В конце прошлого года она составляла не более 4-5%, так что в этом направлении у нашей страны есть, как принято говорить, «большой потенциал», тем более что темпы роста отечественного рынка серверов более чем вдвое превышают мировые. В настоящее время ежеквартально продается более двух тысяч модульных серверов. Лидеры рынка предлагают широкий спектр модульных решений, да и другие ведущие производители серверов в ожидании растущей популярности модульной архитектуры прилагают максимум усилий, чтобы закрепиться в перспективном сегменте.
Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.
Эволюция x86
Несмотря на наличие моделей с процессорами архитектуры RISC и EPIC, подавляющее большинство модульных серверов реализуется на стандартной платформе x86. В 2006 г. Intel кардинально обновила семейство серверных процессоров, представив 35-ваттный Xeon LV, Xeon 5000 и 5100, Itanium 2 9000 с кэш-памятью 24 Мбайт, Xeon 7100 для многопроцессорных систем и Xeon 3000 для однопроцессорных серверов, а в ноябре выпустила первый четырехъядерный процессор x86 — Xeon 5300 с производительностью на 42-50% выше, чем у Xeon 5100. Технология Intel Intelligent Power Capability позволяет отключить кэш, если он не используется, а Intel Wide Dynamic Execution — выполнять четыре команды за такт, в то время как процессоры AMD справляются с тремя.
Между тем применяемая AMD технология HyperТransport существенно увеличивает возможности масштабируемости систем. В архитектуре AMD процессор непосредственно взаимодействует с памятью (благодаря интегрированному контроллеру памяти), а сами процессоры напрямую связаны друг с другом. В AMD считают, что такая архитектура позволит превзойти Intel в сегменте четырехъядерных процессоров. По словам Александра Беленького, главы московского представительства компании, в процессорах AMD была изначально заложена технология многоядерности и виртуализации. В середине прошлого года были выпущены процессоры Opteron с поддержкой памяти DDR2 и виртуализации, а во II квартале нынешнего должны появиться четырехъядерные процессоры. Кроме наличия двух независимых модулей кэш-памяти для каждого ядра в них предусматривается общий кэш третьего уровня емкостью 2 Мбайт. Ожидается, что усовершенствование кэш-памяти и встроенный контроллер памяти помогут снизить энергопотребление и увеличить быстродействие. Единая архитектура Rev F процессоров AMD позволит клиентам легко перейти на четыре ядра — в тот же сокет можно будет устанавливать четырехъядерные процессоры. Решениям на базе процессоров AMD, ранее применявшиеся в основном в кластерах HPC, в прошлом году удалось занять около 20% серверного рынка, однако Intel, продолжающая активно обновлять линейку процессоров и превосходящая AMD по объемам выпуска продукции, имеет все шансы взять реванш. С переходом обеих компаний на производственный процесс 45 нм и расширением линейки четырехъядерных процессоров конкуренция станет еще более жесткой.
По словам Андрея Иванова, традиционным лидером на рынке модульных серверов являются модули с процессорами Intel, однако при построении вычислительных кластеров часто предпочтение отдается процессорам AMD (что в ряде случаев обусловлено качественной оптимизацией программного обеспечения или лучшими результатами при выполнении конкретных операций). Что касается модульных серверов на процессорах Itanium и PowerPC, то интерес к ним проявляют в первую очередь заказчики, нуждающиеся в вычислительных кластерах, однако в России запросы на построение кластеров на процессорах PowerPC и Itanium достаточно редки. Сегодня и модульные серверы с процессорами Intel Xeon, и аналогичные платформы с AMD Opteron применяются для решения широкого круга задач. Например, система Sun Blade 8000 на базе процессоров AMD Opteron позиционируется, как платформа для баз данных и приложений корпоративного класса (анализ данных, ERP и др.), задач HPTC в финансовом, нефтегазовом секторе, учебных заведениях и госучреждениях, а также для консолидации серверов.
С появлением модульных серверов, где применяются четырехъядерные процессоры Intel, рынок получил еще более широкий спектр моделей и возможность их выбора, исходя из минимального энергопотребления, соотношения цены/производительности или быстродействия. Вместе с тем, принимать решение о приобретении оборудования стало сложнее, поскольку, например, восьмиядерный сервер может содержать и два, и четыре процессора. Пока по производительности (в частности, при выполнении приложений SAP) лидируют четырехпроцессорные серверы, но двухпроцессорные потребляют меньше электроэнергии и более экономичны. При помощи многоядерных процессоров удается переносить все более «тяжелые» приложения на младшие модели серверов с двумя-четырьмя процессорами. В результате серверы стандартной архитектуры теперь пригодны для достаточно ресурсоемких задач. Серверы, содержащие до 32 ядер на системной плате, позволяют решать до 85% задач HPC, считает Пит Тернер, вице-президент Uptime Institute — исследовательской компании в области ЦОД.
В перспективе разработчики разных компаний намерены заняться созданием специализированных динамически отключаемых и резервируемых ядер с распределением заданий между ними. В 2007 г. практически завершится переход на двухъядерные серверы и начнется широкое внедрение четырехъядерных процессоров. Это ведет и к изменениям в концепции разработки приложений: в частности, требует применения целого набора средств для распараллеливания операций, хотя, как отмечает Алексей Рогачков, региональный специалист по внедрению продукции Intel, основное серверное ПО уже сейчас многопоточно и потому пользуется преимуществами дополнительных ядер. При виртуализации многоядерные процессоры позволяют одновременно выполнить большее число ОС, а кроме того, повысить компактность и производительность систем. Появление двух- и четырехъядерных процессоров, изготавливаемых по технологии 45 нм, не замедлит отразиться на выпуске новых моделей модульных серверов.
Совершенствуются и конкурирующие архитектуры. IBM уже представила модульные серверы с девятиядерными процессорами Cell, а Sun готовит к выпуску модели на восьмиядерных UltraSparc T1 (Niagara). Серверы на процессорах Cell, разработанных IBM совместно с Sony и Toshiba, позволяют эффективно выполнять приложения потоковой обработки данных или обработки изображений в медицине, биологии и т. д. В направлении многоядерности развивается и Intel Itanium 2.
Толстый и тонкий
лассический модульный сервер состоит из шасси с объединительной панелью или контактной платой (midplane или backplane) и устанавливаемых в него одноплатных серверных модулей (от шести до 16), конструктивно близких к стоечным серверам высотой 1U. Однако, за исключением локальных дисков, применяемых обычно для размещения ОС, все остальное — модули питания, коммутаторы Ethernet для связи с «внешним миром» и коммутаторы FC для взаимодействия с внешними системами хранения — вынесено в шасси, где находится и общий модуль управления (как правило, резервируемый). Именно по такой схеме реализуются системы лидеров рынка — HP и IBM, ей же следует Dell. Расположенная в центральной части корпуса HP BladeSystem пассивная сигнальная объединительная панель NonStop с пропускной способностью до 5 Тбит/с соединяет серверы с модулями коммутаторов и хранения данных. Объединительная панель IBM ePlane в системе BladeCenter с функциями высокой готовности также обеспечивает отказоустойчивое соединение между каждым сервером в шасси и всеми модульными компонентами. В обеих системах имеется распределительная панель электропитания. Пассивная объединительная панель способна поддерживать любые протоколы — Ethernet, FC, InfiniBand или PCI Express, для чего достаточно наличия соответствующих активных устройств с обеих сторон. Например, в HP c-Class серверные адаптеры Mellanox взаимодействуют по InfiniBand с модулем коммутатора Voltaire в шасси.
Логично было бы сделать серверные модули еще более облегченными и «тонкими», вынеся в шасси и другие компоненты. По такому пути пошли разработчики Sun и FSC. В платформе BladeFrame от FSC применяются бездисковые серверы, а в Sun Blade 8000 в шасси вынесена и подсистема ввода/вывода: заменяемые в «горячем» режиме модули PCIe ExpressModule поддерживают Gigabit Ethernet, Fibre Channel и InfiniBand, которые можно комбинировать в одном шасси в соответствии с потребностями.
По мнению Ильи Крутова, брэнд-менеджера System x IBM EE/A, консолидация данных на внешних системах хранения и использование бездисковых «лезвий» — дальнейший этап развития концепции упрощения инфраструктуры для сокращения затрат и увеличения эффективности вложений. Среди насущных задач ИТ — быстрое развертывание новых сервисов, увеличение мощности существующих, а также обеспечение непрерывности доступа к услугам и оперативного восстановления в случае возникновения отказов. Для того чтобы максимально гибко реализовать требуемый функционал, используется виртуализация ввода/вывода, т. е. сервер-«лезвие» содержит только вычислительный ресурс (процессоры, память) и интерфейс взаимодействия с периферией (подсистема ввода/вывода), а дисковые накопители и средства сетевого взаимодействия выносятся за пределы модуля. Такой подход позволяет максимально гибко управлять вычислительными ресурсами и одновременно консолидировать хранилище и сетевое взаимодействие.
С удешевлением энергонезависимой флэш-памяти могут появиться серверные модули с хранящейся в такой памяти ОС, подобно уже выпущенным бездисковым ноутбукам. Недавно SanDisk анонсировала флэш-диск для ноутбуков емкостью 32 Гбайт по цене 600 долларов. Отсутствие движущихся частей означает снижение энергопотребления и повышение надежности устройства. Эти качества очень важны в модульной архитектуре. Теоретически серверные модули, содержащие лишь память и процессор, могут «похудеть» еще больше и превратиться в многоядерные вычислительные узлы, что очень напоминает архитектуру неоднородного доступа к памяти с когерентной кэш-памятью (cache coherent Non Uniform Memory Architecture, ccNUMA), давно ставшую стандартом при построении многопроцессорных систем. Основной элемент инфраструктуры таких систем — коммутатор.
Например, в системной архитектуре HP Superdome можно выделить ячейку (cell), объединительную панель с неблокирующим коммутатором (crossbar backplane) и подсистему ввода/вывода на базе шин PCI. Конструктивно ячейка реализована в виде платы и представляет собой систему SMP, содержащую до четырех процессоров и 16 Гбайт основной памяти. Коммутатор (контроллер ячейки) связывает между собой процессоры, оперативную память, подсистему ввода/вывода, а также обеспечивает соединение ячеек. Подобная архитектура способна обеспечить максимальную производительность и отказоустойчивость, пока не достижимые для модульных серверов. Для ее реализации требуется высокоскоростная шина с малой задержкой для обмена процессора с оперативной памятью и буфер кэш-памяти. Вынос памяти в шасси позволяет динамически предоставлять ее процессорам, выделяя из общего пула. Несмотря на снижение скорости обмена «процессор-память» это может дать определенные преимущества за счет гибкой организации виртуальных машин и физического наращивания емкости памяти путем установки модулей DIMM.
Несмотря на техническую осуществимость подхода, производители вряд ли пойдут таким путем. По словам Сергея Члека, подобные модификации превращают стандартный сервер в закрытую архитектуру и увеличивают его стоимость, поэтому в HP придерживаются «классических» решений, где в шасси из серверов выносятся лишь системы питания и охлаждения. Пожалуй, на сегодня наиболее далеко ушла от классического подхода компания Egenera. По словам Андрея Иванова, разработанная ею архитектура PAN, применяемая в модульных платформах FSC, создает «замечательную» платформу для виртуализации, однако для большинства заказчиков такой подход пока не представляет значительного интереса, прежде всего из-за высокой стоимости решения, тем более что его эффективность становится заметной только при использовании большого числа серверов-модулей. Тем не менее нельзя исключить, что в перспективе будет создано решение, позволяющее использовать не изолированно функционирующие серверы-модули с вынесенными интерфейсами ввода/вывода, а «процессорные книжки», как в мэйнфреймах. Уже сейчас есть серверы, где применяется до 32 процессоров Intel Xeon, и нет принципиальных причин, по которым их нельзя «упаковать» в один специализированный модульный сервер. В то же время, такое решение предусматривает применение процессоров одного типа и мало сочетается с тем, что в настоящее время понимается под архитектурой модульных серверов.
С фабрикой внутри
ля взаимодействия модульных серверов в шасси и их коммуникации с внешними сетями Ethernet и SAN шасси оснащаются встроенными коммутаторами Ethernet, Fibre Channel и/или InfiniBand либо пассивными коммутационными панелями, которые через шину связаны с сетевыми интерфейсами (NIC) серверов и хост-адаптерами (HBA). Размещение коммутаторов внутри шасси упрощает управление кабельным хозяйством и позволяет повысить отказоустойчивость сервера, а также отвечает идее консолидации. Коммутатор в шасси с модульными серверами обычно содержит 4-24 порта Fast/Gigabit Ethernet и занимает один слот. Надежность системы повышается за счет резервирования коммутаторов, а для соединения модулей серверов предусмотрены резервные маршруты. Управлять такой конфигурацией намного проще, чем инфраструктурой, оснащенной внешним коммутатором локальной сети, однако заказчики, у которых уже имеется коммутационное оборудование, зачастую предпочитают модульные платформы с пассивными коммутационными панелями.
В настоящее время все производители модульных серверов предлагают несколько вариантов коммутаторов, различающихся по цене и функциональности, а также более дешевый вариант с пассивной коммутационной панелью (в этом случае используется внешний коммутатор). Обычно в модульных платформах применяются коммутаторы Nortel уровня 2/3 (год назад Nortel выделила подразделение, выпускающее коммутаторы для модульных серверов, в отдельную компанию Blade Network Technologies), Cisco или OEM-продукты, причем все производители серверов, ранее предпочитавшие продукты Nortel или OEM, сегодня предлагают версию с оборудованием Cisco, «упаковавшей» полнофункциональный коммутатор Ethernet в корпус для модульного шасси, оптимизированный под конкретного вендора (см. Рисунок 6). Такие решения востребованы заказчиками, большинство из которых уже имеют опыт эксплуатации сетевого оборудования Cisco. Это позволяет им создавать единообразную сетевую инфраструктуру без проблем совместимости. Подобные коммутаторы Cisco (Catalyst Blade Switch 3000) уже устанавливают в своих модульных серверах HP, IBM и Dell.
Наибольший выбор коммутаторов (Ethernet, FC, IB) и вариантов шасси при совместимости модулей поддерживается в платформе IBM BladeCenter. Это IBM eServer BladeCenter 4-port Gigabit Ethernet Switch, шестипортовый коммутатор Nortel 2/3 (медь или оптика), Cisco Systems Intelligent Gigabit Ethernet Switch Module, Nortel Networks Layer 2-7 Gigabit Ethernet Switch Module, Intel Gigabit Ethernet Switch (для BladeCenter T), коммутатор начального уровня Server Connectivity Module (для SMB), коммутаторы FC QLogic Enterprise (шесть портов), Brocade Entry SAN Switch, Brocade Enterprise SAN Switch, коммутаторы InfiniBand Topspin IB Switch. В IBM BladeCenter поддерживается до четырех коммутаторов Ethernet/FC с «горячей» заменой и резервированием.
Год назад Dell включила в состав своих модульных серверов гигабитные коммутаторы Cisco, дополнившие аналогичные устройства, выпускаемые под ее собственной маркой. В модульных серверах Dell PowerEdge 1855 используются встроенные коммутаторы Cisco Catalyst Blade Switch 3030 (до четырех на шасси). FSC одной из последних перешла на продукты Cisco в своих модульных решениях. В шасси PRIMERGY можно установить до четырех девятипортовых коммутаторов CBS3040 (функционально близких к моделям Cisco Catalyst 2960 и 2970) с пропускной способностью 23 Гбит/c каждый. Они реализуют функции агрегирования каналов EtherChannel, поддерживают протокол Spanning Tree и Rapid Spanning Tree для отдельных VLAN, предусматривают функции безопасности (например, Port Security), блокирование портов при отказе исходящих соединений (Trunk Failover), обеспечивают все функции интеллектуальной коммутации, необходимые в ЦОД, интегрируются с системами сетевого управления Cisco. Коммутатор соединяется с объединительной панелью шасси и с внешней сетью через шесть портов Gigabit Ethernet. Модуль Embedded Event Manager (EEM) в операционной системе IOS позволяет создавать сценарии для автоматизации задач управления сетью и внесения изменений в конфигурацию. Например, сценарий способен автоматически задавать определенную политику и VLAN для новой линейной карты, вставляемой в слот Catalyst 6500. В коммутаторе установлена ОС Cisco IOS, поддерживается дифференцированная обработка классов приложений, имеется десять портов Gigabit Ethernet, четыре модуля SFP и один консольный порт для управления.
Заказчикам HP BladeSystem C-Class на выбор предлагается один из двух коммутаторов — это обновленный в июне GbE2c Ethernet Blade Switch от Blade Network Technologies или Cisco Catalyst Blade Switch 3020. Оба продукта предусматривают дополнительные сетевые соединения, средства безопасности и управления для HP BladeSystem c-Class. По стоимости устройства заметно отличаются. Цена Cisco Catalyst Blade Switch 3020 — 4400 долларов, а коммутатора от Blade Network — 1500 долларов. В сентябре Cisco выпустила коммутатор Catalyst Blade Switch 3040 стоимостью 4300 долларов для модульных серверов Primergy BX600 от FSC. Покупателям этих систем теперь доступен как коммутатор Cisco CBS3040, так и более дешевый SB9 (OEM-версия).
Что касается коммутаторов FC от McData, то купившая данного производителя компания Brocade намерена снять с производства эти модули для серверов HP, IBM, Dell, Fujitsu Siemens и Hitachi, заменив их собственными продуктами. Как ожидается, в шасси модульных серверов BladeFrame от FSC будут встраиваться также коммутаторы FC и InfiniBand от Cisco (последние появились в результате приобретения TopSpin). Dell предлагает для своих модульных серверов PowerEdge коммутаторы Fibre Channel от McData (модель 4314) и участвует в программе Cisco Solution Technology Integrator, что позволяет ей поставлять как Cisco Catalyst Blade Switch 3030, так и коммутаторы Cisco для систем хранения и коммутаторы InfiniBand.
Рынок коммутаторов Ethernet для модульных серверов растет вместе с рынком самих серверов. По данным Nortel, компания продала более 52 тыс. коммутаторов еще до образования Blade Network. Согласно прогнозам IDC, рынок данного оборудования вырастет с 2 млрд долларов в 2005 г. до 10 млрд долларов в 2009 г.