Серверы в ЦОД: отход от традиций

Рисунок 1. По прогнозам IDC, в 2011 году оборот российского рынка серверов стандартной архитектуры превысит 750 млн долларов, а к 2015 году он может составить 950 млн долларов или 200 тыс. единиц продукции.

По данным Forrester, все больше компаний используют серверы архитектуры x86 для решения критичных для бизнеса задач. Эти системы вышли на тот уровень зрелости, когда уже могут составить достойную альтернативу системам UNIX на базе платформ RISC. Согласно тестам SAP, производительность систем x86 на три-четыре года отстает от лучших предложений RISC, но процесс совершенствования платформ x86 идет опережающими темпами. Фактически, лучшие серверы x86 уже демонстрируют результаты самых производительных систем RISC, выпущенных несколько лет назад, и продолжают догонять их.

Представленные за последний год процессоры сделали серверные решения более привлекательными как для традиционного использования, так и для виртуальных и облачных сред. Они удовлетворяют потребность рынка в высокомасштабируемых энергосберегающих системах, которые особенно хорошо подходят для приложений Web и облачных вычислений. Среди тенденции можно выделить увеличение числа ядер, повышение производительности и энергоэффективности процессоров, а также усовершенствованную поддержку виртуализации.

В ПОГОНЕ ЗА ВАТТАМИ

Актуальной задачей остается повышение энергоэффективности ЦОД с целью сокращения операционных затрат. По данным исследования Amazon, на серверное оборудование приходится около 57% операционных затрат в ЦОД. Поэтому именно серверы являются важнейшим фактором повышения экономичности и энергоэффективности центров данных, что и легло в основу программы Energy Star для корпоративных серверов. По информации Environmental Protection Agency (EPA), серверы с рейтингом Energy Star более чем на 30% эффективнее «обычных» серверов, а по результатам тестирования, проведенного компаниями EPA, HP и Microsoft, некоторые модели позволяют на 54% сократить расходы электроэнергии (по сравнению с ранее выпускавшимися устройствами), причем без снижения производительности.

В современных серверах КПД блоков питания класса Platinum составляет 90% при нагрузке 100%, а при нагрузке 50% может быть более 95%. Еще одно направление — повышение энергоэффективности модулей памяти DIMM. Сейчас осуществляется переход с модулей памяти с питанием 1,5 на 1,35 В, затем настанет черед 1,2 В. Снизить энергопотребление способна также замена традиционных встроенных жестких дисков серверов на твердотельные накопители (SSD) — по мере снижения стоимости последних.

Кроме того, в последние годы Intel и AMD добились заметных успехов в повышении энергоэффективности процессоров. Как подчеркивает Виталий Белявцев, менеджер по развитию серверного бизнеса Intel, за пять лет производительность серверов выросла в 18 раз, при этом расходы на электроэнергию снизились на 93%. По данным Intel, продажи ее продуктов для серверного рынка выросли в I квартале на 32% (по сравнению с аналогичным периодом прошлого года). Сейчас компания переходит на технологический процесс 22 нм. В апреле она объявила о расширении линейки энергоэффективных процессоров для серверов и представила новые процессоры серии E3 на микроархитектуре Sandy Bridge для однопроцессорных систем, а в III–IV кварталах планирует начать поставки процессоров Sandy Bridge для многопроцессорных серверов.

Термопакет моделей Intel Xeon E3-1260L (4 ядра, 2,4 ГГц) и E3-1220L (2 ядра, 2,2 ГГц) равен 45 и 20 Вт, соответственно, в то время как у современных четырехъядерных процессоров Xeon он составляет примерно 80 Вт. Новые процессоры поддерживают технологию Hyper-Threading и оснащены встроенным контроллером памяти DDR3 на 1333 МГц. Технология Turbo Boost в процессорах с архитектурой Sandy Bridge позволяет независимо менять тактовую частоту ядер. Например, если многопоточные операции не нужны, можно «разогнать» одно ядро, переведя другие в неактивное состояние.

Еще одна новинка апреля — процессоры Xeon E7 (E7-2800, E7-4800 и E7-8800), содержащие от шести до десяти ядер и предназначенные для использования в двух-, четырех- и восьмипроцессорных серверах. Они основаны на микроархитектуре Westmere и поддерживают память емкостью до 2 Тбайт, что вдвое больше, чем для предыдущих Xeon 7500, при этом на 40% превосходят последние по производительности. Однако потребляют процессоры E7 немало — от 95 до 130 Вт. Между тем, как ожидается, во второй половине 2011 года в семействе Intel появится процессор для серверов на базе архитектуры Sandy Bridge с термопакетом всего 15 Вт.

В мае Intel объявила, что ей удалось значительно продвинуться в разработке трехзатворных транзисторов (3D). Применение трехмерной структуры транзисторов позволит улучшить характеристики будущих процессоров. Новые процессоры — на основе микроархитектуры Ivy Bridge, которая придет на смену Sandy Bridge, — могут появиться в ПК и серверах в конце 2011 – начале 2012 года. Они будут изготавливаться по техпроцессу 22 нм. Как заверяют разработчики, производительность устройств возрастет на 37%, а количество потребляемой электроэнергии значительно сократится (см. Рисунок 2).

Рисунок 2. По данным Intel, процессоры по технологии 22 нм на трехмерных транзисторах Tri-Gate при одинаковом уровне производительности потребляют вдвое меньше электроэнергии, чем прежние процессоры 32 нм на «плоских» транзисторах.

Год назад AMD выпустила первые в мире 12-ядерные серверные процессоры Opteron 6100 архитектуры x86, а в феврале текущего года для улучшения показателя «производительность на ватт» представила семейство Opteron 6100, в том числе процессоры HE (High Efficiency) с энергопотреблением 65 Вт: 12-ядерный 6166 HE и 8-ядерный 6132 HE с тактовой частотой 1,8 и 2,2 ГГц соответственно. Они предназначены для поддержки приложений Web, виртуализации и облачных вычислений. Новая модель 6180 SE с тактовой частотой 2,5 ГГц и 12 ядрами ориентирована на рынок HPC, финансовые вычисления и базы данных. Эти новинки применяются, например, в серверах Dell PowerEdge C6145 для рынка HPC. Как и будущие 16-ядерные процессоры Opteron на платформе AMD Bulldozer, они совместимы по разъему с AMD Opteron серии 6000. Тем временем некоторые разработчики пытаются экспериментировать, устанавливая в серверные платформы процессоры, изначально не предназначенные для серверов.

ИЗ МОБИЛЬНЫХ УСТРОЙСТВ В СЕРВЕРЫ

Рисунок 3. Сервер SeaMicro SM-10000 в шасси высотой 10U содержит 512 процессоров Intel Atom Intel и потребляет 2,5 кВт. Компания разработала его в рамках инициативы по использованию энергоэффективных процессоров для снижения энергопотребления в ЦОД. В условиях эксплуатации сервер SeaMicro потребляет всего 0,02 Вт на запрос HTTP, в то время как у модульных серверов HP C7000 этот показатель составляет 0,17 Вт.

Новейшие серверные разработки обещают увеличить производительность серверов и одновременно снизить их энергопотребление. Уже несколько моделей серверов реализовано на базе процессоров Intel Atom, которые предназначались для нетбуков и мобильных приложений. Microsoft собрала стойку Atom-ных серверов, потребляющих во время простоя на порядок меньше электроэнергии, чем традиционные серверы. Недавно созданная компания SeaMicro представила в прошлом году сервер x86 в корпусе 10U, содержащий 512 процессоров Atom (см. Рисунок 3). В серверной стойке 40U, предлагаемой SeaMicro, насчитывается до 2048 процессоров Atom N570.

Коммутатор, соединяющий серверные узлы внутри данной платформы, может поддерживать Ethernet, Fibre Channel и Data Center Ethernet. Базовым элементом системы SeaMicro является вычислительный блок размером с кредитную карту, включающий в себя процессор Intel Atom и соответствующий набор микросхем, память DRAM и микросхему SeaMicro ASIC. Восемь таких узлов собраны на системной плате 5"х11", а сервер 10U содержит 64 такие платы. Изменений в стандартном программном обеспечении не требуется. Система хорошо подходит для приложений Web и аналитики, однако с однопоточными задачами и обеспечением работы приложений, когда требуются большие объемы памяти, она справляется далеко не лучшим образом.

В апреле Intel выпустила новые процессоры семейства Atom — Z670 (Oak Trail). Процессор производится по технологическому процессу 45 нм. Среди более трех десятков усовершенствований — технологии Intel SpeedStep и Deeper Sleep, позволяющие оптимизировать энергопотребление. Термопакет Z670 составляет 5 Вт, а изготавливается он по технологии 45 нм. Во второй половине 2011 года Intel намерена выпустить новую модель Atom — Cedar Trail по производственному процессу 32нм, а в 2012 году появится серверная версия Intel Atom, потребляющая 10 Вт и поддерживающая технологии ECC и Intel Virtualization.

В настоящее время серверы с одно- и двухъядерными процессорами Intel Atom присутствуют в линейках целого ряда производителей. Например, однопроцессорный сервер Supermicro ICH9R / 945GC (Lakeport) SuperServer в корпусе 1U на процессорах Atom D510/330/230 построен на наборе микросхем Intel ICH9R, имеет память DDR3 емкостью 4 Гбайта и содержит один диск SATA 3,5" или два 2,5". Кроме того, AMD рассматривает возможность использования в серверах процессоров Bobcat с пониженной мощностью электропитания. Как и Intel Atom, эти процессоры изначально разрабатывались для мобильных устройств. Энергоэффективные серверы с 64-разрядными процессорами Via Nano предлагает Dell; они полностью совместимы с операционными системами Microsoft и популярными дистрибутивами Linux.

Конечно, серверы с подобными 32- и 64-разрядными процессорами не обладают такой же надежностью, функциональностью и управляемостью, как их старшие собратья, но могут значительно выигрывать у них по производительности на ватт потребляемой мощности и стоимости. Использование в серверах «мобильных» процессоров можно рассматривать как проявление важной тенденции — дальнейшей специализации процессоров, их оптимизации под конкретные нагрузки и приложения. До недавнего времени разработчики выпускали достаточно универсальные изделия, ведь чем больше объем производства, тем ниже стоимость. Однако фокус на энергоэффективность заставляет расставить акценты по-новому.

Серверные платформы с малым энергопотреблением рассматриваются как идеальные решения для организации сетевых контроллеров, серверов печати, серверов Web, встраиваемых промышленных компьютеров (IPC) и для других применений. В то же время, благодаря своей дешевизне и эффективному использованию энергии, эти серверы подходят для облачных вычислений и хорошо масштабируются.

Один из примеров таких систем — сервер Depo Storm 1130NM с двухъядерным Intel Atom D510 (процессор с тактовой частотой 1,66 ГГц и кэш-памятью 1 Мбайт). Depo Computers позиционирует его как экономичный сервер начального уровня для небольших рабочих групп (до 15 пользователей): файловый сервер, сервер печати, прокси-сервер, межсетевой экран, сервер VPN, DHCP или контроллер домена. Производительность сервера и большой объем дисковой подсистемы (до 8 Тбайт с поддержкой горячей замены дисков и RAID 0,1,10,5) достаточны для выполнения специализированных задач, а низкое энергопотребление (около 100 Вт) делает его экономичным в эксплуатации. Вместе с тем в Depo отмечают, что использование серверов с процессорами Intel Atom позволяет построить недорогие (в части предоставления услуг аренды) пулы вычислительных ресурсов для задач центров обработки данных и поставщиков услуг хостинга. В сервере Depo Storm 1130NM имеется встроенный двухпортовый сетевой адаптер и реализован интерфейс управления IPMI 2.0 и KVMoLAN.

В то же время компания намерена развивать модельный ряд серверов с использованием процессоров AMD E-350 и в следующем квартале планирует выпустить еще одну, бюджетную, модель с тремя жесткими дисками. По мнению специалистов Depo, рынок таких устройств в России будет расти.

Данные тенденции привели к появлению еще одного вида оборудования — микросерверов.

МИКРОСЕРВЕРЫ

Микросерверы — это класс серверов, предназначенных для сценариев, где многоядерная архитектура и виртуализация были бы избыточными. Они позволяют предоставить пользователям выделенные физические, а не виртуальные ресурсы. Однако в последние годы микросерверами называли системы самого разного класса, в том числе специализированные устройства Cobalt Networks, Rebel.com, различные серверы NAS и др. Терминология не устоялась, и спецификации на микросерверы пока не приняты как общий стандарт, хотя еще три года назад такая идея активно обсуждалась. Тем временем прогресс в развитии процессорных технологий указывает на то, что многоядерность и виртуализация распространятся и на этот класс серверов.

Аналитики прогнозируют стремительное развитие рынка микросерверов в ближайшие несколько лет: к 2016 году его доля может составить до 10% мирового рынка серверов. До сих пор столь быстрый рост отмечался лишь в отношении архитектуры модульных серверов (blade), на которые сейчас приходится примерно 14% продаж серверов в мире. Естественно, что микросерверы давно привлекают внимание разработчиков.

Компания Rackable Systems (ныне SGI) еще пару лет назад предложила серверную стойку CloudRack высокой плотности на базе недорогих компонентов, предназначенных для настольных систем, — с процессорами AMD Athlon и Phenom. Системные платы MiniITX и MiniATX позволили «упаковать» в каждое устройство максимальное количество процессорных ресурсов. В этой архитектуре под названием MicroSlice один узел высотой 1U содержал до шести микросерверов и коммутатор (до 264 серверов на стойку). Например, узел TR1000-AT1 состоял из шести серверов: каждый оснащался двухъядерным процессором Athlon, двумя слотами DIMM и жестким диском 2,5". Данная архитектура предназначалась для ресурсоемких приложений Web, сайтов электронной коммерции или социальных сетей, но для баз данных или систем ERP не годилась. Между тем, по данным разработчиков, для приложений Web соотношение цена/производительность у таких систем на 50% превосходит типовые стоечные серверы.

По существу, это аппаратная альтернатива виртуализации: сервер делится не на виртуальные машины, а на небольшие физические микросерверы, которые можно назначать конкретному приложению. По замыслу разработчиков, в результате будут обеспечиваться более дешевое масштабирование и лучшее соотношение производительности на ватт потребляемой мощности.

Две модели серверов MicroSlice представляли собой серверы 1U для стойки половинной глубины (Half-Depth Server), а две другие использовали архитектуру CloudRack без вентиляторов и верхней крышки корпуса сервера. Такая конструкция позволяет снизить цену и оставить место для большего числа дисков и процессоров.

В настоящее время подобные подходы, кроме вышеупомянутой компании SeaMicro, используют еще несколько производителей. В марте 2011 года подразделение Dell Data Center Solutions (DCS) представило собственное решение для Web-хостинга и сервис- провайдеров, желающих максимально увеличить энергоэффективность ЦОД. Новые серверы PowerEdge C5000 — это уже третье поколение микросерверов, разработанных Dell DCS. Первые два создавались для крупных заказчиков — провайдеров облачных сервисов. Обе модели содержат до 12 серверных узлов в шасси 3U и используют общие блоки питания, вентиляторы и кабели. В PowerEdge C5125 применяются процессоры AMD Phenom II и Athlon II, а в C5220 — Xeon E3-1200. Такие серверы высокой плотности с общими компонентами хорошо подходят для хостинга, позволяя сэкономить на оборудовании и энергопотреблении. Конструкция модульная и легко обслуживается.

Среди новинок Supermicro — серверы 2U Twin Cubed (2015TA-HTRF) с двухъядерными процессорами Intel Atom D525 1,8 ГГц. Корпус сервера высотой 2U содержит восемь однопроцессорных серверных узлов с набором микросхем Intel ICH9R. В него на специальных «подносах» устанавливаются четыре платы (на каждой — по два серверных узла) и два резервируемых блока питания. Один сервер может содержать память емкостью до 4 Гбайт (DDR3), а в корпус вмещается до 24 жестких дисков 2,5". Каждый узел оснащается двумя гигабитными сетевыми адаптерами. Для управления можно использовать IPMI 2.0 и KVM over LAN. Система комплектуется резервируемыми (1+1) блоками питания 720 Вт Gold Level и четырьмя вентиляторами с регулируемой скоростью вращения.

Между тем, хотя конструкции с четырьмя и тем более двумя серверами в корпусе 1U — явление не редкое, принцип аппаратного дробления вычислительных ресурсов на большее число серверов широкого распространения не получил. Как отмечают в Depo, идея программной реализации разделения вычислительных ресурсов более конкурентоспособна, так как позволяет уменьшить избыточность и обеспечить балансировку нагрузки. Программно разделить ресурсы намного легче, чем консолидировать оборудование, избежав потерь на промежуточные коммуникации. Аппаратная «альтернатива виртуализации» значительно сужает возможный спектр предоставляемых услуг и накладывает ограничения на системное и прикладное ПО, в то время как заказчики требуют минимальной адаптации текущих приложений, их бесшовной интеграции и миграции в ЦОД без каких либо изменений и прерывания бизнес-процессов.

Тот, кто ориентируется на аренду вычислительных ресурсов, в большинстве случаев предпочтет арендовать виртуальные машины, так как такой подход проще и дешевле, легче масштабируется и предоставляет широкие возможности использования дополнительных функций, что подтверждают в компании Linxdatacenter. В случае узкоспециализированных задач применение микросерверов более оправданно, но следует учитывать сложности, связанные с технической поддержкой и обслуживанием нестандартного аппаратного обеспечения. В целом, подобного рода решения, скорее всего, останутся нишевыми, тогда как программная виртуализация обеспечивает существенно большую гибкость, и за ней будущее.

Такого же мнения придерживается Игорь Слепцов, менеджер по развитию бизнеса отдела серверов стандартной архитектуры компании «НР Россия»: «В отличие от модульных серверов, предназначенных для широкого круга заказчиков, данные решения являются узкоспециализированными и смогут занять свое место в определенной рыночной нише».

ОБЛАЧНЫЕ ПЛАТФОРМЫ

Для развертывания облаков вендоры предлагают не только мощные стоечные и модульные серверы, готовые интегрированные решения вроде vBlock, выпускаемые альянсом VCE, или Matrix компании HP. Поиски новых архитектур продолжаются.

Недавно Microsoft представила усовершенствованную архитектуру своей облачной серверной платформы для энергоэффективных ЦОД. Она включает в себя серверы специальной конструкции, высокоэффективную систему распределения питания и встроенные в серверные стойки ИБП. В последние три года Microsoft делилась на отраслевых конференциях информацией о своих контейнерах для ЦОД под названием IT-PAC (IT Preassembled Component), однако о серверах и стойках, размещаемых в этих контейнерах, было известно немного. В конце апреля была опубликована и эта информация.

Конструкция серверов для облачных сервисов предусматривает размещение двух серверов половинной ширины в корпусе 1U (такие «сдвоенные» серверы сейчас присутствуют в линейках многих вендоров). В каждом — по два процессора и четыре слота памяти DIMM (см. Рисунок 4). Таким образом, в высокую стойку 57U можно «упаковать» до 96 серверов (часть пространства занимают системы электропитания). В IT-PAC у серверов тоже нет собственных вентиляторов — они вынесены в стойку. Один сервер потребляет 40–60 Вт (в зависимости от числа ядер — 4 или 6), а его компоненты могут работать в условиях повышенной температуры (32⁰С) и влажности.

Рисунок 4. Концептуальная модель сервера половинной ширины корпорации Microsoft.

Стойка рассчитана на потребление 16 КВт и содержит комплект батарей для кратковременного резервирования питания, что позволяет обойтись без центрального ИБП. К ней подводится трехфазное питание с напряжением 480 В, а блоки питания преобразуют его в 12 В постоянного тока, который подается на серверы. В результате устраняются потери из-за многократного преобразования переменного тока в постоянный и обратно, что характерно для центральных ИБП. Как утверждают в Microsoft, проведенный анализ убедительно свидетельствует в пользу такого подхода. Однако переход на 480 В требует слишком значительных инфраструктурных изменений в ЦОД.

Тема питания с напряжением 480 В (особенно актуальная для США) давно обсуждается в отрасли. В частности, это позволяет сэкономить на сечении кабелей электропитания. Уже несколько лет ведутся дискуссии и вокруг серверов с питанием 12 В. Однако заметного распространения эти подходы пока не получили. Между тем концепция Microsoft обладает несомненным преимуществом: каждая стойка фактически является автономным модульным элементом ЦОД, а из контейнеров IT-PAC можно сформировать единый центр данных с показателями PUE 1,26–1,35.

В настоящее время Microsoft применяет в своих ЦОД широкий спектр различных серверных архитектур, в том числе адаптированных для конкретных приложений. Она разработала для поставщиков своих серверов два типа спецификаций. Один из них оптимизирован для однородных инсталляций с горизонтальным масштабированием — для сервисов Bing, Hotmail и Windows Azure — и рассчитан на крупные поставки серверов. Другой основывается на обобщенных стандартах и внутреннем каталоге для развертывания десятков различных конфигураций серверов в различных подразделениях Microsoft.

В апреле компания Facebook также раскрыла некоторые секреты, позволившие ей сделать свой ЦОД в штате Орегон одним из самых эффективных в мире. Его показатель PUE равен 1,07, в то время как в среднем по отрасли он составляет примерно 1,5. Facebook выпустила спецификации своего проекта Open Compute Project с рекомендациями по архитектуре компактных и энергоэффективных стоечных серверов, где, кроме прочего, обсуждаются и методы охлаждения. Компания считает, что, поделившись этой информацией, она поможет усовершенствовать центры обработки данных, сформировать экосистему по принципу Open Source, даст возможность создавать более эффективные по энергопотреблению и стоимости серверы.

Facebook занялась спецификациями ЦОД около года назад. Это касалось использования больших централизованных систем ИБП, проектирования и строительства не нуждающихся в кондиционировании воздуха зданий, а также работы с производителями серверов над созданием облегченных систем, а также более пригодных к ремонту.

В результате Facebook удалось создать серверы, которые на 38% эффективнее прежних моделей, а стоят на 24% меньше стандартного сервера. Они значительно легче, но крупнее обычного сервера — корпус имеет высоту 1,5U вместо 1U. В них установлены высокие радиаторы и более эффективные вентиляторы, поэтому можно прогонять меньший объем воздуха. Корпус открывается и обслуживается без инструментов. Эти идеи нашли воплощение в проекте Open Compute Project, в реализации которого, кроме Facebook, принимают участие AMD, Intel и Quanta, а совместно с Dell, HP, Rackspace, Skype и Zynga компания создает новые серверные архитектуры.

А могут ли серверы «выжить» без мощной системы кондиционирования и охлаждения? Такой сценарий гораздо ближе к реальности, чем принято считать. Оказывается, прогнозируемый уровень отказов оборудования в расчете на год составляет 2,45% при 25^0С и с каждым градусом увеличивается на 0,36%. Таким образом, при 45^0С уровень отказов составляет 11,45%. Даже если каждый год вместо 11% выходящих из строя серверов x86 устанавливать новые, экономия на кондиционировании будет оправдана. Кроме того, производители задают в своих спецификациях для серверов слишком комфортные условия. Некоторое увеличение температуры в ЦОД позволит сэкономить электроэнергию на охлаждении, активнее использовать «свободное охлаждение».

По мнению специалистов Depo Computers, повышение рабочей температуры сервера (при применении компонентной базы с повышенным ресурсом) — очень конструктивная идея. Именно этот подход позволит в будущем, при массовом производстве, существенно снизить затраты на кондиционирование и охлаждение. Что касается стандартной компонентной базы серверов, то производители указывают максимальную допустимую температуру для системной платы, учитывая риски по ее замене. Поэтому для снижения процента выхода оборудования из строя в руководстве пользователя приводится заниженная температура эксплуатации. В противном случае часть затрат, сэкономленных на оборудовании охлаждения, будет перекладываться на производителя сервера и компонентов, что может создать сложности с выполнением им гарантийных обязательств.

По мнению Игоря Слепцова, создание микроэлементной базы с более высокими рабочими температурами пока маловероятно. Однако специалисты Depo более оптимистичны: «В случае создания серверов, рассчитанных на более высокую температуру эксплуатации, необходимо использовать компоненты с расширенным температурным диапазоном. В настоящий момент такие компоненты существенно дороже стандартных, но при увеличении объемов их производства цена будет снижаться».

Это еще и вопрос стратегии развития ЦОД: при проектировании можно ориентироваться на строгие температурные условия и дорогостоящую компонентную базу или использовать дешевые технологии, но в рамках жизненного цикла элементов ЦОД и используемых технологий предусматривать возможности оперативной замены вышедшего из строя оборудования, чтобы клиентские сервисы оставались на должном уровне. Любая стратегия имеет право на жизнь, а экономические показатели могут быть определены при детальных подсчетах и понимании уровня сервиса, который запрашивает заказчик, считают в Depo.

Наиболее критичным компонентом в сервере будет тот, чья эксплуатационная температура оказывается близка к максимально разрешенной при конкретных значениях температуры в помещении и организации вентиляции внутри сервера. Например, для современных жестких дисков максимальная рабочая температура превышает допустимый уровень температуры для системной платы примерно на 20⁰С. Кроме того, КПД блока питания в общем случае зависит от температуры нелинейно, и в состоянии, близком к предельной нагрузке, повышение внешней температуры может привести к неожиданной перегрузке блока питания.

Другой путь повышения энергоэффективности — переход на альтернативные процессорные платформы.

ARM И ДРУГИЕ

Использовать стандартные «строительные блоки» для создания требуемой системы вовсе не обязательно. Более радикальный подход — смена процессорной архитектуры. Одним из новых игроков рынка серверов для ЦОД стала британская компания ARM Holdings, сделавшая ставку на применение в серверах энергоэффективных и недорогих процессоров для мобильных устройств. Кроме того, внимание специалистов привлекают разработки сервера inA RM компании Calxeda (ранее Smooth-Stone) из Техаса, а ZT Systems уже начала продажи серверов с процессорами ARM. Marvell анонсировала четырехъядерный серверный процессор Armada XP архитектуры ARM с тактовой частотой 1,6 Ггц.

В марте компания Calxeda представила информацию по четырехъядерному процессору на платформе ARM Cortex-A9, предназначенному для создания энергоэффективных серверов, которые насчитывают до 480 вычислительных ядер. Такие серверы в корпусе 2U будут содержать до 120 процессоров. Каждый узел ARM, включающий память DRAM, во время работы потребляет в среднем 5 Вт. В процессоре установлен также коммутатор для коммуникаций между узлами. В процессоре Cortex-A15 производства ARM Holdings с тактовой частотой до 2,5 ГГц содержится до 16 ядер. Он имеет 32-разрядную архитектуру, но в будущем планируется выпустить и 64-разрядные процессоры. Calxeda придется конкурировать с компанией Nvidia, также разрабатывающей процессор ARM для ПК, серверов и суперкомпьютеров.

Nvidia проводит в жизнь инициативу под названием Project Denver, результатом которой должны стать гибридные серверы, использующие графические процессоры в сочетании с процессором для ускорения вычислительных операций (см. врезку «Графические процессоры в серверах»). Цели поставлены амбициозные: расширить спектр систем на базе ARM на серверы для ЦОД и суперкомпьютеры и освободить эти области от гегемонии архитектуры x86. Как ожидается, Project Denver будет развиваться параллельно с созданием графических процессоров серии Maxwell, выпуск которых запланирован на 2013 год. Кроме того, Nvidia лицензирует процессор на ядре ARM Cortex-A15, предназначенный для применения в будущих наборах микросхем Tegra.

Графические процессоры в серверах

Применение графических процессоров (GPU) в сочетании с традиционными для систем x86 вычислительными узлами стало очень популярным у создателей суперкомпьютеров и вычислительных кластеров, включая российские «Т-Платформы» и «Открытые технологии». Так, созданная компанией «Т-Платформы» система TB2-TL в форм-факторе 7U содержит 32 графических процессора Nvidia Tesla X2070, 32 процессора Intel Xeon L5600, 192 Гбайт графической памяти GDDR5 и до 384 Гбайт памяти DDR3, обеспечивая производительность 105 Tфлопс на операциях с двойной точностью в стойке высотой 42U. Она имеет высокое соотношение производительности и энергопотребления — 1450 Мфлопс/Вт.

Компания «Открытые технологии» в партнерстве с NextIO и Nvidia разработала гибридные компактные суперкомпьютеры, построенные на базе процессоров Intel Xeon, содержащих до восьми ядер, и графических процессоров Nvidia Tesla (Fermi), насчитывающих 512 ядер. В суперкомпьютерах размером со стандартную стойку 24U и 42U применяются готовые узлы vCORE Express 2070 (4 GPU) и vCORE Extreme 2070 (16 GPU) производства NextIO, а также узлы хранения NextIO на флэш-памяти. Системы будут поставляться как готовый продукт с предустановленным прикладным ПО.

По мнению разработчиков, такая архитектура гарантирует на порядок более высокую производительность по сравнению со стандартными вычислительными системами, позволяет существенно снизить стоимость оборудования и энергопотребление. Например, гибридный суперкомпьютер производительностью 80 Тфлопс в сравнении с архитектурой модульных серверов с процессорами Intel Xeon (Westmere/Nehalem) потребляет в 5–6 раз меньше электроэнергии, занимает в 3–4 раза меньше стоек и стоит в 7–8 раз дешевле. Между тем применяемая в гибридных системах архитектура CUDA требует специального ПО.

 

Рисунок 7. Модульная серверная система SuperBlade компании Supermicro, оборудованная модулями SBI-7126TG, поддерживает до 120 высокопроизводительных графических процессоров Fermi и 120 процессоров Xeon 5600 в стандартной стойке 42U.

Новая система PowerEdge C6145, один из самых высокопроизводительных серверов компании Dell, включает в себя два четырехсокетных узла и содержит до восьми 12-ядерных процессоров AMD Opteron 6100. Сервер предназначен для научных или математических приложений, может использоваться в облаках и виртуализированных средах. Для решения таких задач, как рендеринг видео, к нему можно подключать внешнее шасси с графическими процессорами. Аналогичный конструктивный подход использует, например, компания Supermicro.

Новая система Dell отвечает растущему спросу на высокопроизводительные серверы с низкими показателями энергопотребления, для чего в ней применяются энергоэффективные модули памяти. Сервер C6145 может содержать оперативную память емкостью до 1 Тбайт. В будущем заказчики смогут перейти на процессоры с новой архитектурой AMD Interlagos, содержащие до 16 ядер. Их выпуск запланирован на III квартал 2011 года. При необходимости к серверу подключается внешнее шасси C410X со слотами PCI-Express и добавляется 32 GPU. Сервер поставляется с ОС Novell SUSE Linux, Red Hat Enterprise Linux 5.5, Windows Server 2008 R2 или Windows HPC Server 2008.

Представленные в марте компанией Supermicro системы SuperBlade SBI-7126TG поддерживают две карты Nvidia Tesla M2050/M2070 GPU Gen2 PCI-Express на один узел. Системы SuperBlade (см. Рисунок 7), оснащенные модулями SBI-7126TG, позволяют развернуть в стандартной стойке 42U до 120 графических процессоров Fermi и 120 процессоров Xeon 5600, поддерживают QDR Infiniband HCA 40 Гбит/с и нацелены на максимальную производительность при сбалансированной комбинации CPU/GPU и оптимизированном вводе/выводе.

Как отмечают специалисты компании «Открытые технологии», сейчас во всем мире наблюдается исключительно высокий интерес к гибридным вычислительным системам, и использование массивно-параллельной структуры GPU в высокопроизводительных вычислениях позволяет существенно ускорить решение критических задач.

Тем временем Microsoft объявила о разработке версии операционной системы Windows для архитектуры ARM. По прогнозам IDC, к 2015 году эта архитектура завоюет уже 15% рынка микропроцессоров для ПК. Как заявили Nvidia, Qualcomm и Texas Instruments, их процессоры архитектуры ARM будут поддерживать Windows 8. Однако в отрасли нет единого мнения относительно пригодности архитектуры ARM для поддержки серверных приложений. В Depo Computers считают, что данное направление может оказаться перспективным только при условии поддержки аппаратных решений ARM основными производителями ПО. В долгосрочном плане производители программного обеспечения (системного и прикладного) пока не стремятся поддерживать данные архитектуры. Между тем рынок услуг требует универсальности и подстройки под приложения, которые сейчас практически все работают на архитектуре х86.

Несмотря на преимущества архитектуры ARM перед x86 в плане энергоэффективности, перенос на нее программного обеспечения может стать нетривиальной и очень дорогостоящей задачей. Вокруг ARM все еще не сложилась сильная экосистема ПО. К тому же заказчикам может показаться сложным поддерживать две разных архитектуры с разным набором команд. Впрочем, аналитики Forrester уверены, что после выпуска на рынок серверов архитектуры ARM программное обеспечение и приложения для них быстро появятся. Хотя перенос ПО на другую платформу потребует времени и усилий, для приложений Web 2.0 подобная архитектура может оказаться весьма подходящей. Кроме того, высокая производительность мощных процессоров x86 не нужна многим корпоративным приложениям, например серверам Web, сетям доставки контента, виртуальным машинам Java. К тому же исследования, проводимые в области параллельных вычислений, должны способствовать эффективному распределению задач между большим числом процессоров. Доступные и экономичные процессоры помогут открыть новую эру для приложений интеллектуального анализа данных и облачных сервисов.

Рисунок 5. Процессор Tilera TilePro64 с 64 ядрами потребляет 50 Вт и по вычислительной мощности эквивалентен двум процессорам Intel Xeon 5500, потребляющим 250 Вт. Ядра процессора Tilera взаимодействуют с помощью технологии iMesh, позволяющей подавать поток данных сразу на два ядра.

Рисунок 6. Сервер Quanta SQ2 в корпусе 2U с восемью процессорами Tilera TILEPro64 заменяет восемь двухпроцессорных серверов Intel на базе Xeon 5600 и рассчитан на облачные приложения. При этом SQ2 потребляет только 400 Вт, в то время как эквивалентная система x86 — 1500–2000 Вт. Каждый процессор Tilera потребляет 35–50 Вт.

У серверных процессоров архитектуры ARM, выпускаемых Nvidia и Calxeda, а также многоядерного процессора TilePro64 компании Tilera (см. Рисунок 5) есть возможность стать альтернативой традиционным процессорам x86 в современных ЦОД,и эти перспективы становятся все более реальными. Для определенных нагрузок они обладают практически такой же производительностью, как процессоры архитектуры Intel, но потребляют в несколько раз меньше электроэнергии. Например, Tilera утверждает, что может заменить 100 серверов платформы Intel всего лишь 12 процессорами Tilera (см. Рисунок 6) и тем самым обеспечить огромную экономию энергоресурсов в ЦОД. SGI и Tilera уже разрабатывают суперкомпьютеры для научных расчетов и платформы для облаков.

ЗАКЛЮЧЕНИЕ

Аналитики рассматривают облака как движущую силу серверного рынка, которая во многом будет определять его дальнейшее развитие. Телекоммуникационные компании, сервис-провайдеры и поставщики услуг хостинга реализуют проекты консолидации ЦОД и приобретают дополнительные вычислительные мощности для реализации новых предложений, основанных на облачных вычислениях. Кроме того, фактором роста сегмента x86 становятся закупки систем HPC во многих отраслях.

В Depo отмечают, что в ближайшей перспективе будет происходить дальнейшая дифференциация серверных платформ и их оптимизация под типовые задачи заказчика, а этих задач становится все больше. И дело не в том, что необходимо предлагать какое-то усредненное решение — заказчик должен иметь возможность легко выбрать наиболее подходящий вариант для своей задачи. Для этого компания разработала концепцию готовых инфраструктурных блоков, которые покрывают 85% типовых потребностей в ИТ. Все инфраструктурные блоки совместимы между собой, могут подвергаться модернизации и интегрироваться с инструментами ИТ, развернутыми у заказчиков. Специалисты компании считают, что такой подход будет преобладать.

Желание оптимизировать отношение «производительность на ватт» и предложить менее дорогостоящие в покупке и эксплуатации системы заставляет разработчиков серверных платформ искать новые подходы. По мнению Игоря Слепцова, успех процессоров, отличных от x86, зависит от разработчиков ПО, но альтернативы архитектуре х86 на серверном рынке до сих пор нет. Что касается будущего, то некоторые отраслевые аналитики предсказывают изменение ситуации: по их мнению, на новом серверном рынке с ожидаемым годовым оборотом в 10 млрд долларов найдется место для нескольких альтернативных архитектур, которые, хотя и не смогут серьезно потеснить традиционные решения, но окажут заметное влияние на дальнейшее развитие процессоров и серверов.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.