Искусство объединения

Кластерные решения становятся привычным методом повышения надежности корпоративных систем и решения ресурсоемких задач.

Информационный сервис, предоставляемый предприятием внешним или внутренним пользователям, часто имеет критическое значение для бизнеса. Его недоступность означает финансовые убытки, потенциальную потерю клиентов, ухудшение имиджа компании. Повышение надежности системы при разумной стоимости и достаточной производительности требует компромиссных решений. Как правило, критерием служит допустимое время простоя, при этом для увеличения доступности обычно используют такие методы, как дублирование компонентов системы, резервное копирование, организация резервных центров обработки данных и создание кластеров. Вместе с тем, все усложняются и теснее интегрируются между собой приложения, все больше задач требуют значительной вычислительной мощности и ее быстрого наращивания. Для целого ряда подобных приложений кластерные системы также являются наиболее экономичным решением. Сегодня кластеры охватывают широкий спектр приложений — от решений для рабочих групп до суперкомпьютерных вычислений.

НАДЕЖНОСТЬ И МОЩНОСТЬ

Кластеры — группа связанных серверов, функционирующих как единая по отношению к задачам и/или пользователям система, — давно зарекомендовали себя в качестве решения по обеспечению высокой доступности информационных служб. Для увеличения надежности системы применяются отказоустойчивые (High Availability, HA) кластерные конфигурации — кластеры высокой готовности, а для повышения ее быстродействия — высокопроизводительные кластеры (High Performance Computing, HPC) и массово-параллельные (Massive Parallel Processing, MPP) вычислительные платформы. Двумя основными концепциями построения кластеров являются HA и HPC.

В кластере HA наряду с серверами (узлами кластера) могут дублироваться отдельные подсистемы: блоки питания, процессоры, оперативная память, среда передачи данных, система хранения. Это позволяет создавать системы различной надежности и стоимости. Такие решения применяются в организациях, где время простоя обходится очень дорого (и может превышать стоимость кластера): например, в банковских системах, системах управления предприятием и биллинга, приложениях электронной коммерции.

В качестве узлов кластера (конфигурация HA чаще всего содержит от двух до восьми узлов) обычно используются серверы симметричной многопроцессорной архитектуры (Symmetric Multiprocessing, SMP) с двумя—восемью процессорами, хотя нередко кластеры создают из ПК или рабочих станций под управлением различных ОС — Linux, Windows, NetWare, Solaris или UNIX. Применение мощных серверов позволяет строить системы, сочетающие высокую готовность и производительность.

Уровень готовности кластерных систем достигает 99,99% (около часа простоя в год) и даже 99,999% (чуть более 5 мин в год). В наиболее распространенных кластерах HA обеспечивается защита от сбоя или отказов оборудования и ошибок в ПО, когда они не приводят к потере данных. Узлы кластера могут размещаться как локально, например в одной серверной стойке, так и находиться в соседних зданиях, в пределах города или в различных городах и странах, что позволяет создавать катастрофоустойчивые конфигурации с тиражированием данных между узлами. В последние два года подобные решения стали особенно популярными.

Для некоторых задач, например развертывания центров обработки звонков и фабрик Web, важна наращиваемость системы для увеличения ее мощности на случай непредвиденного роста нагрузки. В таких случаях используются масштабируемые кластеры с распределением нагрузки между серверами и возможностью динамического добавления компонентов.

Важнейшая область применения кластеров — построение высокопроизводительных комплексов для выполнения распараллеливаемых задач, к числу которых относятся прогнозирование погоды и изменений климата, научные исследования в области материалов, структурной биологии, сверхпроводимости, фармацевтики, генетики, астрономии, транспортные услуги, инженерные расчеты, распознавание и синтез изображений и речи. Отказы в них обычно не являются критичными, отключение одного или нескольких узлов влияет лишь на быстродействие системы, поэтому дублируются, как правило, лишь серверы управления, а для увеличения вычислительной мощности число рабочих узлов достигает десятков и даже сотен и тысяч. Кластерные системы HPC завоевали значительную часть рейтинга суперкомпьютеров Top500 — около 30% (системы MPP, занимающие в списке более 42%, выделены в отдельную категорию). За последние полтора года этот класс систем стал вторым по популярности, постепенно вытесняя из Top500 системы SMP.

По мнению аналитиков Meta Group, в течение ближайших пяти лет организации все чаще будут использовать решения на основе кластерных архитектур в стремлении снизить стоимость инфраструктуры и повысить степень доступности приложений. Они обладают очевидными преимуществами, обеспечивая гибкое наращивание мощности, простоту замены и обслуживания узлов благодаря возможности остановки на профилактику без прерывания работы служб.

Почва для внедрения HPC подготавливается и на отечественном рынке. Высокопроизводительные кластеры могут стать экономичным способом решения таких задач, как расчет прочности, гидродинамика, метеорология, моделирование процессов термоядерного синтеза, автомобилестроение и авиация, геофизические исследования (поиск и разработка месторождений нефти и газа), государственное управление и проч.

Обычно узлы кластера имеют общую дисковую подсистему, но собственную физическую память. В типовой конфигурации кластера используются три коммуникационные сети (см. Рисунок 1): общая локальная — для доступа клиентских систем, выделенная — для внутрикластерных коммуникаций (Cluster Interconnect, CI) и сеть хранения данных (SAN).

Рисунок 1. Несмотря на разнообразие реализаций, аппаратная часть кластера обычно содержит основные компоненты: серверы (узлы кластера) и среду их взаимодействия — межкластерное соединение (CI) и общую дисковую подсистему.

При отказе внутрикластерного соединения, приложения или узла нагрузку берет на себя исправный сервер кластера. Такое событие приводит к «переносу» соответствующей службы и переключению пользователей на соседний узел кластера. Время простоя сводится к минимуму, хотя сильно зависит от конфигурации кластера и применяемого ПО. В кластерах с большим числом узлов политика переноса задач указывается администратором или определяется кластерным ПО, исходя из таких параметров, как загрузка узлов.

В большинстве кластеров используются дисковые массивы RAID. Чтобы дисковое пространство было доступно всем узлам кластера, создаются общие тома, а параллельный доступ к данным реализуется через кластерные файловые системы: VxFS в ПО Veritas Cluster Server, Global File System (GFS) в Sun Cluster 3 или General Parallel File System (GPFS) в IBM HACMP. Для крупных кластеров лучшим вариантом доступа к дисковой подсистеме считается SAN. Она обеспечивает полные связи между серверами и устройствами хранения при большом числе узлов, увеличивает гибкость кластера, упрощает реализацию параллельного выполнения и перенос приложений на альтернативные серверы при отказах. Протокол FC-AL допускает подключение до 126 узлов. В небольших кластерах применяется также технология SCSI, однако из-за ограничений арбитража шины в этом случае число узлов не может превышать четырех.

ТЕХНОЛОГИИ МЕЖУЗЛОВЫХ СОЕДИНЕНИЙ

Технология, используемая для передачи данных между узлами, непосредственно влияет на масштабируемость и производительность системы. Между тем требования к кластерному межсоединению (Cluster Intercommet, CI) в значительной степени зависят от конкретного ПО и клиентских приложений, а также от организации распараллеливания задач. В качестве внутрикластерного канала можно рекомендовать обычные сетевые (Ethernet, FDDI, ATM) или шинные (такие, как SCSI) технологии. Это позволяет применять распространенное недорогое оборудование и компоненты, однако при активном обмене данными подзадач или для соединения высокопроизводительных узлов необходимы более скоростные коммуникации. Межузлового соединения Gigabit Ethernet вполне достаточно для решения задач со слабыми связями по данным (через общие диски), а при построении кластеров с производительностью в несколько TFLOPS (млрд операций/с) или с сотнями узлов (HPC) обычно выбирают специализированные и пока еще намного более дорогие соединения, например Myrinet, QsNet или InfiniBand.

Для унификации межсерверных соединений и коммуникаций с внешними устройствами Intel предложила технологию InfiniBand (см. Рисунок 2), применение которой позволяет упростить создание каналов между серверами и коммуникации с другими системами — прежде всего с устройствами хранения и сетевым оборудованием. Она разработана для повышения надежности и масштабируемости серверов архитектуры Intel, снижения задержек, увеличения пропускной способности. Претендующая на роль открытого стандарта, InfiniBand поддерживает пропускную способность 2,5 Гбит/c, а в продуктах некоторых производителей, например в архитектуре HDMP-2840 от Agilent Technologies, реализуется скорость от 10 (четырехпортовый коммутатор) до 30 Гбит/с (12-портовый).

Рисунок 2. В архитектуре InfiniBand канальные адаптеры HCA обеспечивают поддержку протокола и обмен данными через очереди сообщений в памяти; специализированные адаптеры TCA реализуют интерфейс с подсистемами SCSI, FC-AL, GigE и т. д.

Важное преимущество InfiniBand — снижение стоимости разработки и масштабирования систем (приближающегося к линейному), ее совместимость с технологиями PCI Express и Ethernet. Продвижением спецификации InfiniBand занимается консорциум InfiniBand Trade Association (IBTA), насчитывающий более 220 членов. В нынешнем году началось ее широкое внедрение в серийную продукцию. Согласно данным IDC, в ближайшие три года оборот рынка оборудования с поддержкой InfiniBand будет ежегодно увеличиваться более чем вдвое.

Популярность набирает и технология Myrinet компании Myricom, применяемая в 178 системах из списка Top500 (в прошлом году их насчитывалось 140). Myrinet также обладает хорошими показателями масштабируемости. Ее пиковая пропускная способность составляет 250 Мбайт/с (при передаче длинных сообщений в одном направлении), а величина задержки — в пределах 6,3 мкс. Myricom предлагает широкий выбор сетевого оборудования с поддержкой среды SAN на физическом уровне. Технология Myrinet применяется в системах HP и IBM.

Производители шести систем из «первой десятки» списка Top500 обратились к технологии QsNet от Quadrics. Она использовалась, в частности, при создании компанией Linux NetworX кластера MCR с производительностью 11,2 TFLOPS для соединения узлов с процессорами Intel Xeon и Itanium, в системе ASCI Q, объединяющей 3072 серверов AlphaServer ES45s, и в ряде других кластерных проектов. QsNet поддерживает до 1536 узлов и обеспечивает пиковую пропускную способность 350 Mбайт/с в каждом направлении, а величина задержки при передаче данных через интерфейс передачи сообщений (Message Passing Interface, MPI) составляет 5 мкс. Сходные параметры у технологии масштабируемого когерентного интерфейса (Scalable Coherent Interface, SCI). Ее пиковая пропускная способность — около 400 Мбайт/с (с протоколом ScaMPI — более 300 Мбайт/с), а величина задержки — 1,5 мкс. Эта стандартизированная технология (ANSI/IEEE l596-1992) поддерживается в ОС Linux, Windows NT/2000 и Solaris. Продукты на основе SCI выпускаются компанией Dolphin Interconnect Solutions, Scali Computer и рядом других производителей.

Компания HP разработала для прямого или коммутируемого взаимодействия между узлами на скорости до 4 Гбит/с в полнодуплексном режиме (на каждый порт) технологию соединения HyperPlex и специальное оборудование HyperFabric2. HyperPlex поддерживает стандартные протоколы TCP/ IP и Hyper Messaging Protocol (HMP), а также конфигурации c балансированием нагрузки. Она позволяет объединять в кластеры серверы PA-RISC любых моделей и создавать на их основе централизованно управляемые, масштабируемые системы. В настоящее время HP применяет HyperFabric2 (наряду с Gigabit или Fast Ethernet) для соединения узлов на базе Itanium 2.

В технологии Sun Fire Link (WildCat), которую Sun Microsystems представила в конце прошлого года, задействованы оптические соединения. Их пропускная способность составляет 2,8 Гбит/с (пиковая — до 4,8 Гбит/с), это позволяет создавать кластеры, содержащие до восьми серверов Sun Fire 6800, Sun Fire 12K или Sun Fire 15K. По сравнению с Gigabit Ethernet технология Sun Fire Link существенно (на порядок) уменьшает задержки при применении MPI. Она поддерживается в ОС Solaris 8 и 9, в ПО Sun Cluster 3 и предусматривает «горячую» замену компонентов. Кроме того, Sun широко применяет технологию SCI для связи узлов Sun Fire 15K, 12K, 6800, 4800, V1280, V480, V880 или 280R. Подобно Sun Fire Link, узлы соединяются напрямую (экономичный вариант) или через коммутатор (более гибкий подход, упрощающий расширение кластера).

Компания SGI в объявленных в марте кластерах HPC на базе серверов Altix 3000 платформы Intel Itanium 2 использует патентованную технологию NUMAlink для доступа узлов к общей глобальной памяти и коммуникаций между ними. Каждый узел, содержащий до 64 процессоров Itanium 2 и память объемом 512 Гбайт памяти, работает под управлением Linux. В коммутирующей матрице SGI NUMAlink задержки при передаче данных составляют менее 50 нс. Такой кластер сможет поддерживать до 512 процессоров, а в будущем году — до 1000.

ВЕДУЩИЕ МИРОВЫЕ ПРОИЗВОДИТЕЛИ КЛАСТЕРОВ

Согласно информации IDC, в прошлом году лидером рынка высокопроизводительных систем для технических расчетов (HPTC) была компания HP, которой принадлежало 34% данного сегмента — на 5% больше, чем IBM. HP лидирует и в июньском списке суперкомпьютеров Top500: он включает 159 систем HP. IBM немного отстала (в список вошло 158 выпущенных ею систем), но по их совокупной вычислительной мощности она впереди.

HP предлагает кластеры в разнообразных конфигурациях — от систем начального уровня на базе SCSI до кластеров масштаба предприятия с виртуализацией дисковых массивов. Сегодня это более 300 кластерных конфигураций на базе процессоров Intel, Alpha (EV68 и EV7) и PA-RISC (8700+) с широким выбором серверов, систем хранения и сетевого оборудования, поддерживающих ПО Windows, Linux, HP-UX, Tru64 UNIX (TruCluster), OpenVMS (OpenVMS Clusters), Novell и Oracle9i RAC. Среди популярных решений HP на платформе Intel — кластеры серии ProLiant, например конфигурация из двух стандартных серверов DL380 с процессорами Xeon и общей системой хранения данных. Особые надежды возлагаются на кластеры на базе Itanium 2 под управлением ОС Linux и HP-UX, для которых появляется все больше приложений независимых разработчиков. Эта платформа должна прийти на смену кластерам HP на базе процессоров Alpha и PA-RISC. Кластер из восьми серверов HP rx2600 на базе Itanium 2 вошел в первую десятку рейтинга Top500. Для создания кластеров из узлов rx2600 и rx5670 HP предлагает ПО hptc/ClusterPack V2.0.

Кластерные решения IBM известны на рынке более десяти лет. Спектр ее нынешних предложений включает в себя как кластеры Intel/Linux, так и платформы RISC/UNIX. К первым относится кластерная система Cluster 1350 из серверов IBM xSeries 335, 345, 360 или BladeCenter. Такие высокопроизводительные системы для научных, технических расчетов и коммерческих задач с межузловым соединением Ethernet, Gigabit Ethernet или Myrinet-2000 содержат до 512 узлов с одним-двумя процессорами Intel Xeon (2,4—3,06 МГц) и работают под управлением ОС Red Hat Linux или SuSE Linux Enterprise Server с кластерным ПО CSM for Linux или GPFS for Linux. В июле выпущенное месяцем ранее решение IBM Cluster 1350 пополнилось серверами eServer 325 на базе процессора AMD Opteron 246 под управлением ОС Linux или Windows. Такой кластер предоставляет возможность перехода с 32- на 64-разрядную серверную технологию с сохранением инвестиций в ПО.

Заявив о поддержке Intel Xeon и Itanium 2, IBM намерена продолжать разработку кластеров с процессорами POWER4+ и будущими POWER5. В кластерах IBM RISC/ UNIX получили развитие технологии, предназначавшиеся для машин RS/6000. Кластеры серверов pSeries (690, 680, 670, 660, 655 или 630) с процессорами POWER4+ (до 32), высокоскоростными соединениями Gigabit Ethernet, ATM, Fibre Channel, FDDI и коммутаторами IBM SP Switch предоставляют заказчикам платформу с хорошими возможностями горизонтального и вертикального масштабирования. Они содержат до 128 узлов, работают под управлением ОС AIX с кластерным ПО PSSP for AIX, CSM for AIX, GPFS, HACMP, HAGEO/ GeoRM, LoadLeveler, Parallel Environment и Parallel ESSL.

Кластеры IBM оснащены дополнительными интеллектуальными функциями, обеспечивающими самонастройку, самоуправление и самовосстановление системы после сбоев. Заказчики могут не только приобрести, но и арендовать их мощности в таких центрах, как открытая этим летом в шт. Нью-Джерси (США) вычислительная фабрика Deep Computing On Demand, оснащенная несколькими сотнями серверов IBM eServer x335 и x345. В планах компании открытие международной сети подобных центров.

Своими разработками в кластерной архитектуре известна и компания Sun Microsystems. В последнем списке Top500 насчитывается девять ее систем. Кластеры Sun — достаточно дорогое решение, однако, следуя стратегии расширения линейки продуктов, компания предлагает теперь наряду с платформой UltraSPARC недорогие кластеры платформы x86. Их можно строить, например, на основе недавно выпущенных серверов Sun Fire V60x и Sun Fire V65x под управлением ОС Linux или Solaris 9 x86.

В кластерах серии Sun Enterprise Cluster, включая E2, E450, E3500-6500 и E10000 (от 1 до 64 процессоров), компания постаралась использовать свой опыт в создании серверов, систем хранения и подтвердить приверженность к сетевым вычислениям. Кластеры строятся из двух—восьми узлов и соединений SCI и Ethernet в различных топологиях (см. Рисунок 3). Для управления кластером используется ПО Sun Cluster, Sun Enterprise Volume Manager (EVM) и Cluster Volume Manager (CVM). Подобно IBM и HP, Sun развивает собственную стратегию в направлении виртуализации серверных ресурсов.

Рисунок 3. Большинство моделей серверов Sun Enterprise можно применять в кластерах разнообразных топологий, включая кластерные пары, N+1, «кольцо», N с N (масштабируемая).

В июле крупную кластерную систему IA64 представила компания Dell. Несмотря на то что по сравнению с другими ведущими производителями серверов она выделяет довольно мало средств на собственные исследования, по данным IDC, в I квартале 2003 г. Dell принадлежало около 44% рынка кластеров Intel/Linux. Продолжая поставки 32-разрядных кластеров на базе двухпроцессорных серверов Dell PowerEdge 1750 с Intel Xeon под управлением Red Hat Enterprise Linux, компания выпустила 64-разрядный сервер PowerEdge 3250 на базе Itanium 2. Он будет применяться в кластерах НРС из 8—128 узлов под управлением 64-разрядной ОС Red Hat Enterprise Linux. Кластер из 16 серверов PowerEdge (каждый с двумя процессорами Itanium 2 на 1,5 ГГц, кэш-памятью 6 Мбайт и оперативной памятью емкостью 4 Гбайт) имеет производительность 156 GFLOPS.

Сегодня кластерные системы есть в списке предложений практически всех производителей серверов, включая не только NEC (известную такими мощными системами, как Earth Simulator с пиковой производительностью 35,86 TFLOPS) или Fujitsu Siemens Computers (кластеры PRIMERGY платформы Intel с Windows или Linux и PRIMEPOWER платформы Solaris/SPARC с ПО PRIMECLUSTER), но и десятки других компаний.

Интересно, что недавно выпущенные компанией RLX серверы 1000t на базе Crusoe TM5800 (1 ГГц) от Transmeta пригодны для создания крупномасштабных кластеров Linux. Построенный в прошлом году кластер Green Destiny содержит 240 процессоров Crusoe, позволяющих минимизировать энергопотребление, а теперь разрабатывается 480-процессорный кластер на основе серверов 1000t.

РОССИЙСКИЕ КЛАСТЕРНЫЕ СИСТЕМЫ

Российские производители и интеграторы успешно инсталлируют у заказчиков как кластерные системы отечественной сборки, так и платформы известных производителей. На счету некоторых крупных интеграторов — более десятка кластерных проектов. В основном это кластеры IA32, хотя весомая доля приходится на системы RISC/UNIX. Например, в феврале компания IBS поставила кластерный комплекс для СУБД в МНС. Он построен на оборудовании и ПО Fujitsu Siemens и включает в себя два 28-процессорных сервера PRIMEPOWER 2000 с межузловым соединением Fast Ethernet, два дисковых массива FibreCAT 4700, ПО PRIMECLUSTER и системы резервного копирования на ленточные накопители Scalar 100.

Появление отечественных кластерных систем позволяет сделать эти решения более доступными для российского рынка. Институт программных систем (ИПС) РАН, в соответствии с программой разработки, освоения серийного производства высокопроизводительных вычислительных систем с параллельной архитектурой и создания прикладных программно-аппаратных комплексов на их основе (СКИФ), ведет работы по реализации данных проектов. Программа предусматривает создание системного и прикладного ПО, решение вопросов безопасности, разработку инструментальных средств и законченных систем «под ключ». В нее вовлечено около 20 предприятий. По словам исполнительного директора ИПС РАН Сергея Абрамова, самая мощная модель с пиковой производительностью 98 GFLOPS построена на базе AMD Athlon MP 1800+. Подобный опыт накоплен и в Институте высокопроизводительных вычислений и баз данных Министерства науки и технической политики РФ, НИЦЭВТ, а также в других организациях. В конце 2001 г. в Межведомственном суперкомпьютерном центре при участии компании «Открытые технологии» был создан кластер МВС-1000М с 768 процессорами Alpha 21264 (667 МГц) производительностью свыше 1 TFLOPS, обеспечивающий вычислительные потребности Российской академии наук и до сих пор занимающий 97-е место в рейтинге Top500.

Практически все ведущие производители серверов имеют в своей линейке кластерные системы. Компания «Аквариус», вошедшая в мае в состав «Национальной компьютерной корпорации», использует для построения кластерных решений двухпроцессорные серверы AquaServer PX202 и четырехпроцессорные P404 на базе Intel Xeon MP. Повышенная отказоустойчивость AquaServer P404 обеспечивается памятью с улучшенной коррекцией ошибок, возможностями «горячей» замены плат, жестких дисков и блоков питания. Встроенные средства удаленного управления позволяют контролировать состояние компонентов сервера. Как и другие модели AquaServer серии Professional, P404 поддерживает ОС Windows 2000 Server, Novell NetWare 5.1 и Red Hat Linux 7.0. Недавно он прошел сертификацию на совместимость с ОС Microsoft Windows Server 2003. В конце года «Аквариус» планирует выпустить серверы T135 с RAID-контроллерами SCSI Ultra320, отвечающие более жестким требованиям к надежности, продолжить работу по развитию кластерных решений, созданию терабайтных внешних дисковых массивов в двухсерверной конфигурации SAN на базе Gigabit Ethernet.

Ряд успешных внедрений кластерных систем IA32 имеется у компании R-Style Computers. Предлагаемые ею решения включают в себя высокопроизводительные кластеры на базе серверов R-Style Marshall с двумя процессорами Intel Xeon 2,4 ГГц под управлением ОС Red Hat Linux. Они уже применяются заказчиками для выполнения геофизических расчетов. Узлы кластера с оперативной памятью объемом 34 Гбайт и дисковым пространством около 8 Тбайт объединены сетью Gigabit Ethernet. Один резервируемый сервер является управляющим. Стоимость оборудования — около 150 тыс. долларов. Такие кластеры HPC, масштабируемые до 1024 узлов, могут оснащаться внешними RAID-накопителями R-Style MARSHALL StoreARRAY. В планах компании — внедрение в сотрудничестве с Intel кластеров с отказоустойчивой конфигурацией (HA) в финансовой отрасли, телекоммуникационных компаниях, их применение для систем управления предприятиями (ERP). В июле R-Style представила серверы Marshall EP 472R, содержащие до двух процессоров Intel Itanium 2.

Различные виды кластерных конфигураций поставляет своим заказчикам Klondike Computers. В их число входят кластеры высокой готовности и производительности на базе 32-разрядных серверов KLONDIKE President 1500A и 2000A. В разрабатываемых моделях компания будет использовать анонсированные в июле серверы KLONDIKE President 64K4 на базе четырех процессоров Intel Itanium 2 (Madison) и двухпроцессорные 64K2. Максимальное количество узлов в них зависит от задач заказчиков и используемого ПО. Так, кластеры высокой надежности с серверами KLONDIKE President 64K4 (см. Рисунок 4) и 64K2 с ОС Windows Server 2003 Enterprise Edition могут включать до восьми узлов с соединением Ethernet. Одним из приоритетных направлений Klondike считает сотрудничество с разработчиком автоматизированных систем — компанией «СервоКомп», предполагающее, в частности, разработку и сертификацию кластерных конфигураций на основе ПО Oracle 9i RAC.

Рисунок 4. Сервер KLONDIKE President 64K4 предусматривает «горячую» замену жестких дисков и вентиляторов охлаждения.

Новый двухпроцессорный сервер Patriot Titan 2200 представила в июле компания «К-Системс». Как и KLONDIKE President 64K2, он построен на платформе Intel SR870BH2 и процессорах Intel Itanium 2. Этот сервер высотой 2U оптимизирован для монтажа в стойку 19?, что позволяет создавать компактно расположенные многоузловые кластеры для высокопроизводительных вычислений.

Arbyte наряду с конфигурациями HA (см. Рисунок 5) разрабатывает кластеры HPC. Как считает Олег Кукушкин, управляющий директор группы компаний Arbyte, в России существует хороший рынок для подобных современных систем. В частности, необходимость смены модельного ряда автомобилей и двигателей потребует применения для инженерных расчетов (CAE) такого оборудования, как кластер Arbyte Zeeger64/MN с ПО MSC.Nastran. Из обширного спектра задач HPC Arbyte намерена сосредоточиться именно на сегменте CAE, а также на прикладных решениях для нефтегазовой отрасли (хотя это более узкий рынок). На счету компании — ряд внедрений кластеров на базе Xeon. Она предлагает, например, кластеры HPC для обработки результатов сейсморазведки с ПО GeoDepth от Paradigm Geophisical и кластеры для аэрогидродинамического анализа с ПО CFX-5. Теперь конфигурации HPC решено строить исключительно с использованием Itanium 2. Для прикладных пакетов стоимостью в сотни тысяч долларов, лицензируемых по числу процессоров, применение в кластерах эквивалентной мощности меньшего числа процессоров дает существенный выигрыш: по сравнению с аналогичными системами RISC стоимость кластерного комплекса на базе с Itanium 2 примерно втрое ниже.

Рисунок 5. Конфигурации кластеров HA от Arbyte: кластер начального уровня, масштабируемая система и конфигурация с высокой отказоустойчивостью.

Внедрение в России кластерных решений на базе Itanium 2 осложняют нехватка перенесенного на 64-разрядную платформу ПО (особенно отечественных прикладных пакетов), недостаток у поставщиков опыта работы с 64-разрядными системами, неуверенность российских заказчиков в подобных новых технологиях и малое число компаний, обеспечивающих внедрение таких комплексов и их поддержку. Хотя одновременно с июльской премьерой новой версии Itanium 2 (Madison) сразу шесть российских производителей представили собственные серверы на базе этой платформы, говорить о завершенных отечественных проектах с серверами на базе Itanium в кластерной конфигурации пока рано, поскольку заказчики ждут выхода свежих операционных систем и приложений на новой платформе, перспективность которой сомнений не вызывает. По утверждению Intel, стоимость в расчете на транзакцию у платформ на базе Itanium 2 на 48% ниже, чем у лучших систем архитектуры RISC.

Большинство отечественных компаний ограничивает свои предложения простыми кластерами SCSI и предпочитает поставлять хорошо апробированные системы. Подразделение Depo компании «Дилайн», входящей в группу IBS, предлагает для построения кластера с балансированием сетевой нагрузки серверы начального уровня DEPO Storm 1100E и 1100S с процессорами Intel Celeron или Pentium 4, а также более мощные двухпроцессорные системы DEPO Storm 2100 с Intel Xeon (до 3 ГГц). Компания INPRO Computers выпускает двухузловые кластеры на базе серверов INPRO Archer, оснащенные Intel Xeon, ОС Windows, соединением Gigabit Ethernet и системами хранения INPRO, Adaptec или Raidtec. Двухузловые кластеры из четырехпроцессорных (Xeon MP) серверов DESTEN Navigator QX 7000P и 7000R с системой хранения DESTEN Navigator Storage 12160 выпускает компания Desten Computers. Для работы в кластерных системах оптимизированы и некоторые модели серверов «Альтаир» от «Формозы».

Между тем решения отечественных сборщиков не ограничиваются платформой Intel. Kraftway Computers еще в 1999 г. представила систему на платформе SPARC/Solaris — кластер высокой готовности в стойке 19? на базе двух системных плат Sun SPARCengine Ultra AX, массива RAID и программного обеспечения Veritas FirstWatch. В настоящее время для создания кластеров под управлением ОС Linux и Windows компания Kraftway предлагает мощные серверы с процессорами Intel Xeon MP и Itanium 2, разнообразное соединительное оборудование, RAID, объединительные платы и ПО. Имея несколько типовых вариантов, она создает свои кластерные решения в соответствии с потребностями конкретных заказчиков. Приобретение в этом году компании «Форвард технологии» может способствовать расширению спектра кластерных предложений Kraftway.

Компания первой среди отечественных производителей компьютерного оборудования приняла участие в прошлогоднем форуме Intel для разработчиков (IDF) в Сан-Хосе, где продемонстрировала четырехузловый кластер из четырехпроцессорных серверов GEG Express 6402 на базе Intel Itanium 2 под управлением бета-версии Windows .NET Server 2003 Datacenter Edition с 64-разрядной бета-версией Microsoft SQL Server. Узлы, оснащенные оперативной памятью емкостью 16 Гбайт каждый, были подключены к общей системе RAID через два двухгигабитных коммутатора FC. В июле лаборатория бета-тестирования Kraftway завершила первый этап тестирования систем на базе AMD Opteron, проанализировав производительность программно-аппаратных комплексов с различными 32-разрядными ОС и приложениями, а также версиями 64-разрядных операционных систем, включая Linux и Microsoft Windows 2003 Server Edition. Не исключено, что модельный ряд Kraftway пополнится кластерами на базе архитектуры AMD64, однако, объявив о готовности предоставлять заказчикам на тестирование прототипы систем на базе Opteron, компания, похоже, ждет реакции рынка.

Кластеры архитектуры AMD64 могут найти спрос в определенных сегментах рынка, составив конкуренцию кластерам на базе Intel Xeon MP, хотя прогнозы российских производителей компьютеров относительно дальнейшего продвижения процессора Opteron достаточно противоречивы. Большинство из них предпочитают системы IA32 или делают ставку на Itanium 2.

Рисунок 6. Кластерная система T-Forge32 развернута в новом центре кластерных технологий компании «Т-Платформы» в Москве.

Тем временем представительство AMD и российский производитель серверов «Т-Платформы» совместно с ИПС РАН представили 64-разрядный кластер T-Forge32 на базе двухпроцессорных узлов с AMD Opteron 244 (1,8 ГГц) — первую на российском рынке систему с новыми процессорами AMD. Он содержит 16 узлов, 32 Гбайт памяти (расширяемой до 256 Гбайт), 1 Тбайт распределенной дисковой памяти (см. Рисунок 6) и работает под управлением ОС SLES (SuSE Linux Enterprise Server) с пиковой производительностью 115 GFLOPS. Для коммуникаций между узлами используется соединение Gigabit Ethernet (возможна конфигурация с SCI). В планах компании — создание систем с 8, 16 и 64 процессорами. Позднее в кластерах T-Forge будут устанавливаться процессоры Opteron серии 800 (до 2 ГГц), позволяющие создавать восьмипроцессорные узлы.

Многие компоненты данного кластера произведены зарубежными компаниями в соответствии с разработкой российских инженеров. Для управления им можно применять созданное ИПС программно-аппаратное решение, позволяющее удаленно включить или выключить узел, перезапустить его, подсоединиться к любому узлу в режиме консоли, изменить настройки BIOS, загрузить ту или иную ОС. Стоимость кластера составляет 79 тыс. долларов. Ожидается, что уже в нынешнем году объем продаж T-Forge достигнет десятков систем.

ЗАКЛЮЧЕНИЕ

В последние несколько лет кластеры успешно внедряются в те области, где традиционно использовались суперкомпьютеры. Они оказываются эффективными для большого числа независимых, разделяемых задач, к примеру, выполнения анализа структуры белка. Кластерные решения играют важную роль в приложениях Web, системах ERP и CRM, в реализации различных проектов на базе СУБД.

При выборе кластерной платформы в расчет принимается возможный ущерб от простоя системы, среднее время ее восстановления без применения кластера, стоимость развертывания кластерной конфигурации, производительность, обеспечивающая приемлемое время отклика при работе с критически важными службами, удобство администрирования, наличие средств автоматического балансирования нагрузки, максимальное расстояние между узлами и, конечно, характер решаемой задачи. Системы с вертикальным (SMP) и горизонтальным (кластеры) масштабированием оптимальны для решения задач разного типа, что учитывается при выборе архитектуры.

Переход на кластерные конфигурации HPC вынуждает вносить значительные изменения в программное обеспечение. Для кластеров HA переделка ПО cводится к настройке приложений, однако и здесь можно встретить серьезные проблемы, а приложение, оптимизированное для одних кластеров, не всегда эффективно работает на других. Важными факторами являются возможности интеграции с различными приложениями, поддерживаемые платформы, а также стоимость переноса прикладного ПО на кластерную конфигурацию, поскольку она составляет значительную часть расходов на приобретение кластерного комплекса HPC. Весомая доля затрат приходится и на лицензирование ПО. В частности, согласно проведенному компанией Sun анализу, SMP-система Sun Fire 4800 примерно в полтора раза дешевле кластеров Sun Fire v480 аналогичной производительности с ПО Oracle9i RAC, хотя стоимость оборудования в архитектуре SMP выше на 20%. Схожие результаты Sun получила при сравнении своей системы SMP (8—12 процессоров) с кластером Dell 6600 (из четырех—восьми двухпроцессорных узлов), у которого аппаратная часть вдвое дешевле.

Зеркалирование данных и балансирование нагрузки в кластере также влекут дополнительные затраты. В совокупности с разработкой проекта (а для сложных проектов стоимость этого этапа сравнима со стоимостью кластера) все указанные факторы нередко значительно увеличивают размеры инвестиций на обеспечение высокой готовности и производительности. Кластеры требуют большего времени на инсталляцию, обслуживание и более опытных администраторов, чем обычные серверы.

Тем не менее число кластерных систем на платформе Intel (включая несколько платформ на Itanium 2) в списке Top500 за последние полгода увеличилось почти вдвое и достигло 119. По прогнозам Aberdeen Group, кластеры архитектуры Intel в ближайшие три года займут приблизительно 80% рынка систем HPC. Достаточно простым и дешевым решением становятся сегодня кластеры под управлением Linux. Они способны выполнять сложные вычисления и, с экономической точки зрения, нередко более эффективны по сравнению с системами на базе процессоров RISC. Высокая масштабируемость, отказоустойчивость и возможности распределения нагрузки превращают кластеры платформы Intel (а теперь и AMD) под управлением ОС Linux, UNIX и Windows в неплохую альтернативу дорогим закрытым решениям. Специальной категорией кластеров под Linux для параллельных вычислений (обычно научных) являются высокопроизводительные кластеры BeoWulf. Между тем допустимость применения некоммерческих версий Linux для решения критических важных задач подчас ставится под сомнение. Частично проблема решается применением в комбинации с Linux таких коммерчески поддерживаемых кластерных продуктов, как Veritas Cluster Server или LifeKeeper от SteelEye.

После развертывания кластера HPC не всегда удается получить ожидаемую производительность — на нее влияет очень много факторов. Помощь клиентам в выборе и оптимизации оборудования и ПО обычно оказывают центры кластерных решений и компании-интеграторы (см. статью С. Орлова «Кластеры на пробу» в этом номере «Журнала сетевых решений/LAN»). Внедрение кластерной системы HA само по себе еще не гарантирует высокого уровня готовности. Как отмечают специалисты компании «Инфосистемы Джет», пути повышения надежности, понимаемой как способность системы предоставить необходимую информационную услугу за определенное время, предполагают комплексный подход, включающий проектирование системы, применение специальных решений, мониторинг и управление, организации службы эксплуатации. Без этих мер низкая стоимость и высокая надежность кластера на деле могут оказаться иллюзиями.

Как считает Всеволод Опанасенко, генеральный директор компании «Т-Платформы», ближайшие годы пройдут под флагом параллельных вычислений и кластерных технологий. Среди вероятных тенденций развития кластерных архитектур можно назвать повышение надежности, производительности кластеров и развитие возможностей виртуализации. Компании IBM, HP и Sun ведут активные разработки в области виртуализации серверов (позволяющей работать с ними как с единым пулом вычислительных ресурсов) и метакомпьютерных сетей (GRID). В ряде приложений эти технологии, представляющие новый этап в эволюции распределенных вычислений, могут стать альтернативой кластерным решениям.

Ресурсы Internet

Top500: самые высокопроизводительные компьютеры — http://www.top500.org.

Технология InfiniBand — http://www.infinibandta.org.

Технология Myrinet — http://www.myri.com/myrinet/overview.

Технология QsNet — http://www.quadrics.com.

Технология HyperTransport — http://www.hypertransport.org.

Стандарт MPI — http://www.mpi-forum.org.

Организация производителей систем SCI — http://www.scizzl.com.

Корпорация Intel и объединение серверов в кластеры — http://www.intel.com/ru/Pressroom/2002/112702.htm.

Кластерные технологии Sun Microsystems — http://www.sun.com/software/cluster и http://ru.sun.com/win/products/clusters/products.html.

Кластерные системы IBM — http://www.ibm.com/eserver/clusters.

Кластеры HP — http://www.hp.com/techservers/clusters.

Технология организации параллельных вычислений на кластерах Linux — http://www.beowulf.org.

Кластерные установки в России — http://parallel.ru/russia/russian_clusters.html.

Упоминаемые российские производители кластерных систем

«Аквариус» — http://www.aq.ru.

Arbyte Computers — http://www.arbyte.ru.

Depo — http://www.depo.ru.

INPRO Computers — http://www.inprocomp.ru.

Klondike Computers — http://www.klondike.ru.

Kraftway Computers — http://www.kraftway.ru.

«К-Системс» — http://www.k-systems.ru.

R-Style Computers — http://www.r-style.ru.

«Т-Платформы» — http://www.t-platforms.ru.