Кластеры, состоящие из большого количества доступных стандартных серверов, давно закрепились в самых разных сферах применения, будь то имитационные модели в автомобильной и авиационной промышленности, сложнейшие вычисления в банковском и страховом деле или медицинские исследования и локальные прогнозы погоды. Требовательные научно-технические приложения уже давно нельзя представить без кластеров. Самое примечательное то, что кластерные системы с использованием стандартных компонентов вытеснили преобладавшие ранее супер-компьютеры в узко-специализированные ниши. Это касается даже таких требовательных сфер, как разработка новых месторождений нефти и газа. Вместо заоблачно дорогого нестандартного аппаратного обеспечения кластеры предлагают весьма убедительное соотношение цены и производительности.

По сути, существует только одна причина, тормозящая дальнейшее распространение кластеров: как и прежде, кластерные системы очень сложно конфигурировать. Не в последнюю очередь причина заключается в самой кластерной архитектуре. В отличие от традиционных симметричных многопроцессорных систем, кластеры располагают отдельными блоками для обработки и хранения данных. Если необходимо использовать их для выполнения различных задач или для приложений, задействующих одновременно несколько процессоров, то для этого потребуются быстрое коммуникационное программное обеспечение для связи отдельных компьютеров и соответствующие административные инструменты. По этой причине пользователям кластеров HPC часто приходилось решать сложную задачу выбора конфигурации из множества компонентов.

КЛАСТЕРЫ ИЗ КОНСТРУКТОРА

До недавнего времени не было стандартов, отвечающих за гармонизацию отдельных аппаратных и программных элементов, что и стало одним из поводов для разработки программы Cluster Ready, призванной существенно облегчить эксплуатацию и дальнейшее развитие кластеров HPC. Программа Intel Cluster Ready (http://software.intel.com/en-us/cluster-ready) представляет собой результат кооперации компании Intel, независимых поставщиков программного обеспечения (ISV) и производителей (OEM), в частности Dell. В ней определены минимальные стандарты для программных и аппаратных компонентов кластерных систем с целью достижения высокой степени совместимости. Кроме того, совместимые программные приложения HPC можно регистрировать, а дополнительное кластерное аппаратное обеспечение сертифицировать посредством Intel Cluster Checker. Этот инструмент сертификации осуществляет общую проверку, гарантируя правильное взаимодействие кластерного аппаратного обеспечения и программных компонентов, а также изоляцию ошибок (см. Рисунок 1). Тем самым удается предупредить сбои в работе кластеров и сократить расходы на техническую поддержку. В сочетании с предустанавливаемым на серверах программным обеспечением Open Cluster Stack (OCS) компании Platform Computing (http://www.platform.com) стандарты и инструменты из Cluster Ready упрощают проектирование, внедрение и эксплуатацию кластерных решений. В результате пользователь получает сертифицированные системы Intel Cluster Ready, с помощью которых он без особых сложностей может создавать согласованные масштабируемые кластеры приложений.

Производителям программного и аппаратного обеспечения продукт предоставляет базовые ориентиры и конфигурационные шаблоны. В нем детально описывается, как можно комбинировать компоненты для построения сертифицированного кластера Intel Ready. Особенно ценным является возможность определить общепринятую базу для кластеров, сделать правильный выбор из различных аппаратных и программных компонентов и создать конфигурацию, наиболее пригодную для выполнения поставленных задач. В то же время специалисты по ИТ могут быть уверены в том, что приложение, сертифицированное для одной кластерной системы, будет работать и на другой без каких-либо дополнительных изменений.

Однако спецификация Intel Cluster Ready представляет собой нечто большее, чем просто собрание правил и предписаний. Одну из наиболее важных задач выполняет Intel Cluster Checker. Этот инструмент на базе сценария позволяет осуществлять прямое сравнительное тестирование производительности и тем самым адекватно оценивать производительность систем. Cluster Checker проверяет взаимодействие отдельных аппаратных и программных компонентов и дает рекомендации по обеспечению беспроблемного взаимодействия кластерных компонентов.

Кроме того, этот инструмент полезен и при последующей эксплуатации. К примеру, при запуске через определенные интервалы времени он помогает проверить, достигаются ли заявленные изначально показатели производительности. Положительный побочный эффект состоит в том, что Cluster Checker можно использовать для ранней диагностики проблем и ошибочных конфигураций.

КОМБИНАЦИЯ ИЗ АППАРАТНЫХ И ПРОГРАММНЫХ СТЕКОВ

Элементы программы Intel Cluster Ready, значительно загружающие аппаратные ресурсы, дополняются программными спецификациями, такими как упомянутый Open Cluster Stack (см. Рисунок 2). Полностью интегрированный в Linux, OCS представляет собой модульный гибридный стек, посредством которого программное обеспечение с открытыми исходными кодами (Open Source) и коммерческие программы прозрачно включаются в единую согласованную кластерную операционную среду. Это ПО содержит операционную систему, необходимые драйверы, установщик Cluster Installer, средства мониторинга ресурсов и приложений, а также планировщик для каждого узла в кластере, что существенно облегчает процесс конфигурации и развертывания кластерной среды, если компоненты Cluster Ready уже установлены на серверах.

С управлением рабочими нагрузками (Workload) успешно справляется Load Sharing Facility (LSF) HPC компании Platform Computing. LSF — это програм-мное обеспечение с управлением на базе правил отвечает за оптимизацию рабочей нагрузки при работе приложений, выполнение которых требует интенсивных затрат вычислительных мощностей и обработки больших массивов данных (Batch Workload Management Software). Благодаря наличию рассчитанных на конкретное оборудование функций интеграции, LSF и OCS позволяют администраторам ИТ полностью задействовать имеющиеся резервы высокопроизводительных коммуникационных соединений кластерных систем. В частности, LSF отличается модульной структурой, гибко адаптируемой в соответствии с требованиями конкретной среды. Управление процессами настраивается индивидуально, и даже в сложной среде с множеством задач в разных кластерных узлах система остается стабильной и масштабируемой. Многочисленные дополнительные компоненты помогают осуществлять, к примеру, целенаправленный анализ системной загрузки, предоставляя ценные сведения для дальнейшей оптимизации инфраструктуры.

Большое количество аппаратных компонентов, таких как процессоры, быстродействующая главная память, внешние системы хранения, сетевые устройства, кабельные соединения, коммутаторы и множество других элементов, предоставляют широкий простор для оптимизации кластерных сред. В качестве интегрального элемента разных конфигураций Intel Cluster Ready OCR способствует заметному упрощению и ускорению установки и настройки кластерных решений — для этого достаточно сертифицированного сервера (к примеру, производства компании Dell), реализации Message Passing Interface, (MPI, например, Open MPI или Intel MPI Library), Intel Runtime Library (включая Intel MPI Library Runtime Environment), а также (в качестве дополнительной опции) OpenFabrics Enterprise Distribution Stack. Конкретный пример аппаратной конфигурации мог бы включать следующее аппаратное обеспечение от Dell: PowerЕdge 2950 в качестве внешнего сервера (Front-end), 12 PowerЕdge 1950 в качестве вычислительных узлов, 16-портовый коммутатор PowerСonnect, дополнительно понадобятся корпус стойки и необходимая кабельная проводка.

Итак, программа Intel Cluster Ready существенно упрощает процесс построения кластерных сред за счет спецификации стандартов для аппаратного и программного обеспечения, а также кабельных соединений. Для подобных высокопроизводительных компьютеров открываются новые области применения, причем не только в научных проектах, где требуются большие вычислительные мощности, но и в промышленной и коммерческой сферах. Благодаря привлекательному соотношению цены и производительности стандартных компонентов кластеры проникают в те области, где ранее пользователи обходились без кластерных решений из-за якобы очень высоких инвестиционных затрат.

Юрген Кляйнхайнц — бренд-менеджер по серверам в компании Dell.

© AWi Verlag

Рисунок 1. Схематическое изображение архитектуры механизма Intel Cluster Checker, который позволяет проверять аппаратные и программные компоненты для обеспечения их оптимального взаимодействия.

Рисунок 2. Intel Cluster Ready: схема отображает важнейшие компоненты, составляющие стек открытых кластеров (Open Cluster Stack, OCS).