В НПО «Сатурн» установлен суперкомпьютер IBM
Установленный в «Сатурне» суперкомпьютер IBM eServer Cluster 1350 под управлением ОС Linux на процессорах Xeon и Itanium 2 с межузловым соединением Infiniband на сегодняшний день является крупнейшей инсталляцией такого рода решений для предприятий промышленности в России и СНГ

Врамках авиасалона в Жуковском один из крупнейших его участников — научно-производственное объединение «Сатурн» не только продемонстрировало свои последние разработки в области авиационных двигателей, но и объявило о внедрении вычислительного комплекса для параллельных вычислений на базе высокопроизводительного и масштабируемого кластера. По словам руководителей компании, установленный в «Сатурне» суперкомпьютер IBM eServer Cluster 1350 под управлением ОС Linux на процессорах Xeon и Itanium 2 с межузловым соединением Infiniband на сегодняшний день является крупнейшей инсталляцией такого рода решений для предприятий промышленности в России и СНГ.

Главной целью проекта в «Сатурне» называют необходимость увеличения скорости расчетов при проектировании авиационных газотурбинных двигателей для самолетов гражданской авиации. «В прошлом году в рамках реализации стратегии развития информационных технологий нами была поставлена цель увеличить пропускную способность имеющихся вычислительных систем в 50 раз», — сообщил ИТ-директор «Сатурна» Александр Пионтковский. В процессе проектирования инженерами предприятия широко используются пакеты собственной разработки и коммерческие программные системы для аэродинамических, тепловых, акустических и прочностных расчетов (Ansys, CFX, CFX TASCflow, LS-Dyna), которые могут работать в вычислительных средах с высоким параллелизмом, поэтому в качестве архитектуры новой системы был выбран многоузловой кластер.

Что французу хорошо, то русскому… тоже

Работы по созданию кластера были начаты в июне компанией «Крок», которая в конце прошлого года выиграла соответствующий тендер. Естественно, реализация проекта такого масштаба началась с проведения предварительного исследования вариантов внедрения системы с целью выбора наилучшей архитектуры. На первом этапе группа специалистов «Сатурна» и «Крока», а также российские и зарубежные специалисты IBM при участии Intel организовали предпроектное тестирование вычислительного комплекса. В частности, был проведен тестовый запуск используемых программных пакетов на вычислительных системах различной архитектуры в центре компетенции IBM во Франции. В процессе исследования рассматривались кластеры для параллельных вычислений на базе серверов IBM eServer xSeries и вычислительные SMP-системы архитектуры IBM eServer p5.

Затем последовала основная часть проекта, в рамках которой специалисты «Крока» и IBM осуществили поставку всех компонентов кластера, провели работы по монтажу системы, инсталляции операционной системы Linux, настройке вычислительных узлов и программного обеспечения IBM CSM и GPFS. Кроме того, интегратор выполнил работы по развертыванию иерархической системы хранения данных и системы резервного копирования. В рамках подготовки к запуску кластера в опытную эксплуатацию сотрудники НПО «Сатурн» прошли обучение по системе управления данными в учебном центре IBM.

По словам заместителя директора департамента вычислительных систем «Крока» Руслана Заединова, главная сложность проекта заключалась в совместимости выбранной версии Linux с различными компонентами решения: драйверами аппаратных средств и особенностями тех или иных программных продуктов. Также много времени и сил потребовала организация системы отвода тепла от кластера.

Инструмент для снижения издержек

В июле все основные этапы проекта были завершены, а в августе окончена тонкая настройка кластера и начата опытная эксплуатация системы. По словам представителей «Сатурна», созданное решение позволяет в десятки раз сократить время научных и технических расчетов при проектировании авиационных двигателей, а также является масштабируемым и тиражируемым, что позволит в случае необходимости легко нарастить производительность уже существующей системы или установить новые вычислительные комплексы.

«Достигнутая производительность вычислительного кластера на тесте Linpack составляет 768 GFLOPS, пиковая — 922 GFLOPS, что ставит нашу систему на первое место среди установленных на российских промышленных предприятиях и на третье место в апрельской редакции рейтинга суперкомпьютеров Top 50 по СНГ», — заявил Пионтковский. Разумеется, заплатить за все это пришлось немало — общая стоимость проекта (включая инфраструктуру и инженерные системы) составила порядка 1 млн. долл.

Однако, по мнению ИТ-директора «Сатурна», эта сумма полностью оправдана стоимостью производимой на предприятии продукции — по словам Пионтковского, один килограмм авиационного двигателя стоит примерно 3 тыс. долл., что втрое дороже «удельной стоимости» всего самолета и более чем в 100 раз выше цены килограмма современного автомобиля. Поэтому, по мнению руководства «Сатурна», купленный кластер не только окупит себя, но, возможно, уже в ближайшее время даже его мощности окажется недостаточно. «Проект внедрения кластерной системы для проведения инженерных расчетов является очередным, но не окончательным этапом в программе снижения издержек при создании новой продукции», — подчеркнул Пионтковский.

Решение от Голубого Гиганта

Основой созданного в «Сатурне» решения является вычислительный кластер IBM eServer Cluster 1350, который включает в себя 64 узла IBM eServer xSeries 336 с двумя процессорами Xeon/3,6 ГГц с технологией Intel EM64T и два мастер-узла IBM eServer xSeries 455 на базе четырех процессоров Itanium 2 с тактовой частотой 1,56 ГГц. Объем памяти вычислительных узлов составляет 256 Гбайт, а мастер-узлов — по 64 Гбайт.

В качестве межузлового соединения используется оборудование стандарта Infiniband, которое обеспечивает минимальную задержку при передаче сообщений между узлами и скорость передачи данных до 10 Гбит/с. Для доступа к данным применяется параллельная файловая система General Parallel File System, созданная IBM специально для вычислительных кластеров. Централизованное управление кластером осуществляется с помощью ПО IBM Cluster Systems Management xSeries под управлением Linux, что упрощает управление и облегчает вертикальное масштабирование.

Кроме вычислительного кластера, в состав комплекса входит управляющий сервер и система хранения данных. Последняя построена по иерархическому принципу, что позволяет оптимизировать расходы на хранение данных и состоит из трех уровней разной производительности и емкости. В качестве уровня наибольшей производительности используется дисковый массив на SCSI-дисках IBM TotalStorage DS400 емкостью 2 Тбайт, второй уровень промежуточной производительности реализован на массиве SATA-дисков IBM TotalStorage DS4100 емкостью 4 Тбайт. Для хранения редко используемых файлов применяется третий уровень — на базе ленточной библиотеки IBM 3583 с четырьмя приводами LTO2.

Все использованные устройства имеют интерфейс Fibre Channel и объединены в резервированную сеть хранения. В качестве программного инструментария для организации иерархического хранилища используется IBM Tivoli Storage Manager for Space Management, с помощью которого обеспечено резервное копирование данных на ленточную библиотеку IBM 3583.