Последующие годы не прошли бесследно — Россия чувствует себя все увереннее в области высокопроизводительных вычислений.
Шесть лет назад система МВС-1000М с производительностью в 0,1 TFLOPS занимала 66-ю позицию списка Top500. Сегодня в нем числится уже семь отечественных суперкомпьютеров, самый мощный из которых занял 35-ю строчку. Запущенный недавно суперкомпьютер «СКИФ МГУ», имеющий производительность 60 ТFLOPS, соответствует 22-й позиции в Top500.
Одним из катализаторов развития рынка высокопроизводительных систем (High Performance Computing, HPC) в России стала запущенная в 1999 году программа СКИФ («Суперкомпьютерная инициатива ‘Феникс’»), основной задачей которой была разработка и серийное производство семейства высокопроизводительных вычислительных систем с параллельной архитектурой, имеющих различную конфигурацию и уровень производительности (от единиц до триллионов операций в секунду). Разработанные в рамках программы системы должны были в обозримые сроки воспроизводиться и поставляться в любую организацию, которой требуются большие вычислительные мощности. Учитывая, что подавляющее большинство суперкомпьютеров во всем мире (около 80% систем, внесенных в Top 500) имеют кластерную архитектуру, программа СКИФ предусматривала главным образом создание кластеров, однако в ней были представлены и другие направления, в частности специализированные вычислители. Основными исполнителями программы стали Институт программных систем Российской академии наук (ИПС РАН), МГУ им. М.В. Ломоносова, Институт высокопроизводительных вычислений и информационных систем (АНО ИВВиИС), предприятие «Суперкомпьютерные системы» и Научно-исследовательский центр электронно-вычислительной техники (НИЦЭВТ).
Принятая в прошлом году программа «СКИФ-Грид» стала логическим продолжением СКИФ. Ее задача состоит в объединении всех команд разработчиков для совместного создания и внедрения конкурентоспособных систем. Доступ к вычислительным ресурсам глобальной grid-сети открыл перед учеными возможности решения ресурсоемких научных задач. Это создание наноматериалов и наноустройств, термоядерный синтез, разработка лекарств и молекулярная динамика, моделирование глобальных изменений климата, космические и инженерные исследования.
Важнейшим итогом программы СКИФ стало создание решений, примененных при развертывании самого мощного в России, странах СНГ и Восточной Европы суперкомпьютера «СКИФ МГУ», а также суперкомпьютера «СКИФ Урал», установленного в Южно-Уральском университете. Вместе с суперкомпьютером «СКИФ Мономах» Владимирского университета они вошли в распределенную вычислительную систему «СКИФ Полигон» с суммарной производительностью 100 TFLOPS (по состоянию на середину 2008 года).
Компания «Т-Платформы», основанная в 2002 году специально для разработки решений в области высокопроизводительных вычислений, приняла участие в реализации ряда проектов программы СКИФ: СКИФ К-1000 (2004 год), СКИФ Cyberia (2007 год) и «СКИФ МГУ» (2008 год). В качестве вычислительных узлов в суперкомпьютере «СКИФ МГУ» используются серверы-лезвия T-Blade, в которых реализован ряд собственных технологических новинок. В частности, в серверах применяется чипсет Intel 5400 с системной шиной, работающей на частоте 1600 МГц, и поддержкой памяти DDR2-800, что в совокупности позволяет получить выигрыш в производительности в среднем до 30% по сравнению с другими решениями. В качестве системной сети используется технология DDR InfiniBand четвертого поколения от компании Mellanox?— эта реализация InfiniBand не только позволяет сократить задержку при передаче сообщений до 1,2 мкс и улучшить масштабируемость приложений, но и обеспечивает совместимость с новым, вдвое более производительным стандартом QDR InfiniBand. Система «СКИФ МГУ» построена с использованием процессоров Intel Xeon, созданных на базе технологии 45 нм, что позволило заранее проверить новые решения на совместимость с другими компонентами, оценить производительность и выбрать адекватную архитектуру.
В декабре 2007 года компания «Т-Платформы» объявила о программе exCellenT-Platforms, предусматривающей разработку комплексных решений на базе восьмиядерных процессоров IBM Cell Broadband Engine и формирование сообщества разработчиков для ускорения реализации возможностей этих процессоров в отечественных программных продуктах.
В сотрудничестве с другими участниками программы СКИФ, компания «Т-Платформы» работает над созданием программных средств для управления кластерными конфигурациями. До недавнего времени компания «Т-Платформы» адаптировала свободно распространяемое программное обеспечение для работы на кластерах, но ситуация меняется. Несмотря на мнение, будто создание суперкластера сродни сборке настольного ПК, суперкомпьютер подразумевает выполнение значительного комплекса работ по интеграции всех компонентов системы, включая аппаратные средства, системное и прикладное программное обеспечение, а также инфраструктуру.
Рост научного и технического потенциала страны возможен лишь при наличии специалистов, способных использовать новые технологии для решения реальных научных и промышленных задач. В связи с этим в сентябре 2007 года ИПС РАН, НИВЦ МГУ, корпорация Intel и компания «Т-Платформы» анонсировали программу «СКИФ Университеты». Данная программа позволяет российским вузам воспользоваться опытом исполнителей программ СКИФ и «СКИФ-Грид» по созданию суперкомпьютерных конфигураций, оптимизированных для задач вузов. Компания «Т-Платформы» предоставляет участникам программы комплексные решения на базе процессоров Intel с полным комплектом программного обеспечения для управления кластерами и разработки приложений. Обучение и переподготовку специалистов проводит НИВЦ МГУ, а ИПС РАН обеспечивает программную поддержку в решении прикладных задач.
Андрей Слепухин (andrey.slepuhin@t-platforms.ru) — руководитель отдела исследований новых технологий компании «Т-Платформы» (Москва).
СКИФ в МГУ
Основная задача суперкомпьютера «СКИФ МГУ» — поддержка фундаментальных научных исследований, проводимых различными научными коллективами Московского университета и ряда академических институтов в таких областях, как нанотехнологии, магнитная гидродинамика, гидро- и аэродинамика, квантовая химия, сейсмика, компьютерное моделирование лекарств, климатология, криптография.
Основу суперкомпьютера составляют двухпроцессорные модули T-Blade производства компании «Т-Платформы», позволяющие разместить 20 четырехъядерных процессоров Intel Xeon в одном шасси, выполненном в конструктиве 5U. Модули T-Blade совместимы со стандартными межсоединениями и других внешних устройств благодаря слоту расширения PCI-Express 2.0. Все узлы системы объединены тремя независимыми сетями. Системная сеть построена на базе DDR InfiniBand с микросхемами компании Mellanox четвертого поколения, вспомогательная основана на Gigabit Ethernet, а управляющая опирается на ServNet. Системная сеть имеет топологию FatTree, и в зависимости от удаленности узлов друг от друга латентность при их взаимодействии лежит в интервале 1,3?— 1,95 мкс. Все вычислительные узлы имеют по два идентичных процессора Intel Xeon E5472/3 ГГц, а узлы системы неоднородны и разделены на четыре группы в зависимости от объема оперативной памяти и наличия локальных жестких дисков. В большинстве узлов установлено по 8 Гбайт или 16 Гбайт оперативной памяти, а для задач с повышенными требованиями к ресурсам предусмотрены узлы с памятью в 32 Гбайт.
В состав суперкомпьютера «СКИФ МГУ» входят 63 шасси, 625 вычислительных узлов, 1250 процессоров, 5000 процессорных ядер. Пиковая производительность установки равна 60 TFLOPS, а производительность на тесте Linpack — 47 TFLOPS, что соответствует КПД в 78%. Столь высокий показатель, не характерный для машин такого масштаба, объясняется использованием новых процессоров Intel Harpertown, изготовленных по технологии 45 нм, сбалансированностью архитектуры компьютера в целом и профессионально выполненной настройкой программного обеспечения. Из 42 стоек суперкомпьютера «СКИФ МГУ» только 14 содержат собственно вычислительный ресурс (процессоры), а остальные относятся к инфраструктуре, в которую входит все необходимое для поддержки работы большого суперкомпьютерного комплекса: параллельная файловая система хранения данных T-Platforms ReadyStorage ActiveScale Cluster объемом в 60 Тбайт; ленточная система резервного копирования Quantum Scalar i500; выделенная подсистема мониторинга и управления с дублированием; специальная технология звукоизоляции; система бесперебойного электропитания и охлаждения с уровнем резервирования N+1; система газового пожаротушения. Для отвода тепла спроектирована модульная система охлаждения с герметичным «горячим коридором» между стойками с вычислительными узлами, которая в аварийном случае обеспечивает поддержку штатного температурного режима в помещении не менее 10 минут.
Основная часть суперкомпьютера размещена в зале площадью 98 кв. м, из которого наружу вынесены лишь холодильные установки. Общий вес оборудования, расположенного в данном помещении, — более 30 тонн. Общее энергопотребление суперкомпьютера со всей его инфраструктурой в стандартном режиме составляет 520 кВт, а при пиковой нагрузке может достигать 720 кВт.
Для поддержки среды создания эффективного параллельного программного обеспечения на «СКИФ МГУ» установлен набор средств разработки, в частности, сразу несколько систем компиляции (Intel, PGI Server Complete, PathScale Compiler Suite) и полный набор кластерных инструментов от Intel. Планируется установка большого числа специализированных прикладных пакетов — как свободно распространяемых, так и коммерческих.
Владимир Воеводин (voevodin@parallel.ru), заместитель директора НИВЦ МГУ (Москва).
