Григорий Речистов использует комплекс I-SCALARE для поиска узких мест еще не созданных вычислительных систем
Григорий Речистов использует комплекс I-SCALARE для поиска узких мест еще не созданных вычислительных систем

Результаты работы ученых показали, какую службу способен сослужить вычислительный кластер МФТИ, созданный группой РСК при поддержке Intel.

В 2010 году Владимир Пентковский, сотрудник Intel, совместно с учеными МФТИ представил на конкурс Минобрнауки программу исследований и разработки эффективных программно-аппаратных архитектур для решения задач биоинформатики и фармакологии, требующих серьезных вычислительных ресурсов. Проект получил солидный грант в 150 млн руб., и в МФТИ появилась лаборатория суперкомпьютерных технологий для биомедицины, фармакологии и малоразмерных структур (Intel Super Computer Applications Laboratory for Advanced REsearch, I-SCALARE).

Главным направлением деятельности лаборатории стала разработка проблемно-ориентированных архитектур вычислительных систем. Для начала было выбрано несколько прикладных задач, связанных с моделированием вирусов, нейропротекторных веществ и механизма действия природных антибиотиков.

Охлаждает жидкость

В 2011 году группа компаний РСК установила в лаборатории прототип системы из 16 узлов на базе архитектуры «РСК Торнадо» и процессоров Intel Xeon 5600, а в 2012-м модернизировала его до уровня вычислительного кластера с пиковой производительностью 41,57 TFLOPS. Теперь кластер состоит из 112 вычислительных узлов, каждый из которых включает два процессора нового поколения Intel Xeon E5-2690. Емкость системы хранения данных выросла до 10 Тбайт. Коммуникационная сеть кластера построена на базе интерфейса InfiniВand QDR. Объем оперативной памяти на один узел увеличен до 64 Гбайт, таким образом, общий объем памяти в модернизированной системе составляет 7,1 Тбайт. Этот параметр, отмечают биологи, особенно выгодно отличает комплекс I-SCALARE от других российских суперкомпьютеров.

В архитектуре «РСК Торнадо» применяется жидкостное охлаждение (см. также «Рекорд на горячей воде», Computerworld Россия, № 14, 2012) для стандартных серверных плат Intel, изначально предназначенных для систем с воздушным обдувом. Благодаря жидкостному охлаждению достигается рекордный показатель энергоэффективности (Power Usage Effectiveness, PUE) — менее 1,2, то есть на охлаждение тратится не более 20% потребляемой энергии. В МИФИ утверждают, что текущие расходы на содержание суперкомпьютера не превышают 30 тыс руб. в квартал (имеется в виду плата за электроэнергию, без учета затрат на зарплату сотрудникам).

Помимо прочего жидкостное охлаждение делает систему тише и значительно компактнее: мини-ЦОД помещается в двух монтажных шкафах, занимающих площадь около 2 кв. м. Воздушное охлаждение оставлено лишь для тех компонентов, где жидкостное экономически нецелесообразно.

Аналогичный суперкомпьютер с несколько меньшим числом узлов РСК недавно запустили в Росгидромете.

Задел для будущих лекарств

Первые результаты работы с комплексом I-SCALARE представили три научных коллектива.

Группа исследователей под руководством профессора Романа Ефремова при Институте биоорганической химии РАН занимается компьютерным конструированием природных антибиотиков, которые действуют на мишени в мембранах бактерий — бактериоцинов. С помощью суперкомпьютера ученые изучали возможности создания нового класса соединений на основе лантибиотиков — веществ, вырабатываемых непатогенными бактериями и не оказывающих негативного воздействия на организм. Они смоделировали микросекундные траектории динамики молекулы липида II, которая служит мишенью для антибиотиков, в мембране бактерий. Использование суперкомпьютера позволяет получать траектории такой длительности для систем, содержащих свыше 50 тыс. атомов, примерно за неделю. Подобный расчет на кластере с процессорами предыдущего поколения Intel Xeon E5450, который используется сейчас в ИБХ РАН, занял бы около 100 дней. Анализ полученных траекторий молекулярной динамики позволил обнаружить характерные особенности строения бактериальной мембраны (их можно назвать «ахиллесовой пятой») и предложить молекулы, которые, вероятно, способны ее «поразить». Исследования на I-SCALARE планируется продолжить; в перспективе может быть создан новый класс антибиотиков, не вызывающих появления устойчивых к ним штаммов бактерий.

Группа ученых химического факультета МГУ им. М. В. Ломоносова под руководством академика Николая Зефирова моделировала на суперкомпьютере структуру белковой оболочки и молекулярную динамику опасных для человека вирусов типа Flavivirus и процессы их взаимодействия с клетками организма. Были построены молекулярные модели мембраны вириона и фрагмента белковой оболочки, включающие миллионы атомов. Это позволило получить недоступную экспериментальными методами информацию о пространственном строении вирусного белка и в динамике проанализировать его поведение, а также связывание с ним молекул, препятствующих слиянию флавивирусов с клетками организма. На основе таких моделей был проведен компьютерный поиск потенциальных ингибиторов слияния вируса клещевого энцефалита и идентифицированы соединения, проявившие необходимую активность в тестах in vitro (вне живого организма). «Впервые найдены молекулы, блокирующие слияние вируса энцефалита с клетками млекопитающих», — подчеркнул Владимир Палюлин, ведущий научный сотрудник химфака.

Этот же коллектив, проводя дизайн новых нейропротекторных веществ, построил модели структуры NMDA-рецептора (это важная биологическая мишень при лечении ряда патологических состояний) и с помощью суперкомпьютера моделирует его молекулярную динамику, а также взаимодействия с известными нейропротекторами (система включает сотни тысяч атомов). Изучив закономерности связи структуры веществ с их активностью, ученые предложили возможный механизм действия модуляторов рецептора и теперь ведут поиск новых перспективных структур с нейропротекторной активностью. В будущем такие структуры могут стать основой препаратов для лечения тяжелых нейродегенеративных заболеваний, например болезни Альцгеймера и шизофрении.

Третья группа исследователей работает в самой лаборатории I-SCALARE над методологией изучения функционирования приложений на суперкомпьютерных системах следующего поколения задолго до их появления на свет. Технологии моделирования основаны на программном пакете Wind River Simics, созданном в одном из подразделений Intel. Проведенные группой эксперименты позволяют охарактеризовать работу приложений на вычислительных комплексах с числом процессорных ядер в 16 раз больше, чем есть в системе физически. То есть на существующем кластере можно изучать системы производительностью до 665 TFLOPS, находя их узкие места и оценивая соответствие аппаратной конфигурации потребностям ученых, а также эффект от мероприятий по оптимизации.

В лаборатории уже исследовали работу приложения для симуляции молекулярной динамики GROMACS (GROningen MAchine for Chemical Simulations). По словам Григория Речистова, сотрудника I-SCALARE, результат оказался «хорошим для биологов и разочаровывающим с точки зрения исследователя вычислительной мощности: GROMACS — это прекрасно написанное приложение, которое будет хорошо масштабироваться». В настоящее время изучается еще один пакет схожего назначения AMBER (Assisted Model Building and Energy Refinement).

Кроме того, cотрудники I-SCALARE уже разработали учебный курс по использованию симуляторов для моделирования различных вычислительных систем.