Новый суперкомпьютер в МГУ вошел в Top500

Количество задач в постоянно растущей очереди к установленным в МГУ суперкомпьютерам «Чебышев» и «Ломоносов» исчисляется сотнями. Однако мощности новой мультипетафлопсной системы планируется использовать, во многом, для наиболее крупных и ресурсоемких расчетов, способных использовать сотни процессоров одновременно.

Суперкомпьютерный центр МГУ видит свою задачу в освоении передовых отечественных технологий и поддержании вычислительных мощностей центра на конкурентоспособном мировом уровне. Ввод в строй новой системы в первую очередь позволит приступить к созданию и обработке более комплексных компьютерных моделей, чем было возможно до сих пор, а также значительно разгрузит «Ломоносов» и снизит время ожидания задач в очереди.

В основе нового суперкомпьютера МГУ – уникальные российские аппаратные разработки. Вычислительная часть системы построена на базе суперкомпьютерных платформ A-Class, которые позволяют размещать до 535 терафлопс процессорной мощности в одной стойке, по плотности вычислений далеко превосходя иностранные аналоги. A-Class – суперкомпьютер «уровня стойки», где все элементы тесно интегрированы внутри специально разработанного вычислительного шкафа, который охлаждается «горячей водой». 192 таких стойки можно объединить в суперкомпьютер пиковой производительностью более 100 петафлопс.

В новом суперкомпьютере МГУ всего пять вычислительных стоек с 1280-ю узлами на базе 14-ядерных процессоров Intel Xeon E5-2697 v3 и ускорителей NVIDIA Tesla K40 с общей емкостью оперативной памяти более 80 Тбайт. В системе две независимые управляющие сети стандарта Ethernet и две сети FDR InfiniBand. Одна из них используется для MPI-трафика и имеет современную топологию  Flattened Butterfly, которая не только лучше масштабируется на системах большого размера, но и позволяет снизить количество используемых сетевых коммутаторов, сокращая стоимость сетевой инфраструктуры до 40% по сравнению с традиционными топологиями. Вторая сеть InfninBand используется для доступа к данным и имеет стандартную топологию Fat Tree с более высокой пропускной способностью. Двухуровневая система хранения включает хранилище расчетных данных емкостью 400 Тбайт на базе параллельной файловой системы Lustre и отдельные серверы доступа для более производительной работы с файлами для загрузки и результатами расчетов.    

Каждая стойка суперкомпьютера потребляет около 130кВт и охлаждается водой с температурой 45°С, которая подводится в радиаторы, тесно прилегающие к вычислительным платам. Контур водяного охлаждения построен с применением бескапельных разъёмов, а все гидравлические и электрические компоненты разнесены в пространстве и защищены. Помимо более высокой плотности вычислений на стойку и снижения уровня шума в машинном зале, «горячая вода» позволяет сократить количество потребляемого всем суперкомпьютерным комплексом электричества, а также круглый год применять режим так называемого «свободного охлаждения». Это снижает стоимость инженерной инфраструктуры центра, т.к. вместо дорогостоящих и энергоемких холодильных машин суперкомпьютер может охлаждаться обычным воздухом снаружи.

Суперкомпьютер устанавливается в здании Ломоносовского корпуса МГУ рядом с Фундаментальной библиотекой, где уже построена инженерная инфраструктура, рассчитанная на отвод  12 МВт тепла, при этом плотность энергетической мощности на единицу площади – более 12 кВт/м2 – превышает среднюю по отрасли почти в 3 раза. Эта инфраструктура позволит увеличить производительность нового суперкомпьютера МГУ до десятков петафлопс.

Доступа к новому суперкомпьютеру уже ожидают масштабные исследовательские проекты в области медицины (например, моделирование молекулярных процессов в живой клетке), инженерных расчетов (среди них – сложнейшие проблемы вихревой аэродинамики и анализа процессов горения), а также астрофизики, материаловедения, энергетики и многих других областей.