К-1000 — самый мощный и в странах бывшего СССР, и в странах Восточной Европы

СКИФ К-1000 — кластерная система суперкомпьютерного уровня, построенная по сегодняшним «классическим канонам». Во-первых, этот вычислительный комплекс базируется на монтируемых в стойки 1U-серверах, что обеспечивает компактность и удобство установки. Во-вторых, в узлах используются двухпроцессорные серверы (для мощных кластеров это классика) на базе 64-разрядных процессоров AMD Opteron (модель 242, тактовая частота 2,2 ГГц). Данные процессоры весьма популярны в высокопроизводительных вычислительных системах, поскольку кроме высокой скорости и относительно небольшого энергопотребления обладают еще одной важной особенностью — отсутствие конфликтов на системной шине по доступу к оперативной памяти.

Наконец, в-третьих, в К-1000 применяется межсоединение Infiniband (см. рис.). Конечно, Infiniband еще нельзя отнести ни к классике, ни даже к «новейшей классике»: инсталляций подобных кластеров в мире пока немного, однако Infiniband за последний год начал набирать обороты, и имеет шансы потеснить специализированные кластерные межсоединения типа Quadrics или Myrinet.

Толстое дерево СКИФА

И применяемую в К-1000 топологию «толстого дерева» (обеспечивающую высокую половинную пропускную способность — скорость, с которой одна половина узлов К-1000 может обмениваться данными с другой половиной), и компанию-производителя используемого оборудования (Mellanox) также можно отнести к классике мира Infiniband-решений.

В качестве операционной системы была выбрана SuSE Linux Enterprise Server 8, дистрибутивы SuSE Linux для платформы x86-64 очень популярны.

Всего в К-1000 имеется 288 вычислительных узлов и, соответственно, 576 процессоров с суммарной пиковой производительностью 2,5 TFLOPS. Емкость оперативной памяти узла равна 4 Гбайт (8 модулей по 0,5 Гбайт), итого около 1 Тбайт на весь кластер. В узлах используются IDE-диски емкостью по 80 Гбайт; дисковое пространство кластера имеет общий объем порядка 23 Тбайт.

Кроме собственно вычислительных узлов, в К-1000 имеется один выделенный управляющий узел, по характеристикам весьма близкий к вычислительным узлам, но с двумя SCSI-дисками емкостью по 36 Гбайт с возможностью «горячей замены». Управляющий узел не продублирован (вероятно, это нарушило бы общую схему построения К-1000, которая, кстати, позволяет осуществлять шестикратное масштабирование путем подсоединения еще пяти таких же 288-узловых кластеров). Зато в распоряжении пользователей (сейчас К-1000 стоит в белорусском НИИ ЭВМ) имеется три запасных узла — и это при том, что наработка на отказ составляет два узла в год. Российская компания «Т-платформы», которая являлась разработчиком и поставщиком узлов (она создала, в частности, термодизайн узлов) и поставщиком оборудования Infiniband, предоставила на все компоненты памяти пятилетнюю гарантию. В создании К-1000, кроме НИИ ЭВМ и «Т-платформы», участвовали ОИПИ НАН (Минск) и ИПС РАН (Переславль-Залесский).

В узлах использованы двухпортовые адаптеры Infiniband 4x — MHXL-CF128 (128 Мбайт DDR-памяти на адаптер) и 24-портовые коммутаторы MTS-2400. Коммутаторы образуют двухуровневую систему: к 24 коммутаторам нижнего уровня (leaf) непосредственно подключаются узлы, а коммутаторы верхнего уровня (core) в количестве 12 штук обеспечивают соединение между собой коммутаторов нижнего уровня.

Кроме межсоединения Infiniband, применяемого для распараллеливания задач, используется вспомогательная сеть Gigabit Ethernet, также построенная по двухуровневой системе: 24-портовые коммутаторы D-Link DGS-1224T (всего 16 штук) на нижнем уровне, и два объединенных в стек коммутатора D-Link DGS-3324SR, то есть имеющих «общую шину» с пропускной способностью 40 Гбит/с — на верхнем уровне.

Наконец, имеется управляющая сеть на базе плат Servnet, разработанных в рамках российско-белорусского проекта СКИФ. Эти платы «связаны» в линию RS-485, и их задача — обеспечить выполнение управляющих функций наподобие включения или отключения питания или сброса на узлах кластера.

Нетрудно понять, что К-1000 требует подключения большого числа кабелей; для Gigabit Ethernet их 326 штук, а для Infiniband — и того больше, 576. Кластер состоит из восьми стоек, и кабели, соединяющие стойки, проложены по верху этих стоек.

На тестах Linpack parallel (решение системы из большого числа линейных уравнений) была достигнута производительность 2,0 TFLOPS. Видно, что создатели К-1000 не стремились к «рекорду ради рекорда». Более высокого показателя на этих тестах можно было бы достигнуть, наверное, при использовании процессоров Intel Xeon/Nocona, обладающих повышенной пиковой производительностью из-за более высокой тактовой частоты; однако на распространенных приложениях Opteron часто оказывается быстрее.

Общая победа

Войти в сотню лучших удалось силами четырех организаций: белорусских ОИПИ НАН (Объединенный институт проблем информатики Национальной академии наук) и НИИ ЭВМ и российских ИПС РАН (Институт программных систем Российской академии наук) и компании «Т-Платформы». При этом проект кластера был создан в стенах ОИПИ НАН, а разработка и производство вычислительных узлов кластера, а также сборка и установка тестовой конфигурации системы была осуществлена российской стороной.

Процесс создания СКИФ К-1000 был разбит на несколько этапов: с декабря прошлого года по март нынешнего проводилось исследование вариантов и разработка концепции, апрель ушел на подготовку технических требований, май — на подготовку тендерной документации и проведение тендера. Последний этап, продлившийся с 15 июля по 1 октября, был посвящен непосредственно изготовлению кластера.

Основные технические характеристики СКИФ К-1000

Число вычислительных узлов/процессоров: 288/576
Тип процессора: AMD Opteron 2,2 Ггц
Пиковая производительность: 2,534 Tflops
Производительность на тесте Linpack: 2,032 Tflops (80,1% от пиковой)
Цена/пиковая производительность: 700 тыс. долл./1 TFlops
Оперативная память: 288 х (8 х 0,5 Гбайт) = 1 152 Гбайт
Дисковая память: 288 х 80 Гбайт = 23 040 Гбайт
Объем: 8 стоек, 36 узлов в стойке
Занимаемая площадь: 6 м2
Потребляемая мощность в режиме максимальной нагрузки: 89 кВт
Потребляемая мощность в режиме простоя: 73 кВт
Уровень шума: 84 Дб
Производительность системы охлаждения: 16 000 м3/час
Вес установки: 6,5т
Суммарная длина кабельных соединений: более 2 км