Когда в Большом адронном коллайдере в  CERN сталкиваются частицы, миллионы датчиков регистрируют происходящее, генерируя около петабайта данных в секунду. Этот объем данных чересчур велик, чтобы хранить его даже во Всемирной grid-сети вычислений и хранения CERN, говорит руководитель отдела ИТ-коммуникаций Жан-Мишель Жуаниго. Поэтому целиком его и не сохраняют.

Большой адронный коллайдер — самый крупный в мире ускоритель частиц, которые сталкиваются в нем друг с другом на скорости 99,9999%  от световой. Данные регистрируются на четырех пунктах 27-километрового кольца коллайдера, известных как ATLAS, LHCb, CMS и ALICE. На каждом из них выполняются свои эксперименты и каждый содержит собственную систему сбора данных, состоящую из миллионов датчиков.

В CERN очень гордятся тем, что их вычислительная система работает, как швейцарские часы. Фото: CERN
В CERN очень гордятся тем, что их вычислительная система работает, как швейцарские часы. Фото: CERN 

Как объясняет Жуаниго, невозможно сохранить все генерируемые данные, но в полном объеме они и не нужны для экспериментов, поэтому CERN попросту удаляет большую их часть.

Каждая из четырех систем сбора данных оснащена отдельной серверной фермой для фильтрации событий, отбирающей необходимые данные из всей массы. «Задача при этом — постараться не пропустить что-то интересное», — отмечает Жуаниго. То, что остается, отправляется в головной компьютерный центр по волоконно-оптической сети.

Объемы отфильтрованных данных, порождаемых разными экспериментами, различаются. Самый трафикоемкий -- ATLAS, он генерирует 320 Мбайт/с. За ним следуют CMS  (220 Мбайт/с), ALICE  (100 Мбайт/c) и LHCb (50 Мбайт/с). Эти объемы данных вырабатываются, когда коллайдер сталкивает друг с другом протоны, но, по словам Жуаниго, у ускорителя есть еще один режим работы, когда сталкиваются ионы свинца, гораздо более тяжелые частицы. В этом режиме всеми четырьмя экспериментами генерируется больше данных — примерно 1,25 Гбайт/с в общей сложности.

После фильтрации CERN остается сохранить до 25 Пбайт в год. Большая часть этого объема записывается на ленту в целях экономии энергии: по утверждению Жуаниго, годовой счет научного комплекса за электричество «уступает по величине разве что суммарной зарплате персонала».

Емкость ленточной библиотеки центра обработки данных CERN — 34 Пбайт. Она состоит из 160 накопителей и 45 тыс. картриджей. Жуаниго пользуется ленточными накопителями производства IBM и Oracle/StorageTek, так как, по его сведениям, эти компании выпускают самые вместительные накопители на рынке. Чтобы приобретать системы смены картриджей по выгодной цене, Жуаниго устраивает между IBM и StorageTek конкурсы.

Данные в CERN также хранятся на жестких дисках: общая емкость систем хранения компьютерного центра научного комплекса — 45,4 Пбайт, количество накопителей в нем — 53 728.

Чтобы анализировать весь этот объем, понадобилась бы вычислительная мощность, эквивалентная примерно 100 тыс. самых быстрых процессоров для ПК, но компьютерный центр CERN может обеспечить лишь 20% требуемых ресурсов.

Поэтому остальные данные распределяются между компьютерными центрами по всему миру посредством Всемирной вычислительной grid-сети Большого адронного коллайдера. Частично данные передаются по собственной волоконно-оптической сети CERN, а частично — по арендуемым оптическим каналам в Европе, США и Азиатско-Тихоокеанском регионе.

Вычислительная сеть CERN делится на несколько уровней (Tiers). Нулевой уровень  -- это Компьютерный центр CERN, который выполняет роль головного концентратора всех данных. Из него информация перемещается на уровень 1 — кольцо, состоящее из 11 центров обработки данных: два  находятся в США; по одному во Франции, Италии, Голландии, Германии, Испании, Великобритании, Канаде и на Тайване; один распределенный ЦОД в Скандинавских странах. Эти центры обрабатывают, анализируют и хранят «сырые» данные, готовя их для уровня 2, который состоит из примерно 160 центров, используемых учеными для доступа к информации и ее обработки.

 Grid-сеть CERN состоит из множества ЦОД по всему миру, но для пользователя она выглядит как единая система. Добиться этого удается благодаря связующему программному обеспечению, которое объединяет оборудование всех центров в grid и представляет его в виде единого гигантского виртуального ресурса.

Все связующее ПО имеет открытый код, основу которого составляет проект инструментария построения grid-сетей Globus Toolkit. В ЦОД в Европе и Азии используется вариант G.Lite, а в Скандинавских странах применяется программная система ARC. Сегодня grid-сеть CERN способна ежедневно выполнять от 500 тыс. до 1 млн задач, но этот показатель будет неуклонно расти по мере появления в сети новых вычислительных ресурсов и технологий.

Система обработки данных Большого адронного коллайдера бесперебойно работала с самого начала, в отличие от самого коллайдера, в котором после первого запуска вышла из строя большая секция ускорителя из-за некачественного сварочного шва в гелиевой системе охлаждения.

«Мы строго следуем нашим планам и очень гордимся тем, что вычислительная система CERN работает, как швейцарские часы», — заявляет Жуаниго.