В Nvidia отреагировали на рост заинтересованности предприятий в мощностях для задач генеративного искусственного интеллекта, представив HGX H200, платформу на базе нового графического процессора компании — H200. Она оснащена 141 Гбайт памяти нового типа HBM3e, чья пропускная способность составляет 4,8 Тбайт/с. Емкость памяти по сравнению с предыдущей ИИ-платформой Nvidia, A100, увеличилась вдвое, а скорость обмена данными — в 2,4 раза. В компании заявляют, что H200 позволит почти удвоить скорость инференса при работе одной из крупнейших на сегодня больших языковых моделей, имеющей 70 млрд параметров.

Начало поставок систем на H200 ожидается во втором квартале 2024 годп. Nvidia предлагает платформу в виде серверных плат с четырьмя и восемью процессорами. Более мощный вариант обеспечивает обработку восьмиразрядных чисел с плавающей запятой FP8 (формат, применяемый в задачах глубинного обучения для оптимизации быстродействия) со скоростью 32 PFLOPS, сообщили в компании.

Одновременно в Nvidia объявили о совместном с HPE создании системы на базе суперкомпьютера HPE Cray и платформы H200, предназначенной для приложений генеративного ИИ. На систему предустанавливается заранее настроенное и протестированное ПО машинного обучения. По оценкам специалистов Nvidia, суперкомпьютер позволит ускорить обучение больших языковых моделей и систем выдачи рекомендаций в два-три раза.