В AMD выпустили графические ускорители Instinct MI350, предназначенные для выполнения рабочих нагрузок и приложений агентного ИИ в корпоративных центрах обработки данных заказчиков этой компании.

Instinct MI350P — это двухслотовые карты с интерфейсом PCIe для стандартных серверов с воздушным охлаждением. Они должны обеспечить поддержку локального формирования логических выводов в уже имеющейся инфраструктуре дата-центров, включая серверные стойки, системы электропитания и охлаждения.

Это первые за четыре года ускорители AMD с технологией Instinct для шины PCIe. Традиционно графические процессоры Instinct выпускались до сих пор в виде серверных модулей в стандартном для ускорителей AMD Instinct формате OAM (Open Accelerator Module), предусматривающем объедение восьми графических процессоров на общей плате Universal Baseboard. Новые же ускорители – это полноразмерные карты PCIe Gen5 x16 с пассивным воздушным охлаждением и TDP 600 Вт, которые могут быть установлены в корпус любого сервера с высотой не менее 2U. Они позволяют корпоративным клиентам начинать работу с ИИ, используя всего одну карту, а не сразу восемь графических процессоров, как это обычно предлагали решения AMD.

Тем не менее, в одном сервере можно установить до восьми карт Instinct MI350P PCIe, каждая из которых оснащена памятью HBM3E емкостью 144 Гбайт с пропускной способностью до 4 Тбайт/с. Это, согласно AMD, делает их применение весьма удобным решением для постепенного масштабирования, развертывания малых, средних и больших моделей ИИ, формирования логических выводов и конвейеров RAG.

Новые карты лидируют среди корпоративных PCIe-ускорителей по пиковой производительности с базовым показателем 2299 TFLOPS и максимальным значением 4600 TFLOPS при работе с операндами MXFP4 (4-битный формат с упаковкой). Они поддерживают технологию структурированной разреженности (structured sparsity), при которой игнорируются нулевые веса в нейросетях, ускоряя вычисления более чем в два раза. Поддержка разреженности означает, что форматы данных с более высокой точностью, такие как INT8 и BF16, обрабатываются с более высокой производительностью, поясняют в AMD.

Карта Instinct MI350P с одним графическим процессором способна обрабатывать большие языковые модели с 200–250 млрд параметров, а установка до восьми графических процессоров в сервере предоставляет возможность выполнять задачи логического вывода для языковых моделей увеличенных форматов, а также крупные рабочие нагрузки RAG. Новые карты также поддерживают весь стандартный стек открытого программного обеспечения ROCm, который в AMD предлагают для других продуктов Instinct и Radeon.

О дате выхода карт Instinct MI350P и их стоимости в AMD пока не сообщили.