Процессоры SambaNova основаны на нетрадиционной архитектуре потоков данных. У них нет стандартного набора команд, и они программируются под конкретные модели, что дает возможность создавать специализированные и в высокой степени оптимизированные ускорители вычислений. Новый процессор SambaNova SN40L способен, как утверждают в компании, работать с большой языковой моделью с 5 трлн параметров и длиной последовательности больше 256 тыс. токенов.

SN40L состоит из 51 млрд транзисторов (в предыдущей модели было 43 млрд) и оснащен 64 Гбайт памяти HBM, а также 768 Гбайт памяти DDR5. Увеличение объема памяти и появление памяти HBM, которой не было у предыдущих моделей — основные факторы повышения производительности процессора. Память HBM служит буфером между основным объемом памяти и процессором.

Вместе с процессорами SambaNova поставляет полный набор программного обеспечения: предварительно обученные языковые модели с открытым исходным кодом (в том числе модель Llama 2), которые пользователи могут дополнительно обучить под свои задачи и пакет SambaFlow для анализа и оптимизации работы процессора.