Даже самые мощные большие языковые модели работают, подбирая наиболее вероятное слово после текущего. Это хорошо подходит для облачных распределенных инфраструктур, но при локальном выполнении на одном GPU его ресурсы могут расходоваться неэффективно. В этой связи уже какое-то время ведутся исследования в области синтеза полного текста методом «диффузии» по аналогии с изображениями: ИИ-генераторы формируют случайный шум, а потом проход за проходом «проявляют» нужную картинку.

До недавнего времени эксперименты с текстовой диффузией не приносили удовлетворительных результатов, но на днях Google представила работающую по этой схеме модель DiffusionGemma, объявив, что она обеспечивает вчетверо более высокую скорость инференса по сравнению с традиционными LLM при локальном выполнении на мощном GPU. В пример в Google приводят Nvidia RTX 5090 с 18 Гбайт видеопамяти.

В числе основных применений, в которых DiffusionGemma дает преимущество, в Google называют генерацию кода почти в реальном времени, редактирование готовых текстов и кода, создание нелинейных текстовых структур и др. В компании подчеркивают, что модель оптимизирована как для потребительских GPU компании Nvidia, так и для систем корпоративного класса на базе архитектур Hopper и Blackwell.