В Nvidia создали ряд собственных больших языковых моделей, в том числе семейство моделей с открытыми весами Nemotron, лицензия которых разрешает свободную загрузку и модификацию. Компания также продвигает открытые технологии ИИ и безопасности через основанные ею консорциумы Nemotron Coalition и Open Secure AI Alliance. Участники Nemotron Coalition развивают базовую модель, делясь фундаментальными наработками и наборами данных.

Как объясняют в Nvidia, открытые модели дают возможность предприятиям и государствам изучать их и адаптировать с помощью собственных данных. В первую очередь Nemotron создана для нужд самой компании — чтобы тестировать работу систем Nvidia под очень большой нагрузкой при обучении и инференсе для оптимизации архитектуры и затрат ресурсов на генерацию токенов. Но в то же время открытые модели способствуют снижению барьеров входа, появлению новых стартапов и разработчиков, формированию процветающей экосистемы, отмечают в компании.

Кроме того, Nemotron дает возможность регионам, не имеющим доступа к мощным кластерам для обучения, сразу получить модель, уже обученную «на содержимом всего Интернета», объясняют в Nvidia. Свободную модель можно дообучить на локальных данных, получив тем самым основу для суверенного ИИ, добавляют в компании.

Nemotron доступна в трех вариантах с разным количеством параметров — Nano, Super и Ultra. Самый компактный из них может работать даже на ноутбуке, благодаря чему стартапы могут начинать разработку без дополнительных вложений, отмечают в Nvidia. При этом для каждого из вариантов доступны несколько файлов весов с разным уровнем квантования, от 4 до 16 разрядов. При меньшем уровне точность ответов модели несколько снижается, но зато она может работать на гораздо менее мощном оборудовании. В связи с этим, как отмечают в Nvidia, особой популярностью пользуется вариант с максимальным количеством параметров и с 4-разрядным квантованием.

В компании отметили, что отслеживают форки Nemotron на Hugging Face — платформе, которая стала своего рода GitHub для мира ИИ. Судя по этим проектам, индустрия переживает тектонический сдвиг: буквально за несколько месяцев фокус разработки сместился от простых чат-ботов к автономным агентным системам.