Nvidia выпустила линейку открытых ИИ-моделей до 500 млрд параметров

Линейка Nemotron 3 включает три модели. Nemotron 3 Nano с 30 миллиардами параметров ориентирована на узкие и высокоэффективные задачи. Nemotron 3 Super с 100 миллиардами параметров предназначена для многоагентных сценариев и задач с повышенными требованиями к логическому рассуждению. Nemotron 3 Ultra — крупнейшая версия с примерно 500 миллиардами параметров, рассчитанная на сложные приложения и масштабные агентные системы.

В Nvidia подчеркнули, что гибридная MoE-архитектура позволяет повысить масштабируемость и снизить стоимость инференса. По данным компании, новая архитектура обеспечивает до четырехкратного роста пропускной способности по токенам по сравнению с Nemotron 2 Nano и сокращает количество токенов, генерируемых в процессе рассуждения, примерно на 60%. Это снижает требования к памяти и ускоряет работу моделей.

Для моделей Super и Ultra компания также внедрила так называемый latent MoE — подход, при котором «эксперты» в модели используют общее ядро и сохраняют лишь небольшую часть параметров как приватные. Это позволяет дополнительно повысить эффективность без потери качества. Обучение крупных моделей проводилось с использованием 4-битного формата NVFP4, что дало возможность тренировать их на существующей инфраструктуре без снижения точности.

Ранними пользователями Nemotron 3 стали Accenture, CrowdStrike, Deloitte, EY, Oracle Cloud Infrastructure, Palantir, Perplexity, ServiceNow, Siemens и Zoom. По результатам независимых бенчмарков Artificial Analysis модели Nemotron 3 заняли высокие позиции среди решений сопоставимого размера.

В компании заявили, что делают ставку на открытые модели, чтобы дать разработчикам больше прозрачности и контроля над обучением и донастройкой ИИ. Глава Nvidia Дженсен Хуанг заявил, что открытые инновации остаются фундаментом прогресса в ИИ, а Nemotron должен стать платформой для создания масштабируемых агентных систем.