Исследователи из Nvidia совместно с учеными из Стэнфорда, Калифорнийскогго технологического института и других научных центров представили NitroGen — универсальную игровую ИИ-модель, способную играть практически в любые видеоигры.
Исследователи из Nvidia совместно с учеными из Стэнфорда, Калифорнийскогго технологического института и других научных центров представили NitroGen — универсальную игровую ИИ-модель, способную играть практически в любые видеоигры.
NitroGen описывают как попытку создать «GPT для действий» — фундаментальную модель, обученную не языку, а управлению и принятию решений в динамических средах. В основе системы лежит архитектура GROOT N1.5, изначально разработанная для робототехнических задач. Использование этой архитектуры в видеоиграх позволяет проверить универсальность модели и затем перенести полученные навыки обратно в физический мир, например, в роботов, работающих в непредсказуемых условиях.
Для обучения NitroGen команда использовала десятки тысяч часов публичных геймплей-видео. Особенно ценными оказались записи, где стримеры накладывали на видео свои действия с геймпадом в реальном времени, что позволило связать визуальное восприятие с конкретными управляющими командами. В результате модель научилась справляться с играми самых разных жанров: от платформеров и RPG до гонок и королевских битв, как в 2D, так и в 3D-среде.
На текущем этапе NitroGen делает акцент на быстром моторном контроле — так называемом «геймерском инстинкте». Тем не менее в тестах модель показала уверенную работу в ранее не виденных играх и процедурно генерируемых мирах, заметно превосходя системы, обученные с нуля. По словам разработчиков, это только первый шаг, и до по-настоящему универсальных агентов еще далеко.
Весь проект NitroGen выложен в открытый доступ: опубликованы веса модели, датасет действий и исходный код. Авторы призывают исследователей и энтузиастов экспериментировать с системой, рассматривая её не только как игровой ИИ, но и как фундамент для будущих решений в робототехнике и автономных агентных системах.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это гибрид двух нейронок. Первая берет скриншот, разбивает на кусочки и кодирует в вектора чисел точно так же, как это делает LLM с текстом. Visual Transformer. Они пробовали на цепочке скриншотов, но оказалось, что с одним последним работает не хуже. Кодировать много скриншотов сильно сложнее. Вторая - diffusion модель, которая берет случайный шум и "проявляет" его в цепочку действий, используя результат первой как шаблон. Агент ее "играет".
Как обычно со всеми этими нейронками - странно, что это вообще работает. Но работает.