Даследчыкі з Nvidia сумесна з навукоўцамі са Стэнфарда, Каліфарнійскага тэхналагічнага інстытута і іншых навуковых цэнтраў прэзентавалі NitroGen — універсальную гульнявую ШІ-мадэль, здольную гуляць практычна ў любыя відэагульні.
Даследчыкі з Nvidia сумесна з навукоўцамі са Стэнфарда, Каліфарнійскага тэхналагічнага інстытута і іншых навуковых цэнтраў прэзентавалі NitroGen — універсальную гульнявую ШІ-мадэль, здольную гуляць практычна ў любыя відэагульні.
NitroGen апісваюць як спробу стварыць «GPT для дзеянняў» — фундаментальную мадэль, навучаную не мове, а кіраванню і прыняццю рашэнняў у дынамічных асяроддзях. У аснове сістэмы ляжыць архітэктура GROOT N1.5, першапачаткова распрацаваная для робататэхнічных задач. Выкарыстанне гэтай архітэктуры ў відэагульнях дазваляе праверыць універсальнасць мадэлі і затым перанесці атрыманыя навыкі назад у фізічны свет, напрыклад, у робатаў, якія працуюць у непрадказальных умовах.
Для навучання NitroGen каманда выкарыстала дзясяткі тысяч гадзін публічных геймплэй-відэа. Асабліва каштоўнымі аказаліся запісы, дзе стрымеры накладвалі на відэа свае дзеянні з геймпадам у рэальным часе, што дазволіла звязаць візуальнае ўспрыманне з канкрэтнымі кіруючымі камандамі. У выніку мадэль навучылася спраўляцца з гульнямі самых розных жанраў: ад платформераў і RPG да гонак і каралеўскіх бітваў, як у 2D, так і ў 3D-асяроддзі.
На бягучым этапе NitroGen робіць акцэнт на хуткім маторным кантролі — так званым «геймерскім інстынкце». Тым не менш у тэстах мадэль паказала ўпэўненую працу ў раней не бачаных гульнях і працэдурна генераваных светах, значна перавышаючы сістэмы, навучаныя з нуля. Па словах распрацоўшчыкаў, гэта толькі першы крок, і да па-сапраўднаму ўніверсальных агентаў яшчэ далёка.
Увесь праект NitroGen выкладзены ў адкрыты доступ: апублікаваны вагі мадэлі, датасэт дзеянняў і зыходны код. Аўтары заклікаюць даследчыкаў і энтузіястаў эксперыментаваць з сістэмай, разглядаючы яе не толькі як гульнявы ШІ, але і як фундамент для будучых рашэнняў у робататэхніцы і аўтаномных агентных сістэмах.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это гибрид двух нейронок. Первая берет скриншот, разбивает на кусочки и кодирует в вектора чисел точно так же, как это делает LLM с текстом. Visual Transformer. Они пробовали на цепочке скриншотов, но оказалось, что с одним последним работает не хуже. Кодировать много скриншотов сильно сложнее. Вторая - diffusion модель, которая берет случайный шум и "проявляет" его в цепочку действий, используя результат первой как шаблон. Агент ее "играет".
Как обычно со всеми этими нейронками - странно, что это вообще работает. Но работает.