Навукоўцы праверылі, ці зможа АІ замяніць геймера ў гульні Red Dead Redemption 2

Задача навукоўцаў палягала ў навучанні мадэлі GPT-4V узаемадзейнічаць з камп’ютарам і ўспрымаць візуальныя і гукавыя сігналы, як гэта робіць звычайны геймер. Для эксперыменту даследчыкі выбралі гульню Red Dead Redemption 2 (RDR2), так як яна мае «складаную сістэму кіравання чорнай скрыняй, якая ўвасабляе ў сабе самыя патрабавальныя камп’ютарныя задачы і дазваляе нам ацаніць межы прадукцыйнасці нашай платформы ў такіх віртуальных асяроддзях».

Складанасць навучання палягала ў механіцы карыстальніцкага інтэрфейсу, паколькі дыялогі, унікальныя значкі, падказкі і інструкцыі патрабуюць разумення гульнявога працэсу. Сістэма не можа абысціся пры праходжанні гульні толькі базавымі ведамі, таму RDR2 выдатна падыходзіць для навучання АІ. Мадэль трэніравалася на ўзаемадзеянні з мышшу і клавіятурай і не мела доступу да якога-небудзь унутранага стану гульні або API.

Навукоўцы распрацавалі мультымадальнага агента CRADLE — інтэрфейс паміж GPT-4V і RDR2. Агент мог «паслядоўна выконваць усе задачы асноўнай сюжэтнай лініі», аднак адчуваў цяжкасці з праходжаннем місій з інтэнсіўнай перастрэлкай, а таксама шматэтапных місій з адкрытым фіналам. Магчымасці «прасторава-візуальнага распазнання» GPT4-V абмежаваныя: мадэль не справілася са спецыфічнымі канцэпцыямі: унікальнымі значкамі ў гульні, міні-картамі і агульнымі перашкодамі ў гульнявым асяроддзі.