ИИ показывает характер во время игр: Gemini — прагматик, ChatGPT — идеалист

Британские ученые обнаружили существенные различия в стратегическом поведении крупных языковых моделей от OpenAI, Google и Anthropic.

Оставить комментарий

Исследование провели сотрудники Королевского колледжа Лондона и Оксфордского университета. В ходе серии турнирных игр в «дилемму заключенного», ИИ демонстрировали характерные стили поведения, которые исследователи назвали «стратегическими отпечатками».

«Дилемма заключенного» — это классическая модель из теории игр, описывающая ситуацию, в которой два игрока должны выбирать между сотрудничеством и предательством, не зная решения другого. Хотя совместное сотрудничество приносит обоим лучший результат, каждый из игроков имеет стимул предать, чтобы получить выгоду для себя — в итоге, если оба действуют эгоистично, они получают худший исход, чем при сотрудничестве.

Всего ученые провели семь турниров, ИИ-модели сгенерировали более 30 000 решений, и каждая модель играла с учетом полной истории партии, структуры наград и вероятности завершения игры.

ИИ от Google Gemini— показал наибольшую адаптивность. Она изменяла поведение в зависимости от длительности игры и быстро отказывалась от сотрудничества, если предполагалось, что партия может скоро закончиться. В наиболее жестком сценарии, где вероятность окончания игры после каждого хода составляла 75%, Gemini сотрудничала лишь в 2,2% случаев — классический пример рационального поведения в условиях короткой игры.

В отличие от Gemini, модель OpenAI GPT-4o-mini продолжала сотрудничать почти в каждом раунде — даже в неблагоприятных условиях, что часто приводило к ее поражению. При этом модель часто прощала противника, возвращаясь к кооперации до 47% случаев, даже после того как была обманута.

ИИ от Anthropic — Claude 3 Haiku — заняла промежуточную позицию между прагматизмом и идеализмом. Она отличалась стремлением к сотрудничеству, но при этом демонстрировала стратегическую гибкость: быстро возвращалась к совместным действиям после конфликта и при этом часто обыгрывала GPT. Claude также оказался самой «прощающей» моделью: в 63% случаев она соглашалась на повторное сотрудничество даже после предательства.

Все модели предоставляли текстовые объяснения своих решений. Анализ показал, что они учитывали количество оставшихся раундов, оценивали поведение соперников и принимали решения на основе этих факторов. Gemini, например, упоминала короткий горизонт игры в 98,6% случаев, когда вероятность окончания была высокой.

Исследователи считают, что эти различия свидетельствуют о том, что ИИ обладают настоящими стратегическими способностями, а не просто повторяют запомненные шаблоны. Интересно, что когда модели играли только друг с другом, уровень сотрудничества резко возрастал — модели «понимали», что взаимная кооперация выгоднее соперничества.

Наставничество умирает: ИИ и удалёнка разрушают офисное обучение
По теме
Наставничество умирает: ИИ и удалёнка разрушают офисное обучение
ИИ за полгода лишил работы 94 000 айтишников, первыми страдают программисты
По теме
ИИ за полгода лишил работы 94 000 айтишников, первыми страдают программисты
«Что за фигня?»: менеджер Microsoft посоветовал уволенным искать работу с помощью ИИ 
По теме
«Что за фигня?»: менеджер Microsoft посоветовал уволенным искать работу с помощью ИИ

Читать на dev.by