DeepMind научили AI выигрывать игры, не зная правил

В 2016 году программа AlphaGo, обученная DeepMind на записях игровых матчей между людьми, смогла обыграть лучших мировых профессионалов по игре го. Новый вариант алгоритма, AlphaGo Zero, тренировался уже без участия человека, играя сама с собой. За ним последовал AlphaZero — единый алгоритм, умеющий играть в шахматы, сёги и го. Все три версии заранее знали правила игр, с которыми работали.

Последняя разработка DeepMind под названием MuZero в правилах не нуждается: алгоритм способен сам познавать их в процессе обучения, планировать ходы и выигрывать. Кроме того, ему под силу игры Atari. После обучения MuZero показывает равные или даже более высокие результаты по сравнению с предшественниками.

Цель исследователей — создать единый алгоритм, который позволит AI рассчитывать дальнейшие действия, не зная правил и условий в тех или иных обстоятельствах. Это довольно сложно реализовать для головоломок вроде шахмат или го, где конкретная последовательность шагов приводит к победе или поражению. В жизненных ситуациях неопределённости гораздо больше, поэтому для обработки вариантов поведения умным системам нужен ещё более мощный алгоритм.

Чем больше времени алгоритму давалось на раздумье, тем эффективнее его были решения. Но даже с ограничениями — исследователи поставили лимит на количество симуляций, который алгоритму разрешалось «прогнать» перед тем, как сделать ход, — MuZero добился хороших показателей.

Что касается прикладной пользы MuZero, в DeepMind считают, что сможет применяться для решения сложных задач, например, в робототехнике.