Конец человеческих данных: Google заявила о начале новой эпохи ИИ

В своей работе Сильвер и Саттон выделяют два предыдущих этапа в развитии современного ИИ. Первый, «эра симуляции», пришелся на середину 2010-х годов и характеризовался использованием цифровых симуляций для обучения ИИ-моделей через многократное повторение игр, таких как шахматы, покер и Atari

Примером этого периода является разработка Google AlphaGo, модели, которая научилась играть в го лучше, чем человек. Этот подход, основанный на обучении с подкреплением, позволил создавать модели, которые отлично справлялись с конкретными задачами с четко определенными наградами, но испытывали трудности в более общих и открытых сценариях.

Второй эрой авторы называют текущую «эру человеческих данных». Этот период характеризуется обучением ИИ-моделей на огромных массивах данных, созданных человеком в интернете. Именно этот подход привел к появлению ChatGPT и других мощных генеративных ИИ-инструментов. Ключом к успеху стал сбор как можно большего объема высококачественных человеческих данных.

Однако Сильвер и Саттон считают, что «эра человеческих данных» имеет свои ограничения. По их мнению, зависимость от существующих человеческих знаний устанавливает «потолок» для производительности агентов, не позволяя им выйти за пределы известного. Авторы также отмечают проблему растущего дефицита  данных, которые не могут удовлетворить спрос со стороны ИИ-разработчиков.

В качестве решения этих проблем исследователи Google предлагают перейти к «эре опыта». В этой новой парадигме ИИ-модели и агенты будут взаимодействовать с реальным миром и самостоятельно генерировать новые данные. Это позволит не только решить проблему нехватки данных, но и приблизиться к достижению AGI (искусственного общего интеллекта), где машины смогут превосходить человека в большинстве сфер.

Авторы приводят примеры того, как это может работать. ИИ-помощник по здоровью мог бы определять цели человека на основе комбинации таких показателей, как частота сердечных сокращений в покое, продолжительность сна и уровень активности. Образовательный помощник мог бы использовать результаты экзаменов в качестве стимула для изучения языка. Научный агент, стремящийся снизить глобальное потепление, мог бы использовать эмпирические наблюдения за уровнем углекислого газа в качестве награды.