ИИ наделили «внутренним монологом» — результаты значительно улучшились

Метод отличается от подхода к тренировке традиционных чат-ботов вроде ChatGPT, которые не «думают» о том, что выдают, и не предвидят возможные варианты следующих шагов в беседе.

По методу Quiet-STaR ИИ-система «про себя» генерирует множество параллельных рассуждений, прежде чем ответить. При ответе ИИ генерирует комбинацию предсказаний с и без этих логических обоснований и выдаёт лучший ответ, который далее может быть проверен человеком в зависимости от сущности вопроса. В процессе обучения ИИ отбрасывает рассуждения, которые оказались ошибочными. По сути, метод даёт ИИ-агентам возможность предсказывать дальнейшие диалоги и учиться на текущих.

Метод проверили на опенсорсной языковой модели Mistral 7B. Обученная по нему версия модели показала результат в 47,2% в тесте на мыслительные способности против 36,3% до обучения. Школьный тест по математике она всё равно «завалила», набрав лишь 10,9%, но это почти вдвое лучше 5,9% до обучения.

Исследователи отмечают, что метод может применяться «в фоне» к различным типам моделей независимо от характера исходных обучающих данных. Теперь они намерены изучить, как подобные методы могут приблизить ИИ-системы на базе нейросетей и человеческим мыслительным способностям.