Учёные создали новую технику под названием Quiet-STaR, которая заключается в том, чтобы ИИ-система «подумала», прежде чем выдать ответ на запрос — подобно тому, как люди продумывают, что ответить собеседнику. Своего рода «внутренний монолог» позволил улучшить качество общих рассуждений и вдвое повысить результативность на математических задачах, пишет Live Science.
Учёные создали новую технику под названием Quiet-STaR, которая заключается в том, чтобы ИИ-система «подумала», прежде чем выдать ответ на запрос — подобно тому, как люди продумывают, что ответить собеседнику. Своего рода «внутренний монолог» позволил улучшить качество общих рассуждений и вдвое повысить результативность на математических задачах, пишет Live Science.
Метод отличается от подхода к тренировке традиционных чат-ботов вроде ChatGPT, которые не «думают» о том, что выдают, и не предвидят возможные варианты следующих шагов в беседе.
По методу Quiet-STaR ИИ-система «про себя» генерирует множество параллельных рассуждений, прежде чем ответить. При ответе ИИ генерирует комбинацию предсказаний с и без этих логических обоснований и выдаёт лучший ответ, который далее может быть проверен человеком в зависимости от сущности вопроса. В процессе обучения ИИ отбрасывает рассуждения, которые оказались ошибочными. По сути, метод даёт ИИ-агентам возможность предсказывать дальнейшие диалоги и учиться на текущих.
Метод проверили на опенсорсной языковой модели Mistral 7B. Обученная по нему версия модели показала результат в 47,2% в тесте на мыслительные способности против 36,3% до обучения. Школьный тест по математике она всё равно «завалила», набрав лишь 10,9%, но это почти вдвое лучше 5,9% до обучения.
Исследователи отмечают, что метод может применяться «в фоне» к различным типам моделей независимо от характера исходных обучающих данных. Теперь они намерены изучить, как подобные методы могут приблизить ИИ-системы на базе нейросетей и человеческим мыслительным способностям.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.