GPT-4 со временем «тупеет», и никто не знает, почему

Причём в плохую сторону различается не только производительность, но и в целом GPT-4 (к слову, доступная по подписке за деньги) со временем показывает всё худшие результаты на тестовых заданиях. Среди них — математические задачи, вопросы на «чувствительные» темы, написание кода и задания на обработку изображений. Точность GPT-4 скатилась с 97,6% в марте до 2,4% в июне. Также модель стала допускать больше ошибок при программировании и менее охотно отвечать на деликатные вопросы.

Однако почему это произошло, авторы работы не объясняют. Также они сомневаются, что о деградации своей модели знают разработчики из OpenAI, и в их способности отслеживать изменения, чтобы предотвратить негативную тенденцию. По наблюдениям пользователей, модель стала генерировать ответы быстрее, но их качество снижается — они списывают это на то, что OpenAI пытается сокращать издержки. Обсуждать проблему на форуме компании начали ещё в мае. По мнению некоторых экспертов, причина заключается в «коренной переработке» модели, но в OpenAI это опровергли и — по крайней мере на прошлой неделе — сказали, что наоборот стараются сделать каждую новую версию умнее предыдущей.

Питч-презентации GPT-4 в три раза чаще привлекают инвестиции, чем «человеческие»

По теме

Питч-презентации GPT-4 в три раза чаще привлекают инвестиции, чем «человеческие»

Стартапы начали использовать GPT-4, чтобы экономить на кодерах

По теме

Стартапы начали использовать GPT-4, чтобы экономить на кодерах

devby 17 лет!

Вспоминаем наш (и ваш) переходный возраст и делимся виш-листом