В конце ноября пользователи ChatGPT на базе GPT-4 заметили, что чат-бот стал отказываться отвечать на запросы или отвечать слишком кратко и упрощённо, креативность тоже пострадала. Разработчики признали проблему и сказали, что это не фича, но почему она возникла, не знают. Одна теория, хоть и не проверенная, появилась у ИИ-исследователей из числа юзеров — её назвали «гипотезой зимних каникул».
В конце ноября пользователи ChatGPT на базе GPT-4 заметили, что чат-бот стал отказываться отвечать на запросы или отвечать слишком кратко и упрощённо, креативность тоже пострадала. Разработчики признали проблему и сказали, что это не фича, но почему она возникла, не знают. Одна теория, хоть и не проверенная, появилась у ИИ-исследователей из числа юзеров — её назвали «гипотезой зимних каникул».
Кто-то из пользователей в шутку предположил, что большие языковые модели, подобно людям, могут симулировать сезонную депрессию. Другой высказал идею, что модели из обучающих данных сделали вывод, что в декабре люди расслабляются и откладывают большие проекты на будущий год — и подражают им.
Ещё одна догадка связана с текущей датой, которую бот получает в системной подсказке при запросе. На неё исследователей навело странное поведение моделей при обращении к ним, как к живым людям — например, если предложить им сделать глубокий вдох перед решением математической задачи или получить чаевые. Естественно, ни того, ни другого модель сделать не может, но отвечает почему-то качественнее. Также добиться хорошего ответа помогает давление на жалость — например, если прикинуться, что у вас нет пальцев.
Разработчик Роб Линч рассказал о своём эксперименте над GPT-4 Turbo, в рамках которого он создал две системные подсказки. Первая заставляла модель думать, что сейчас май, а вторая — что декабрь. Оказалось, что модель в среднем давала более длинные ответы, когда считала, что отвечает на вопросы в мае — 4086 символов против 4298.
@ChatGPTapp @OpenAI @tszzl @emollick @voooooogel Wild result. gpt-4-turbo over the API produces (statistically significant) shorter completions when it «thinks» its December vs. when it thinks its May (as determined by the date in the system prompt).
— Rob Lynch (@RobLynch99) December 11, 2023
I took the same exact prompt… pic.twitter.com/mA7sqZUA0r
Впрочем, у других исследователей воспроизвести результаты Линча со статистической значимостью не получилось.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.