Николай Чикишев world 29 марта 2026, 16:06

Не просите ИИ «побыть экспертом» — кодинг становится только хуже

Исследователи выяснили, что популярный прием в работе с ИИ — просить модель «представить себя экспертом» — может ухудшать результаты, особенно в задачах программирования и математики.

Оставить комментарий

Не просите ИИ «побыть экспертом» — кодинг становится только хуже

Исследователи выяснили, что популярный прием в работе с ИИ — просить модель «представить себя экспертом» — может ухудшать результаты, особенно в задачах программирования и математики.

Речь идет о ситуации, когда пользователь добавляет в запрос фразы вроде «ты опытный разработчик» или «ты эксперт по машинному обучению». Этот метод широко распространился с 2023 года и стал стандартом во многих гайдах по работе с ИИ.

Однако новое исследование ученых из Университета Южной Калифорнии показало, что такой подход работает не всегда. Исследователи пришли к выводу, что «роль эксперта» может даже снижать точность ответов.

По их данным, при тестировании на бенчмарке MMLU модели с «экспертной персоной» показали худшие результаты, чем базовые версии: точность составила 68% против 71,6%. «Когда модель просят выбрать правильный ответ, „экспертная“ версия стабильно уступает базовой модели», — отмечают авторы.

Причина в том, что подобные инструкции не добавляют модели реальных знаний. Напротив, они могут мешать ей извлекать факты из обучающих данных. Исследователи предполагают, что такие формулировки переключают модель в режим следования инструкциям вместо точного воспроизведения информации.

«Убери себя как узкое место»: автор «вайб-кодинга» заявил о новой роли людей в ИИ-разработке

При этом эффект зависит от типа задачи. В заданиях, связанных с безопасностью, стилем или соответствием правилам, «персона» действительно помогает. Например, отдельная роль «эксперта безопасности» увеличила долю отказов от опасных запросов почти на 18 процентных пунктов.

Один из авторов исследования, аспирант Цзычжао Ху, пояснил, что в программировании такой подход бесполезен: «Просьба к модели быть экспертом-программистом не улучшает качество кода». Вместо этого, по его словам, лучше давать конкретные требования к задаче, например, описывать архитектуру проекта или предпочтения по инструментам.

Ученые также предложили альтернативный метод — PRISM, который позволяет использовать «персоны» только там, где они действительно помогают, и отключать их в задачах, требующих точности.

Главный вывод исследования — универсальных формул для промптов не существует. «Если вам важна точность и факты — не добавляйте лишних инструкций. Если важна структура и соблюдение правил — будьте максимально конкретны», — резюмируют авторы.