ИИ-инструменты замедляют некоторых опытных разработчиков в случаях, когда они работают со знакомыми им кодовыми базами, а не ускоряют. Об этом говорится в докладе некоммерческой организации METR, которая занимается ИИ-исследованиями.
ИИ-инструменты замедляют некоторых опытных разработчиков в случаях, когда они работают со знакомыми им кодовыми базами, а не ускоряют. Об этом говорится в докладе некоммерческой организации METR, которая занимается ИИ-исследованиями.
Исследователи наблюдали группу опытных разработчиков, которые использовали Cursor для выполнения разных задач в знакомых им опенсорсных проектах. Накануне эксперимента участники ожидали, что ИИ увеличит скорость работы на 24%, и даже по итогу им казалось, что с ИИ они справились с работой на 20% быстрее. На деле же оказалось прямо противоположное: время выполнения выросло на 19%. При этом сами исследователи прогнозировали двукратный буст.
Исследование идёт вразрез с распространённым мненим о том, что ИИ всегда делает инженеров продуктивнее. Именно на основе него компании-разработчики ИИ-сервисов для кодеров получают огромные инвестиции.
Авторы других исследований приходили к выводу, что ИИ значительно повышает эффективность инженеров. В одном из них кодеры стали быстрее на 56%, а в другом смогли выполнить на 26% больше задач в установленный отрезок времени.
В METR дали понять, что не нужно обобщать. В некоторых сценариях — частности, когда речь об опытных разработчиках, хорошо знакомых с большими опенсорсными кодовыми базами, — ИИ даёт обратный эффект. Времени расходуется больше потому, что разработчикам приходится проверять и исправлять нагенерированное ИИ-моделями.
Также исследователи отметили, что выводы других работ на тему часто искажены, потому что их авторы используют бенчмарки для оценки ИИ, а не реальные задачи.
В METR подчёркивают, что в других сценариях — например, в случае джунов, или когда инженер не знаком с кодовой базой, — ИИ может быть полезен.
Так или иначе, большинство подопытных и сами исследователи пользуются Cursor и считают, что он упрощает разработку — это как редактировать текст вместо того, чтобы писать сочинение с нуля.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
"Времени расходуется больше потому, что разработчикам приходится проверять и исправлять нагенерированное ИИ-моделями."
Чудное утверждение. А ненужно (?). Так навайбкодьте и навайботладьте
Пользователь отредактировал комментарий 11 июля 2025, 11:26