ИИ-инструменты замедляют некоторых опытных разработчиков в случаях, когда они работают со знакомыми им кодовыми базами, а не ускоряют. Об этом говорится в докладе некоммерческой организации METR, которая занимается ИИ-исследованиями.
ИИ-инструменты замедляют некоторых опытных разработчиков в случаях, когда они работают со знакомыми им кодовыми базами, а не ускоряют. Об этом говорится в докладе некоммерческой организации METR, которая занимается ИИ-исследованиями.
Исследователи наблюдали группу опытных разработчиков, которые использовали Cursor для выполнения разных задач в знакомых им опенсорсных проектах. Накануне эксперимента участники ожидали, что ИИ увеличит скорость работы на 24%, и даже по итогу им казалось, что с ИИ они справились с работой на 20% быстрее. На деле же оказалось прямо противоположное: время выполнения выросло на 19%. При этом сами исследователи прогнозировали двукратный буст.
Исследование идёт вразрез с распространённым мненим о том, что ИИ всегда делает инженеров продуктивнее. Именно на основе него компании-разработчики ИИ-сервисов для кодеров получают огромные инвестиции.
Авторы других исследований приходили к выводу, что ИИ значительно повышает эффективность инженеров. В одном из них кодеры стали быстрее на 56%, а в другом смогли выполнить на 26% больше задач в установленный отрезок времени.
В METR дали понять, что не нужно обобщать. В некоторых сценариях — частности, когда речь об опытных разработчиках, хорошо знакомых с большими опенсорсными кодовыми базами, — ИИ даёт обратный эффект. Времени расходуется больше потому, что разработчикам приходится проверять и исправлять нагенерированное ИИ-моделями.
Также исследователи отметили, что выводы других работ на тему часто искажены, потому что их авторы используют бенчмарки для оценки ИИ, а не реальные задачи.
В METR подчёркивают, что в других сценариях — например, в случае джунов, или когда инженер не знаком с кодовой базой, — ИИ может быть полезен.
Так или иначе, большинство подопытных и сами исследователи пользуются Cursor и считают, что он упрощает разработку — это как редактировать текст вместо того, чтобы писать сочинение с нуля.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
"Времени расходуется больше потому, что разработчикам приходится проверять и исправлять нагенерированное ИИ-моделями."
Чудное утверждение. А ненужно (?). Так навайбкодьте и навайботладьте
Пользователь отредактировал комментарий 11 июля 2025, 11:26
Я там ниже отписал. Посмотрите, если интересно.
Вот тебе бабушка и Юрьев день
На странице 11 и страницах 44-45 есть ньюансы. Можете не читать репорт целиком. Поверим анонсу. Вас вообще многое удивит в написанной статье, если вы прочитаете публикацию, которую они сделали. Или это я только такой дурачок, которой при ссылке на первоисточник, читает первоисточник? Там, где линк на "в докладе", надо вот эту ссылку использовать https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf
Пользователь отредактировал комментарий 13 июля 2025, 00:51
4 Discussion
"We provide evidence that recent AI systems slow down experienced open-source developers with moderate AI experience completing real issues on large, popular repositories they are highly familiar with. This observed slowdown serves as some evidence that AI capabilities in the wild may be lower than results on commonly used benchmarks may suggest.
Furthermore, we show that both experts and developers drastically overestimate the usefulness of AI on developer productivity, even after they have spent many hours using the tools."
ощущения программистов не совпали с реальностью так как они все равно писали текст (запросы) и перепроверяли сгенерированное полностью откинув 44% оного из-за чего разработка была существенно медленнее
Пользователь отредактировал комментарий 13 июля 2025, 13:24
Ага. Они почему-то решили показать часы, а таблицу с количеством закрытых issues запихнули в аннекс в конце репорта и там совсем другая картина. Фиг знает зачем им это надо. Время-то на эксперимент было ограниченное. И там видно, что ребята с ИИ закрыли за это время больше фичей. При совсем небольшой разнице во времени, которую показали. Более того, обучение к работе с ИИ сводилось к "мы показали как работать в agent mode" - и так сойдёт. Какие там правила, какие там MCP и вот это все :) А если бы исследование не было контролируемым, то уверен, что про это вообще бы не написали