ИИ тормозит опытных разработчиков — теперь официально

Исследователи наблюдали группу опытных разработчиков, которые использовали Cursor для выполнения разных задач в знакомых им опенсорсных проектах. Накануне эксперимента участники ожидали, что ИИ увеличит скорость работы на 24%, и даже по итогу им казалось, что с ИИ они справились с работой на 20% быстрее. На деле же оказалось прямо противоположное: время выполнения выросло на 19%. При этом сами исследователи прогнозировали двукратный буст.

Исследование идёт вразрез с распространённым мненим о том, что ИИ всегда делает инженеров продуктивнее. Именно на основе него компании-разработчики ИИ-сервисов для кодеров получают огромные инвестиции.

Авторы других исследований приходили к выводу, что ИИ значительно повышает эффективность инженеров. В одном из них кодеры стали быстрее на 56%, а в другом смогли выполнить на 26% больше задач в установленный отрезок времени.

В METR дали понять, что не нужно обобщать. В некоторых сценариях — частности, когда речь об опытных разработчиках, хорошо знакомых с большими опенсорсными кодовыми базами, — ИИ даёт обратный эффект. Времени расходуется больше потому, что разработчикам приходится проверять и исправлять нагенерированное ИИ-моделями.

Также исследователи отметили, что выводы других работ на тему часто искажены, потому что их авторы используют бенчмарки для оценки ИИ, а не реальные задачи.

В METR подчёркивают, что в других сценариях — например, в случае джунов, или когда инженер не знаком с кодовой базой, — ИИ может быть полезен.

Так или иначе, большинство подопытных и сами исследователи пользуются Cursor и считают, что он упрощает разработку — это как редактировать текст вместо того, чтобы писать сочинение с нуля.