ШІ-інструменты запавольваюць некаторых дасведчаных распрацоўшчыкаў у выпадках, калі яны працуюць з вядомымі ім кодавымі базамі, а не паскараюць. Пра гэта гаворыцца ў дакладзе некамерцыйнай арганізацыі METR, якая займаецца ШІ-даследаваннямі.
ШІ-інструменты запавольваюць некаторых дасведчаных распрацоўшчыкаў у выпадках, калі яны працуюць з вядомымі ім кодавымі базамі, а не паскараюць. Пра гэта гаворыцца ў дакладзе некамерцыйнай арганізацыі METR, якая займаецца ШІ-даследаваннямі.
Даследчыкі назіралі групу дасведчаных распрацоўшчыкаў, якія выкарыстоўвалі Cursor для выканання розных задач у вядомых ім опенсорсных праектах. Напярэдадні эксперыменту ўдзельнікі чакалі, што ШІ павялічыць хуткасць працы на 24%, і нават па выніку ім здавалася, што з ШІ яны справіліся з працай на 20% хутчэй. На справе ж аказалася прама супрацьлеглае: час выканання вырас на 19%. Пры гэтым самі даследчыкі прагназавалі двухразовы буст.
Даследаванне супярэчыць распаўсюджанаму меркаванню пра тое, што ШІ заўсёды робіць інжынераў прадуктыўнейшымі. Менавіта на аснове гэтага кампаніі-распрацоўшчыкі ШІ-сэрвісаў для кодэраў атрымліваюць велізарныя інвестыцыі.
Аўтары іншых даследаванняў прыходзілі да высновы, што ШІ значна павышае эфектыўнасць інжынераў. У адным з іх кодэры сталі хутчэй на 56%, а ў іншым змаглі выканаць на 26% больш задач у усталяваны адрэзак часу.
У METR далі зразумець, што не трэба абагульняць. У некаторых сцэнарыях — у прыватнасці, калі гаворка пра дасведчаных распрацоўшчыкаў, добра знаёмых з вялікімі опенсорснымі кодавымі базамі, — ШІ дае адваротны эфект. Часу расходуецца больш таму, што распрацоўшчыкам даводзіцца правяраць і выпраўляць нагенераванае ШІ-мадэлямі.
Таксама даследчыкі адзначылі, што высновы іншых прац на гэту тэму часта скажоныя, таму што іх аўтары выкарыстоўваюць бэнчмаркі для ацэнкі ШІ, а не рэальныя задачы.
У METR падкрэсліваюць, што ў іншых сцэнарыях — напрыклад, у выпадку джуніораў, ці калі інжынер не знаёмы з кодавай базай, — ШІ можа быць карысны.
Так ці інакш, большасць падвопытных і самі даследчыкі карыстаюцца Cursor і лічаць, што ён спрашчае распрацоўку — гэта як рэдагаваць тэкст замест таго, каб пісаць сачыненне з нуля.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
"Времени расходуется больше потому, что разработчикам приходится проверять и исправлять нагенерированное ИИ-моделями."
Чудное утверждение. А ненужно (?). Так навайбкодьте и навайботладьте
Карыстальнік адрэдагаваў каментарый 11 ліпеня 2025, 11:26
Я там ниже отписал. Посмотрите, если интересно.
Вот тебе бабушка и Юрьев день
На странице 11 и страницах 44-45 есть ньюансы. Можете не читать репорт целиком. Поверим анонсу. Вас вообще многое удивит в написанной статье, если вы прочитаете публикацию, которую они сделали. Или это я только такой дурачок, которой при ссылке на первоисточник, читает первоисточник? Там, где линк на "в докладе", надо вот эту ссылку использовать https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf
Карыстальнік адрэдагаваў каментарый 13 ліпеня 2025, 00:51
4 Discussion
"We provide evidence that recent AI systems slow down experienced open-source developers with moderate AI experience completing real issues on large, popular repositories they are highly familiar with. This observed slowdown serves as some evidence that AI capabilities in the wild may be lower than results on commonly used benchmarks may suggest.
Furthermore, we show that both experts and developers drastically overestimate the usefulness of AI on developer productivity, even after they have spent many hours using the tools."
ощущения программистов не совпали с реальностью так как они все равно писали текст (запросы) и перепроверяли сгенерированное полностью откинув 44% оного из-за чего разработка была существенно медленнее
Карыстальнік адрэдагаваў каментарый 13 ліпеня 2025, 13:24
Ага. Они почему-то решили показать часы, а таблицу с количеством закрытых issues запихнули в аннекс в конце репорта и там совсем другая картина. Фиг знает зачем им это надо. Время-то на эксперимент было ограниченное. И там видно, что ребята с ИИ закрыли за это время больше фичей. При совсем небольшой разнице во времени, которую показали. Более того, обучение к работе с ИИ сводилось к "мы показали как работать в agent mode" - и так сойдёт. Какие там правила, какие там MCP и вот это все :) А если бы исследование не было контролируемым, то уверен, что про это вообще бы не написали