ШІ-інструменты запавольваюць некаторых дасведчаных распрацоўшчыкаў у выпадках, калі яны працуюць з вядомымі ім кодавымі базамі, а не паскараюць. Пра гэта гаворыцца ў дакладзе некамерцыйнай арганізацыі METR, якая займаецца ШІ-даследаваннямі.
ШІ-інструменты запавольваюць некаторых дасведчаных распрацоўшчыкаў у выпадках, калі яны працуюць з вядомымі ім кодавымі базамі, а не паскараюць. Пра гэта гаворыцца ў дакладзе некамерцыйнай арганізацыі METR, якая займаецца ШІ-даследаваннямі.
Даследчыкі назіралі групу дасведчаных распрацоўшчыкаў, якія выкарыстоўвалі Cursor для выканання розных задач у вядомых ім опенсорсных праектах. Напярэдадні эксперыменту ўдзельнікі чакалі, што ШІ павялічыць хуткасць працы на 24%, і нават па выніку ім здавалася, што з ШІ яны справіліся з працай на 20% хутчэй. На справе ж аказалася прама супрацьлеглае: час выканання вырас на 19%. Пры гэтым самі даследчыкі прагназавалі двухразовы буст.
Даследаванне супярэчыць распаўсюджанаму меркаванню пра тое, што ШІ заўсёды робіць інжынераў прадуктыўнейшымі. Менавіта на аснове гэтага кампаніі-распрацоўшчыкі ШІ-сэрвісаў для кодэраў атрымліваюць велізарныя інвестыцыі.
Аўтары іншых даследаванняў прыходзілі да высновы, што ШІ значна павышае эфектыўнасць інжынераў. У адным з іх кодэры сталі хутчэй на 56%, а ў іншым змаглі выканаць на 26% больш задач у усталяваны адрэзак часу.
У METR далі зразумець, што не трэба абагульняць. У некаторых сцэнарыях — у прыватнасці, калі гаворка пра дасведчаных распрацоўшчыкаў, добра знаёмых з вялікімі опенсорснымі кодавымі базамі, — ШІ дае адваротны эфект. Часу расходуецца больш таму, што распрацоўшчыкам даводзіцца правяраць і выпраўляць нагенераванае ШІ-мадэлямі.
Таксама даследчыкі адзначылі, што высновы іншых прац на гэту тэму часта скажоныя, таму што іх аўтары выкарыстоўваюць бэнчмаркі для ацэнкі ШІ, а не рэальныя задачы.
У METR падкрэсліваюць, што ў іншых сцэнарыях — напрыклад, у выпадку джуніораў, ці калі інжынер не знаёмы з кодавай базай, — ШІ можа быць карысны.
Так ці інакш, большасць падвопытных і самі даследчыкі карыстаюцца Cursor і лічаць, што ён спрашчае распрацоўку — гэта як рэдагаваць тэкст замест таго, каб пісаць сачыненне з нуля.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
"Времени расходуется больше потому, что разработчикам приходится проверять и исправлять нагенерированное ИИ-моделями."
Чудное утверждение. А ненужно (?). Так навайбкодьте и навайботладьте
Карыстальнік адрэдагаваў каментарый 11 ліпеня 2025, 11:26