АІ-асістэнты не павышаюць прадукцыйнасці праграмістаў і толькі дадаюць памылак

У даследаванні бралі ўдзел 800 распрацоўшчыкаў на працягу двух трохмесячных перыядаў. У часе першага перыяду праграмісты працавалі з дапамогай традыцыйных інструментаў, у другім яны пераходзілі на выкарыстанне асістэнта CitHub Copilot.

Чакалася, што прымяненне асістэнта знізіць колькасць памылак і павялічыць прадукцыйнасць працы. Аднак вынікі абверглі гэтую здагадку. Рост колькасці памылак склаў 41%, а таксама асістэнт не палепшыў сітуацыі з эмацыйным выгараннем спецыялістаў.

Удзельнікі эксперымента прызналіся, што напісаныя з дапамогай АІ участкі кода цяжка паддаюцца аналізу і выяўленню памылак, таму праграмісту бывае прасцей самому перапісаць патрэбны фрагмент. Таксама большую частку запытаў асістэнты тлумачаць няправільна.