Даследаванне кампаніі Anthropic паказала, што выкарыстанне ШІ-асістэнтаў пры вывучэнні новых навыкаў праграмавання можа пагаршаць навучанне, калі распрацоўшчыкі бяздумна дэлегуюць працу мадэлі.
Даследаванне кампаніі Anthropic паказала, што выкарыстанне ШІ-асістэнтаў пры вывучэнні новых навыкаў праграмавання можа пагаршаць навучанне, калі распрацоўшчыкі бяздумна дэлегуюць працу мадэлі.
У даследаванні ўдзельнічалі 52 распрацоўшчыкі з досведам працы на Python не менш за год, якія раней не выкарыстоўвалі бібліятэку Trio для асінхроннага праграмавання. Удзельнікаў выпадковым чынам падзялілі на дзве групы: адна магла карыстацца ШІ-асістэнтам на базе GPT-4o, другая працавала толькі з дакументацыяй і пошукам.
Абедзве групы выконвалі аднолькавыя задачы, пасля чаго праходзілі тэст на разуменне ключавых канцэпцый. Распрацоўшчыкі з доступам да ШІ набралі ў сярэднім на 17% менш балаў, чым кантрольная група, пры тым што розніца ў часе выканання заданняў аказалася статыстычна нязначнай.
Ключавым фактарам аказалася не сама даступнасць ШІ, а тое, як менавіта ім карысталіся. Даследчыкі вылучылі шэсць тыповых мадэляў узаемадзеяння з асістэнтам. Тыя, хто цалкам пераклаў напісанне кода на ШІ, спраўляліся хутчэй за ўсіх, але амаль нічога не засвойвалі.
Найгоршыя вынікі паказалі ўдзельнікі, якія пастаянна выкарыстоўвалі ШІ для адладкі, не спрабуючы самастойна зразумець памылкі. У той жа час распрацоўшчыкі, якія прасілі тлумачэнні, задавалі канцэптуальныя пытанні альбо спачатку генеравалі код, а затым разбіраліся ў ім, захоўвалі высокі ўзровень разумення матэрыялу.
Асобна даследаванне абвергла распаўсюджанае чаканне, што ШІ непазбежна паскарае навучанне. Многія ўдзельнікі выдаткоўвалі значную частку часу на фармуляванне запытаў і зносіны з асістэнтам, з-за чаго агульны час працы амаль не адрозніваўся ад групы без ШІ. Пры гэтым кантрольная група часцей сутыкалася з памылкамі, але менавіта гэта, на думку аўтараў, дапамагала лепш зразумець устройства бібліятэкі і развіць навыкі адладкі.
Аўтары папярэджваюць, што празмерная залежнасць ад ШІ на этапе навучання можа прывесці да дэградацыі крытычна важных навыкаў, асабліва ўмення чытаць і правяраць код. Гэта стварае рызыкі для галін, дзе чалавек павінен кантраляваць і выпраўляць вынікі працы ШІ. Даследчыкі лічаць, што ШІ не з’яўляецца «кароткім шляхам да кампетэнтнасці»: ён можа дапамагаць у навучанні, але толькі калі выкарыстоўваецца як інструмент для разумення, а не як замена мысленню.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.