ШІ-агенты абяцаюць паскорыць распрацоўку, але таксама могуць стварыць новыя праблемы з тэставаннем, бяспекай і падтрымкай кода. Паводле аглядальніка ZDNET Дэвіда Гевірца, галоўная памылка распрацоўшчыкаў — успрымаць ШІ як чароўны інструмент.
ШІ-агенты абяцаюць паскорыць распрацоўку, але таксама могуць стварыць новыя праблемы з тэставаннем, бяспекай і падтрымкай кода. Паводле аглядальніка ZDNET Дэвіда Гевірца, галоўная памылка распрацоўшчыкаў — успрымаць ШІ як чароўны інструмент.
Гевірц параўноўвае агенцкае праграмаванне з працай падрадчыкаў. Калі код пішаце не вы самі, а вонкавая каманда (ці ШІ-агент), вынік нельга прымаць на веру. Яго трэба правяраць, тэставаць, інтэграваць і падтрымліваць. «ШІ — гэта інструмент, а прафесіянал — вы», — піша аўтар. Ніжэй кароткі пераказ ягонай калонкі.
Прыхільнікі вайб-кодынгу сцвярджаюць, што ШІ дазваляе ствараць праекты амаль без чалавека, а крытыкі папярэджваюць, што распрацоўшчыкі перастануць разумець, што ўнутры кода. Абедзве пазіцыі перабольшаныя. На практыцы кантроль не знікае, але мяняецца роля распрацоўшчыка: ён не столькі аўтар кожнай радка, колькі менеджар, які ставіць задачы, прымае працу і адказвае за вынік. Не варта адразу адсылаць ШІ вялікі дакумент з патрабаваннямі — мадэль можа няправільна зразумець адзін пункт і змяніць кірунак праекта. Больш надзейны падыход — даваць малыя задачы, правяраць вынік і толькі потым пераходзіць далей.
Аўтаматычныя тэсты часта адкідаюць крайнія сцэнары, правяраючы толькі «хэпі-пас». ШІ можа дапамагчы з пацвярджэннем, але калі ён сам піша тэсты, то набывае тыя ж «сляпыя» зоны, як і чалавек, які не ўяўляе, як карыстальнік можа «зламаць» праграму. Тэсціруйце ШІ-код з пазіцыі знешняга карыстальніка: шукайце нестандартныя сцэнары, злоўжыванні, памылкі ўводных даных і няправільнае выкарыстанне функцый. Калі вы карыстаецеся агенцкім кодынам, памятайце: праект ніколі не скончаны. Ён проста ў стане, дастаткова добрым для тэставання.
Генераваны код можна параўнаць з прадуктам, які аддалі падрадчыкі або набылі разам з правамі на ПЗ. З аднаго боку, ён можа ўжо працаваць і выконваць задачу. З іншага — унутры часта хаваюцца тэхнічны доўг, састарэлая логіка і хібы, пра якія новы ўладальнік нічога не ведае. Гэта як купіць дом без праверкі: звонку ён у парадку, але ў сценах няспраўная правадка і сапсаваныя трубы. Генератыўны код падобны: ён запускаецца і выглядае добра, але для распрацоўшчыка застаецца «чорнай скрыняй». Каб бяспечна развіваць такі праект, код трэба паступова разбіраць, правяраць, дакумэнтаваць і прыводзіць да зразумелай архітэктуры.
ШІ-код не вырашае праблему тэхнічнага доўгу — ён можа дадаваць новы. Мадэль хутка піша працоўныя ўчасткі, але не заўсёды ўтрымлівае адзіны стыль праекта, архітэктуру, імёны файлаў і сувязі паміж кампанентамі. Напрыклад, калі Claude дапамагаў Гевірцу з iOS-прыкладаннем, файлы трапілі ў адзін вялікі каталог без структуры. Гэта выправілі, але толькі пасля каманды «прыбярыце за сабой» і рэарганізацыі праекта. Таму з ШІ-кодам патрэбныя тыя ж практыкі, што і з кодам падрадчыка: код-рев’ю, праверка архітэктуры і кантроль структуры. Адзін з хітрасцяў — выкарыстоўваць розныя мадэлі для ўзаемнай праверкі: адна піша код, іншая робіць рэв’ю.
Мадэлі навучаліся на вялікім аб’ёме публічнага кода, уключаючы дрэнныя прыклады, састарэлыя рашэнні і ўразлівыя бібліятэкі. Таму яны могуць паўтараць небяспечныя схемы: забываць праверку уводу, няправільна апрацоўваць даныя або падключаць залежнасці без уліку рызык ланцугу паставак. Гевірц апісвае свой досвед працы над security-прадуктам: ШІ зусім не дадаў праверку ўваходных даных, хоць гэта базавая бяспека. Пасля прамога ўказання мадэль напісала годныя validation routines, але сама па сабе гэтага не зрабіла. Вынік: бяспеку трэба выразна патрабаваць і асобна правяраць.
Аўтар прызнае, што ШІ сапраўды можа скараціць час выхаду прадукту на рынак, дапамагчы з падтрымкай і пошукам уразлівасцяў. Але ён папярэджвае: адна фраза не стварыць надзейнае прыкладанне. «ШІ не чароўная куля», — падсумоўвае Гевірц. Каб пазбегчы «вайб-кодынгавага апакаліпсісу», распрацоўшчыкам прыйдзецца не менш, а болей думаць пра дысцыпліну, тэставанне і інжынерны мэнэджмэнт.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Такой вопрос. Понимают ли все, включая экспертов, что ИИ это вероятностный (эктсраполятор многочлена лагранжа) генератор текста с 90-99% успеха и он по факту как большой продвинутый гугл выдает уже существующие данные. Что галлюцинации это не баг, а фича текущей мат. модели. Т.е по факту не будет у него 100% гарантии на верность, что влечет за собой определенные риски. И это не говоря, что про AGI и прочее уже даже не говорят. Т.е для анализа или обработки огромных данных неструктурированных он очень даже, а как точный инструмент не очень.
Очень плохо справляется с большим массивом данных, говорю из опыта. Даже что-то простое вроде оборачивания в кавычки и запятой в конце на 100 строках выдает нормально, а на сотнях и тем более тысячах - начинает вставлять ерунду в некоторых строках, а иногда и вообще некоторые строки игнорирует.
Згодны