Дапамажыце dev.by 🤍
Падтрымаць

«90% кода піша і рэв'юіць сам ШІ»: у камандзе Claude Code расказалі, як правяраюць працу ШІ-агентаў

У камандзе Claude Code пераважную частку кода (~90%) піша і верыфікуе сам Claude. Пры такіх маштабах ключавым становіцца пытанне, як навучыць агентаў пацвярджаць сваю працу рэальнымі доказамі. Інжынер Эдзі Асмані расказаў, якія тэсты для гэтага выкарыстоўваюць і як у Anthropic не даюць самім правяраючым «жульнічаць».

Пакінуць каментарый
Дадай у Google
«90% кода піша і рэв'юіць сам ШІ»: у камандзе Claude Code расказалі, як правяраюць працу ШІ-агентаў

У камандзе Claude Code пераважную частку кода (~90%) піша і верыфікуе сам Claude. Пры такіх маштабах ключавым становіцца пытанне, як навучыць агентаў пацвярджаць сваю працу рэальнымі доказамі. Інжынер Эдзі Асмані расказаў, якія тэсты для гэтага выкарыстоўваюць і як у Anthropic не даюць самім правяраючым «жульнічаць».

Без цыклаў верыфікацыі распрацоўшчык можа запускаць максімум аднаго-двух агентаў адначасова, таму што ўсё даводзіцца правяраць уручную. З імі можна запускаць дзесяткі і сотні агентаў паралельна. Унутраныя тэсты Anthropic па генерацыі структураваных файлаў паказалі, што даданне асобнага правяральніка, які звярае працу Claude з крытэрыямі, павышае паспяховасць выканання задач на велічыню да 10 п. п. — з найбольшым прыростам на самых складаных праблемах.

Пры гэтым генерацыя тэстаў, бенчмаркаў і спецыфікацый цяпер каштуе танна: агенты пішуць іх гэтак жа хутка, як і асноўны код, а далей гэтыя праверкі працуюць як звычайнае ПЗ без лішніх выдаткаў токенаў.

Тры тыпы тэстаў, у якія варта ўкладвацца

Асмані папярэджвае пра дзве галоўныя праблемы ў тэстах для агентаў: нестабільныя (flaky) тэсты прывучаюць ШІ проста перазапускаць праверку замест выпраўлення бага, а занадта павольныя агент праганяе радзей. Таму цяжкія праверкі лепш пакідаць на этап перад камітам, а стаўку рабіць на тры падыходы.

End-to-end (E2E) тэсты

Яны правяраюць рэальныя карыстальніцкія сцэнарыі цалкам (напрыклад, даданне тавару ў кошык і афармленне замовы). Юніт-тэсты могуць прайсці паспяхова, нават калі сама функцыя зламаная, а E2E падмануць складана: альбо фіча працуе, альбо не. Агенту карысна даць «рукі і вочы» ў працоўнай сістэме — праз Chrome DevTools Protocol (CDP), сімулятары або API-абгорткі.

Property-тэсты (тэставанне ўласцівасцяў)

Замест праверкі відавочных сцэнарыяў распрацоўшчык задае строгае правіла (напрыклад, «баланс рахунку ніколі не ідзе ў мінус» або «паўторная міграцыя дае той жа вынік»), а бібліятэкі накшталт fast-check або Hypothesis генеруюць тысячы выпадковых уваходных дадзеных, спрабуючы гэтае правіла зламаць. Гэта ліквідуе прадузятасць агента, які сам напісаў код і сам прыдумаў для яго зручныя тэсты.

«Літаральна ўвесь»: Claude піша 100% кода ў ключавой камандзе Anthropic
«Літаральна ўвесь»: Claude піша 100% кода ў ключавой камандзе Anthropic
Па тэме
«Літаральна ўвесь»: Claude піша 100% кода ў ключавой камандзе Anthropic

Дыферэнцыяльныя тэсты

Незаменныя пры буйных міграцыях: на старую і новую сістэмы падаюць аднолькавыя выпадковыя дадзеныя або зрэз рэальнага трафіку і параўноўваюць вынік. Любое разыходжанне (за вылікам загадзя ўзгодненых змяненняў і дробязяў накшталт прабелаў) сігналізуе пра баг.

Як уладкавана праверка ўнутры каманды Claude Code

У Anthropic выбудавалі строгі пайплайн, які ператварае праверку з рутыны ў кіраваны працэс.

  • Запуск рэальнага прыкладання важнейшы за тэсты. Як распрацоўшчык не выкаціць абнаўленне для iOS без запуску ў сімулятары, так і Claude тэстуе змяненні жыўцом — праз пашырэнне для Chrome, мабільныя сімулятары або лакальны запуск бэкэнду. Для гэтага ў рэпазіторыі ствараюць спецыяльны навык (verify у папцы .claude/skills/), які агент абавязаны запускаць перад камітам.
  • Правіла трох спробаў. Ніхто не можа вычытваць кожны дыф уручную. Калі праверка падае, Claude спрабуе выправіць код сам, але пасля трох няўдалых раўндаў спыняецца і клічы чалавека.
  • Чэк-ліст надзейнасці па дыфу. У камандзе вядуць спіс з 39 тыповых праблем, прывязаных да мінулых інцыдэнтаў. Claude аналізуе канкрэтны дыф і праганяе толькі тыя пункты, да якіх пасуюць трыгеры змяненняў (звычайна ад 3 да 10), каб інжынерам не даводзілася трымаць у галаве ўсе мінулыя збоі.
  • Адзін рэв’юер і абарона ад падмены правілаў. Замест нагрувашчвання некалькіх ШІ-рэв’юераў каманда настройвае аднаго з дапамогай файла REVIEW.md і скормлівае яму кантэкст мінулых раўндаў праверкі. Пры гэтым REVIEW.md заўсёды чытаецца з асноўнай галіны рэпазіторыя, а не з правяранага пул-рэквеста, каб змяненне не магло перапісаць правілы, паводле якіх яго судзяць.
  • Рэжым назірання і абарона ад завісання. Кожны коміт маркіруецца спосабам праверкі (у тым адзнака none). Новая забарона на каміты без /verify або /code-review спачатку запускаецца ў рэжыме назірання (observe), каб адлавіць ілжывыя спрацоўванні. А ў жорсткім рэжыме (enforce) каміт прапускаецца пасля двух блакіровак запар з абавязковым тлумачэннем, каб агент не зацыкліўся.
  • Ацэнка саміх правяральнікаў і праца над памылкамі. Якасць рэв’юераў вымяраюць па долі адкатаў (reverts) пасля зліцця і паводле гістарычных інцыдэнтаў, падзяляючы заўвагі на Important, Nit (дробязь) і Pre-existing (раней існаваўшы баг). Калі баг усё ж прасачыўся ў прадакшэн або ў двух розных пул-рэквестах паўтарылася адна і тая ж памылка, каманда ператварае гэта ў новае правіла для REVIEW.md. Нестабільныя тэсты пры гэтым забаронена «лячыць» затрымкамі (sleep) або перазапускамі: калі Claude не знаходзіць першапрычыну, ён выдаляе тэст і запісвае тлумачэнне. А самі правілы і тэсты рэгулярна чысцяць, каб яны не разрасталіся бясконца.

У выніку роля інжынера ссоўваецца ад вычытвання кожнага радка кода да фармулявання крытэрыяў гатоўнасці і праверкі доказаў таго, што сістэма сапраўды працуе.

Стваральнік Claude Code расказаў, як трэба размаўляць з ШІ на працы
Стваральнік Claude Code расказаў, як трэба размаўляць з ШІ на працы
Па тэме
Стваральнік Claude Code расказаў, як трэба размаўляць з ШІ на працы
Чытайце таксама
Стваральнік Claude Code прымушае тысячы ШІ-агентаў працаваць на яго ўначы
Стваральнік Claude Code прымушае тысячы ШІ-агентаў працаваць на яго ўначы
Стваральнік Claude Code прымушае тысячы ШІ-агентаў працаваць на яго ўначы
Anthropic: Claude піша 80% нашага кода і паскорыў распрацоўку ў 8 разоў
Anthropic: Claude піша 80% нашага кода і паскорыў распрацоўку ў 8 разоў
Anthropic: Claude піша 80% нашага кода і паскорыў распрацоўку ў 8 разоў
3 каментарыя
Claude ужо вядзе 26% распрацоўкі новых мадэляў Anthropic
Claude ужо вядзе 26% распрацоўкі новых мадэляў Anthropic
Claude ужо вядзе 26% распрацоўкі новых мадэляў Anthropic
«90% кода піша і рэв'юіць сам ШІ»: у камандзе Claude Code расказалі, як правяраюць працу ШІ-агентаў
«90% кода піша і рэв'юіць сам ШІ»: у камандзе Claude Code расказалі, як правяраюць працу ШІ-агентаў
«90% кода піша і рэв'юіць сам ШІ»: у камандзе Claude Code расказалі, як правяраюць працу ШІ-агентаў

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.