«90% кода пишет и ревьюит сам ИИ»: в команде Claude Code рассказали, как проверяют работу ИИ-агентов
В команде Claude Code подавляющую часть кода (~90%) пишет и верифицирует сам Claude. При таких масштабах ключевым становится вопрос, как научить агентов подтверждать свою работу реальными доказательствами. Инженер Эдди Османи рассказал, какие тесты для этого используют и как в Anthropic не дают самим проверяющим «жульничать».
В команде Claude Code подавляющую часть кода (~90%) пишет и верифицирует сам Claude. При таких масштабах ключевым становится вопрос, как научить агентов подтверждать свою работу реальными доказательствами. Инженер Эдди Османи рассказал, какие тесты для этого используют и как в Anthropic не дают самим проверяющим «жульничать».
Без циклов верификации разработчик может запускать максимум одного-двух агентов одновременно, потому что всё приходится проверять вручную. С ними можно запускать десятки и сотни агентов параллельно. Внутренние тесты Anthropic по генерации структурированных файлов показали, что добавление отдельного проверщика, сверяющего работу Claude с критериями, повышает успешность выполнения задач на величину до 10 п. п. — с наибольшим приростом на самых сложных проблемах.
При этом генерация тестов, бенчмарков и спецификаций теперь стоит дёшево: агенты пишут их так же быстро, как и основной код, а дальше эти проверки работают как обычное ПО без лишних затрат токенов.
Три типа тестов, в которые стоит вкладываться
Османи предупреждает о двух главных проблемах в тестах для агентов: нестабильные (flaky) тесты приучают ИИ просто перезапускать проверку вместо починки бага, а слишком медленные агент прогоняет реже. Поэтому тяжёлые проверки лучше оставлять на этап перед коммитом, а ставку делать на три подхода.
End-to-end (E2E) тесты
Они проверяют реальные пользовательские сценарии целиком (например, добавление товара в корзину и оформление заказа). Юнит-тесты могут пройти успешно, даже если сама функция сломана, а E2E обмануть сложно: либо фича работает, либо нет. Агенту полезно дать «руки и глаза» в работающей системе — через Chrome DevTools Protocol (CDP), симуляторы или API-обвязки.
Property-тесты (тестирование свойств)
Вместо проверки очевидных сценариев разработчик задаёт строгое правило (например, «баланс счёта никогда не уходит в минус» или «повторная миграция даёт тот же результат»), а библиотеки вроде fast-check или Hypothesis генерируют тысячи случайных входных данных, пытаясь это правило сломать. Это убирает предвзятость агента, который сам написал код и сам придумал для него удобные тесты.
«Буквально весь»: Claude пишет 100% кода в ключевой команде Anthropic
Дифференциальные тесты
Незаменимы при крупных миграциях: на старую и новую системы подают одинаковые случайные данные или срез реального трафика и сравнивают результат. Любое расхождение (за вычетом заранее согласованных изменений и мелочей вроде пробелов) сигнализирует о баге.
Как устроена проверка внутри команды Claude Code
В Anthropic выстроили строгий пайплайн, который превращает проверку из рутины в управляемый процесс.
Запуск реального приложения важнее тестов. Как разработчик не выкатит обновление для iOS без запуска в симуляторе, так и Claude тестирует изменения вживую — через расширение для Chrome, мобильные симуляторы или локальный запуск бэкенда. Для этого в репозитории создают специальный навык (verify в папке .claude/skills/), который агент обязан запускать перед коммитом.
Правило трёх попыток. Никто не может вычитать каждый дифф вручную. Если проверка падает, Claude пытается починить код сам, но после трёх неудачных раундов останавливается и зовёт человека.
Чек-лист надёжности по диффу. В команде ведут список из 39 типовых проблем, привязанных к прошлым инцидентам. Claude анализирует конкретный дифф и прогоняет только те пункты, к которым подходят триггеры изменений (обычно от 3 до 10), чтобы инженерам не приходилось держать в голове все прошлые сбои.
Один ревьюер и защита от подмены правил. Вместо нагромождения нескольких ИИ-ревьюеров команда настраивает одного с помощью файла REVIEW.md и скармливает ему контекст прошлых раундов проверки. При этом REVIEW.md всегда читается из основной ветки репозитория, а не из проверяемого пулл-реквеста, чтобы изменение не могло переписать правила, по которым его судят.
Режим наблюдения и защита от зависаний. Каждый коммит маркируется способом проверки (включая отметку none). Новый запрет на коммиты без /verify или /code-review сначала запускают в режиме наблюдения (observe), чтобы отловить ложные срабатывания. А в жёстком режиме (enforce) коммит пропускается после двух блокировок подряд с обязательным пояснением, чтобы агент не зациклился.
Оценка самих проверщиков и работа над ошибками. Качество ревьюеров замеряют по доле откатов (reverts) после слияния и по историческим инцидентам, разделяя замечания на Important, Nit (мелочь) и Pre-existing (существовавший ранее баг). Если баг всё же просочился в продакшен или в двух разных пулл-реквестах повторилась одна и та же ошибка, команда превращает это в новое правило для REVIEW.md. Нестабильные тесты при этом запрещено «лечить» задержками (sleep) или перезапусками: если Claude не находит первопричину, он удаляет тест и записывает объяснение. А сами правила и тесты регулярно чистят, чтобы они не разрастались бесконечно.
В итоге роль инженера смещается от вычитывания каждой строчки кода к формулированию критериев готовности и проверке доказательств того, что система действительно работает.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.