Support us

«90% кода пишет и ревьюит сам ИИ»: в команде Claude Code рассказали, как проверяют работу ИИ-агентов

В команде Claude Code подавляющую часть кода (~90%) пишет и верифицирует сам Claude. При таких масштабах ключевым становится вопрос, как научить агентов подтверждать свою работу реальными доказательствами. Инженер Эдди Османи рассказал, какие тесты для этого используют и как в Anthropic не дают самим проверяющим «жульничать».

Оставить комментарий
Добавь в Google
«90% кода пишет и ревьюит сам ИИ»: в команде Claude Code рассказали, как проверяют работу ИИ-агентов

В команде Claude Code подавляющую часть кода (~90%) пишет и верифицирует сам Claude. При таких масштабах ключевым становится вопрос, как научить агентов подтверждать свою работу реальными доказательствами. Инженер Эдди Османи рассказал, какие тесты для этого используют и как в Anthropic не дают самим проверяющим «жульничать».

Без циклов верификации разработчик может запускать максимум одного-двух агентов одновременно, потому что всё приходится проверять вручную. С ними можно запускать десятки и сотни агентов параллельно. Внутренние тесты Anthropic по генерации структурированных файлов показали, что добавление отдельного проверщика, сверяющего работу Claude с критериями, повышает успешность выполнения задач на величину до 10 п. п. — с наибольшим приростом на самых сложных проблемах.

При этом генерация тестов, бенчмарков и спецификаций теперь стоит дёшево: агенты пишут их так же быстро, как и основной код, а дальше эти проверки работают как обычное ПО без лишних затрат токенов.

Три типа тестов, в которые стоит вкладываться

Османи предупреждает о двух главных проблемах в тестах для агентов: нестабильные (flaky) тесты приучают ИИ просто перезапускать проверку вместо починки бага, а слишком медленные агент прогоняет реже. Поэтому тяжёлые проверки лучше оставлять на этап перед коммитом, а ставку делать на три подхода.

End-to-end (E2E) тесты

Они проверяют реальные пользовательские сценарии целиком (например, добавление товара в корзину и оформление заказа). Юнит-тесты могут пройти успешно, даже если сама функция сломана, а E2E обмануть сложно: либо фича работает, либо нет. Агенту полезно дать «руки и глаза» в работающей системе — через Chrome DevTools Protocol (CDP), симуляторы или API-обвязки.

Property-тесты (тестирование свойств)

Вместо проверки очевидных сценариев разработчик задаёт строгое правило (например, «баланс счёта никогда не уходит в минус» или «повторная миграция даёт тот же результат»), а библиотеки вроде fast-check или Hypothesis генерируют тысячи случайных входных данных, пытаясь это правило сломать. Это убирает предвзятость агента, который сам написал код и сам придумал для него удобные тесты.

«Буквально весь»: Claude пишет 100% кода в ключевой команде Anthropic
«Буквально весь»: Claude пишет 100% кода в ключевой команде Anthropic
По теме
«Буквально весь»: Claude пишет 100% кода в ключевой команде Anthropic

Дифференциальные тесты

Незаменимы при крупных миграциях: на старую и новую системы подают одинаковые случайные данные или срез реального трафика и сравнивают результат. Любое расхождение (за вычетом заранее согласованных изменений и мелочей вроде пробелов) сигнализирует о баге.

Как устроена проверка внутри команды Claude Code

В Anthropic выстроили строгий пайплайн, который превращает проверку из рутины в управляемый процесс.

  • Запуск реального приложения важнее тестов. Как разработчик не выкатит обновление для iOS без запуска в симуляторе, так и Claude тестирует изменения вживую — через расширение для Chrome, мобильные симуляторы или локальный запуск бэкенда. Для этого в репозитории создают специальный навык (verify в папке .claude/skills/), который агент обязан запускать перед коммитом.
  • Правило трёх попыток. Никто не может вычитать каждый дифф вручную. Если проверка падает, Claude пытается починить код сам, но после трёх неудачных раундов останавливается и зовёт человека.
  • Чек-лист надёжности по диффу. В команде ведут список из 39 типовых проблем, привязанных к прошлым инцидентам. Claude анализирует конкретный дифф и прогоняет только те пункты, к которым подходят триггеры изменений (обычно от 3 до 10), чтобы инженерам не приходилось держать в голове все прошлые сбои.
  • Один ревьюер и защита от подмены правил. Вместо нагромождения нескольких ИИ-ревьюеров команда настраивает одного с помощью файла REVIEW.md и скармливает ему контекст прошлых раундов проверки. При этом REVIEW.md всегда читается из основной ветки репозитория, а не из проверяемого пулл-реквеста, чтобы изменение не могло переписать правила, по которым его судят.
  • Режим наблюдения и защита от зависаний. Каждый коммит маркируется способом проверки (включая отметку none). Новый запрет на коммиты без /verify или /code-review сначала запускают в режиме наблюдения (observe), чтобы отловить ложные срабатывания. А в жёстком режиме (enforce) коммит пропускается после двух блокировок подряд с обязательным пояснением, чтобы агент не зациклился.
  • Оценка самих проверщиков и работа над ошибками. Качество ревьюеров замеряют по доле откатов (reverts) после слияния и по историческим инцидентам, разделяя замечания на Important, Nit (мелочь) и Pre-existing (существовавший ранее баг). Если баг всё же просочился в продакшен или в двух разных пулл-реквестах повторилась одна и та же ошибка, команда превращает это в новое правило для REVIEW.md. Нестабильные тесты при этом запрещено «лечить» задержками (sleep) или перезапусками: если Claude не находит первопричину, он удаляет тест и записывает объяснение. А сами правила и тесты регулярно чистят, чтобы они не разрастались бесконечно.

В итоге роль инженера смещается от вычитывания каждой строчки кода к формулированию критериев готовности и проверке доказательств того, что система действительно работает.

Создатель Claude Code рассказал как нужно общаться с ИИ на работе
Создатель Claude Code рассказал, как нужно общаться с ИИ на работе
По теме
Создатель Claude Code рассказал, как нужно общаться с ИИ на работе
Читайте также
СЕО Anthropic говорит, что ИИ пишет 90% кода в компании. Но пока не заменяет программистов
СЕО Anthropic говорит, что ИИ пишет 90% кода в компании. Но пока не заменяет программистов
СЕО Anthropic говорит, что ИИ пишет 90% кода в компании. Но пока не заменяет программистов
3 комментария
Claude Code прокачали: ИИ теперь сам ведёт задачи от начала до конца
Claude Code прокачали: ИИ теперь сам ведёт задачи от начала до конца
Claude Code прокачали: ИИ теперь сам ведёт задачи от начала до конца
1 комментарий
Anthropic: Claude пишет 80% нашего кода и ускорил разработку в 8 раз
Anthropic: Claude пишет 80% нашего кода и ускорил разработку в 8 раз
Anthropic: Claude пишет 80% нашего кода и ускорил разработку в 8 раз
3 комментария
Claude уже ведёт 26% разработки новых моделей Anthropic
Claude уже ведёт 26% разработки новых моделей Anthropic
Claude уже ведёт 26% разработки новых моделей Anthropic

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.