Николай Чикишев world 9 июня 2026, 14:56

Как снизить риск ошибок ИИ-агентов? Учёные нашли решение

ИИ-агенты могут правильно понять задачу, но ошибиться уже на этапе выполнения. Исследователи Amazon Web Services предложили простой механизм, чтобы снизить вероятность ошибок.

Оставить комментарий

Как снизить риск ошибок ИИ-агентов? Учёные нашли решение

ИИ-агенты могут правильно понять задачу, но ошибиться уже на этапе выполнения. Исследователи Amazon Web Services предложили простой механизм, чтобы снизить вероятность ошибок.

Авторы нового исследования считают, что проблема часто связана не только с самой моделью, но и с программной обвязкой между моделью, инструментами и средой, где агент выполняет действия.

Директор AWS по прикладной науке в области агентного ИИ Ануп Деорас заявил, что без таких механизмов компании рискуют работать без понимания происходящего. «Без этого мы можем фактически действовать вслепую», — сказал он.

Исследователи называют ключевую проблему intent-execution gap — разрывом между намерением пользователя и фактическим выполнением задачи агентом. Проще говоря, пользователь просит агента сделать одно, модель формирует план, но на этапе выполнения через инструменты результат может отличаться от исходного замысла.

Такой сбой возникает в слое, который соединяет языковую модель с внешними инструментами: файловой системой, терминалом, редактором кода, API. Деорас сравнивает этот слой с операционной системой поверх модели. Именно он превращает рассуждения модели в конкретные действия.

Если этот слой разработан некорректно, агент может неправильно понять состояние системы, сделать ошибочное предположение и выполнить команду на его основе. Риск растет, когда агент долго рассуждает без проверки реальной среды: его внутренняя картина происходящего постепенно расходится с фактическим состоянием системы.

Одним из решений AWS называет sandbox — изолированную тестовую среду. В ней агент может проверять гипотезы, запускать команды, ошибаться и исправляться до того, как его действия затронут реальную рабочую среду.

«Если у вас нет sandbox, агент либо будет действовать слишком осторожно, либо будет совершать действия, которые в долгосрочной перспективе мы считаем очень рискованными», — сказал Деорас.

В исследовании также говорится о бенчмаксинге — искусственном улучшении результатов ИИ-агентов на бенчмарках за счет настроек инфраструктуры, а не реального качества модели. На результаты могут влиять таймауты, стабильность инфраструктуры инференса, скорость сети и другие параметры. По оценке AWS, такие факторы способны менять показатели на 5–10 процентных пунктов.