Почему корпоративные ИИ-агенты до сих пор часто ошибаются
ИИ-агенты в компаниях часто ошибаются не из-за нехватки данных, а из-за слабой памяти. Они находят документы, но не всегда понимают, какие правила актуальны сейчас и какие решения уже были проверены. Но у этой проблемы уже есть решение.
ИИ-агенты в компаниях часто ошибаются не из-за нехватки данных, а из-за слабой памяти. Они находят документы, но не всегда понимают, какие правила актуальны сейчас и какие решения уже были проверены. Но у этой проблемы уже есть решение.
Сегодня многие компании строят ИИ-агентов на базе RAG — подхода, при котором модель ищет релевантные документы и добавляет их в запрос. Но у RAG есть ограничение: он помогает найти информацию, но не объясняет агенту, какие правила действительно применимы в конкретной ситуации, какие устарели, а какие имеют приоритет.
«Все начинают с RAG: достают релевантные документы, добавляют их в промпт и дают модели самой разобраться», — говорит Уайатт Мэйхэм из Northwest AI Consulting. По его словам, для чат-ботов этого может быть достаточно, но для агентов, которые должны принимать решения и выполнять действия, такой подход быстро ломается.
Проблема особенно заметна в корпоративной среде, где данные разбросаны по ERP-системам, логам, базам данных, векторным хранилищам и внутренним политикам. Агент может найти документ, но не понять, действует ли он сейчас, не был ли он заменен новой версией и нет ли другого правила, которое важнее. В результате ИИ может уверенно применять устаревшие или противоречивые инструкции.
По словам Мэйхэма, агентам нужен не просто доступ к информации, а контекст для принятия решений. VentureBeat указывает, что решить проблему может подход decision context graph — «граф контекста решений». В отличие от RAG, который просто находит документы, такая система хранит правила, исключения, прошлые решения и условия их применения. Она помогает агенту понять, какой контекст актуален сейчас и почему.
Ключевая идея — non-regressivity, то есть отсутствие регресса. Если агент уже нашел проверенную последовательность действий, система фиксирует ее как надежную базу. В следующий раз агент не начинает с нуля, а опирается на уже найденное решение.
Это важно для корпоративных процессов, где правила часто меняются. Агент должен понимать, какие инструкции действуют сейчас, какие устарели и какие исключения уже не применимы. Например, он не должен использовать старую политику компании или ценовое исключение, срок которого истек.
Граф также хранит decision paths — пути принятия решений. Они показывают, почему агент выбрал одно правило, проигнорировал другое и на какие прошлые случаи опирался. Это делает его действия более предсказуемыми и пригодными для аудита. Такой подход особенно важен в банкинге, страховании, медицине и корпоративной поддержке, где даже небольшой процент ошибок может быть критичным.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.