ИИ-агенты слишком часто ошибаются — компании теряют деньги и клиентов

Кремниевая долина переживает бум интереса к ИИ-агентам — технологии, которая может решать проблемы, выполнять задачи и становиться умнее, обучаясь на своем опыте. Эти агенты, как виртуальные ассистенты, уже используются для бронирования авиабилетов, сбора данных, составления отчетов и даже принятия решений.

Однако, как рассказали источники Business Insider, ИИ-агенты далеки от совершенства. Ошибки и галлюцинации все еще распространены и усугубляются по мере использования сервисов. По данным стартапа Patronus AI, некоторые процессы могут включать сто и более шагов, из-за чего повышается вероятность того, что ошибка на одном из этапов негативно повлияет на конечный результат.

Patronus AI провела исследование рисков и финансовых потерь, связанных с ошибками ИИ-агентов. «Ошибка на любом этапе может сорвать выполнение всей задачи. Чем больше шагов, тем выше вероятность того, что к концу что-то пойдет не так», — говорится в блоге компании. Статистическая модель Patronus AI показала, что агент с 1% вероятностью ошибки на каждом шаге имеет 63% вероятности допустить ошибку к 100-му шагу.

Квинтин Ау, руководитель отдела роста стартапа ScaleAI, отмечает, что фактические показатели ошибок в реальных условиях значительно выше. По его словам, «сейчас при каждом действии ИИ существует примерно 20% вероятность ошибки (так работают LLM, мы не можем ожидать 100% точности)».

Генеральный директор DeepMind Демис Хассабис сравнил вероятность ошибки со «сложным процентом», отметив, что при выполнении задачи, требующей 5000 шагов в реальном мире, вероятность правильного исхода может быть случайной. Он также подчеркнул, что в реальном мире отсутствует идеальная информация, и ИИ-модели должны уметь понимать окружающий мир.

Высокая вероятность ошибок означает, что компании подвергаются большему риску потери конечных клиентов. Однако существуют и хорошие новости: защитные механизмы — фильтры, правила и инструменты для выявления и удаления неточного контента — могут помочь снизить уровень ошибок. В Patronus AI отметили, что даже небольшие улучшения могут привести к значительному снижению вероятности ошибок.