Несмотря на оптимизм по поводу ИИ-агентов, их разработчики до сих пор не решили главную проблему: чем сложнее задача и чем больше шагов требуется для ее выполнения, тем выше вероятность ошибок.
Несмотря на оптимизм по поводу ИИ-агентов, их разработчики до сих пор не решили главную проблему: чем сложнее задача и чем больше шагов требуется для ее выполнения, тем выше вероятность ошибок.
Кремниевая долина переживает бум интереса к ИИ-агентам — технологии, которая может решать проблемы, выполнять задачи и становиться умнее, обучаясь на своем опыте. Эти агенты, как виртуальные ассистенты, уже используются для бронирования авиабилетов, сбора данных, составления отчетов и даже принятия решений.
Однако, как рассказали источники Business Insider, ИИ-агенты далеки от совершенства. Ошибки и галлюцинации все еще распространены и усугубляются по мере использования сервисов. По данным стартапа Patronus AI, некоторые процессы могут включать сто и более шагов, из-за чего повышается вероятность того, что ошибка на одном из этапов негативно повлияет на конечный результат.
Patronus AI провела исследование рисков и финансовых потерь, связанных с ошибками ИИ-агентов. «Ошибка на любом этапе может сорвать выполнение всей задачи. Чем больше шагов, тем выше вероятность того, что к концу что-то пойдет не так», — говорится в блоге компании. Статистическая модель Patronus AI показала, что агент с 1% вероятностью ошибки на каждом шаге имеет 63% вероятности допустить ошибку к 100-му шагу.
Квинтин Ау, руководитель отдела роста стартапа ScaleAI, отмечает, что фактические показатели ошибок в реальных условиях значительно выше. По его словам, «сейчас при каждом действии ИИ существует примерно 20% вероятность ошибки (так работают LLM, мы не можем ожидать 100% точности)».
Генеральный директор DeepMind Демис Хассабис сравнил вероятность ошибки со «сложным процентом», отметив, что при выполнении задачи, требующей 5000 шагов в реальном мире, вероятность правильного исхода может быть случайной. Он также подчеркнул, что в реальном мире отсутствует идеальная информация, и ИИ-модели должны уметь понимать окружающий мир.
Высокая вероятность ошибок означает, что компании подвергаются большему риску потери конечных клиентов. Однако существуют и хорошие новости: защитные механизмы — фильтры, правила и инструменты для выявления и удаления неточного контента — могут помочь снизить уровень ошибок. В Patronus AI отметили, что даже небольшие улучшения могут привести к значительному снижению вероятности ошибок.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это не ошибки, а (фатальный) недостаток дефективного ИИ
Если бы вы разбирались хоть не много в теме, то написали бы что - это принцип работы любой веротностной модели.