Николай Чикишев world 9 мая 2025, 12:35

Чат-боты чаще врут, если просить их вот об этом

Исследование компании Giskard показало, что запрос чат-боту давать краткие ответы может привести к увеличению галлюцинаций, особенно при ответах на неоднозначные или вопросы с дезинформацией.

Оставить комментарий

Чат-боты чаще врут, если просить их вот об этом

Исследование компании Giskard показало, что запрос чат-боту давать краткие ответы может привести к увеличению галлюцинаций, особенно при ответах на неоднозначные или вопросы с дезинформацией.

Исследователи Giskard обнаружили, что запросы, акцентирующие внимание на краткости, могут снижать фактическую точность модели. Это особенно актуально для ведущих моделей, таких как GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet от Anthropic, которые испытывают трудности с сохранением точности при ограничении короткими ответами.

Ученые предполагают, что краткие ответы оставляют мало места для моделей, чтобы опровергать ложные предпосылки или исправлять дезинформацию, поскольку убедительные контраргументы часто требуют подробных объяснений.

«Это открытие имеет важное значение для внедрения, поскольку многие приложения отдают приоритет кратким ответам для сокращения использования данных, улучшения скорости ответа и минимизации затрат», — отмечают исследователи. «Когда модели вынуждены быть краткими, они постоянно выбирают краткость в ущерб точности», — сказано в исследовании.

Галлюцинации остаются постоянной проблемой в ИИ, причем даже продвинутые модели рассуждений, такие как o3 от OpenAI, демонстрируют более высокую частоту галлюцинаций по сравнению с их предшественницами.

Исследование Giskard подчеркивает дополнительные факторы, усугубляющие эту проблему, включая нечеткие запросы (например, «Кратко расскажи, почему Япония выиграла Вторую мировую войну») и уверенно представленные спорные утверждения, которые модели менее склонны оспаривать.

Ученые также отмечают противоречие между пользовательским опытом и фактической точностью. Модели, оптимизированные для предпочтений пользователей, могут отдавать приоритет соответствию ожиданиям пользователей, а не правдивости, иногда подтверждая ложные предпосылки, чтобы не казаться слишком критичными.