OpenAI отключила детектор ИИ-текстов — он работал плохо

Причиной отключения стала «низкая точность» срабатывания алгоритмов. Сейчас OpenAI изучает более эффективные методы классификации материалов. Также компания решила разработать аналогичный инструмент для выявления созданным ИИ аудио- и визуальных материалов.

Платформа для анализа текстов вышла в январе этого года. Компания вместе с учеными Стэнфордского и Джорджтаунского университетов опубликовала статью, в которой проанализировала рис дезинформационных кампаний, проводимых с помощью ИИ.

Авторы статьи отметили, что языковые модели сделали большой шаг вперед, а создаваемый ими текст трудно отличить от написанного человеком. В итоге сейча почти невозможно что-то сделать для предотвращения таких инцидентов.

Разработанный OpenAI инструмент должен был решить эту проблему. Однако у него были ограниченные возможности и низкая точность: он требовал вручную ввести текст длиной от тысячи симвоов, чтобы оценить его.

Инструмент успешно относил 26% образцов к «вероятно написанным ИИ» и в 9% случаев присваивал эту же оценку текстам, написанным человеком. Компания не рекомендовала использовать систему как «основной инструмент принятия решений» и отключила 20 июля.