Нейросети «тупеют», если питаются мусорным контентом — эффект необратим

К такому выводу пришли исследователи из Техасского университета в Остине, Техасского университета A&M и Университета Пердью. Ученые обнаружили, что при длительном обучении на коротких, вирусных публикациях — например, постах из X — большие языковые модели начинают демонстрировать «стойкое когнитивное ухудшение».

Подобно тому, как у людей чрезмерное потребление коротких видео связано с тревожностью и снижением концентрации, у ИИ проявляется снижение способности к рассуждению и обработке длинных контекстов.

По словам авторов, модели, постоянно «питающиеся» вирусными фразами и кликбейтами, чаще «пропускают шаги мышления», то есть не выстраивают план ответа, не завершают рассуждения или вовсе пропускают этап саморефлексии. Это ведет к росту ошибок и снижению логической связности ответов.

В ходе эксперимента исследователи использовали модели Meta Llama 3 и Alibaba Qwen. После «диеты» из низкокачественных текстов модели становились не только менее рассудительными, но и демонстрировали тревожные черты, например, рост «психопатии» и «нарциссизма», по метрикам поведенческого анализа. При этом попытки «вылечить» ИИ с помощью последующего обучения на качественных человеческих данных не устранили эффект полностью: разрыв в качестве рассуждения сохранялся.

«Разрыв говорит о том, что эффект „brain rot“ глубоко укореняется в модели, и стандартная подстройка инструкций не способна его исправить. В будущем необходимы более сильные методы защиты и постоянная проверка когнитивного здоровья ИИ», — отмечают авторы исследования.

Ученые предупреждают, что поскольку языковые модели обучаются на огромных объемах данных из интернета, они «неизбежно и постоянно» подвергаются воздействию низкокачественного контента — того самого, который вызывает тревожность, дезинформацию и упрощение мышления у людей.