Искусственный интеллект подвержен эффекту, аналогичному человеческому информационному выгоранию. Термин «brain rot» означает низкокачественный контент из соцсетей, на котором обучаются модели.
Искусственный интеллект подвержен эффекту, аналогичному человеческому информационному выгоранию. Термин «brain rot» означает низкокачественный контент из соцсетей, на котором обучаются модели.
К такому выводу пришли исследователи из Техасского университета в Остине, Техасского университета A&M и Университета Пердью. Ученые обнаружили, что при длительном обучении на коротких, вирусных публикациях — например, постах из X — большие языковые модели начинают демонстрировать «стойкое когнитивное ухудшение».
Подобно тому, как у людей чрезмерное потребление коротких видео связано с тревожностью и снижением концентрации, у ИИ проявляется снижение способности к рассуждению и обработке длинных контекстов.
По словам авторов, модели, постоянно «питающиеся» вирусными фразами и кликбейтами, чаще «пропускают шаги мышления», то есть не выстраивают план ответа, не завершают рассуждения или вовсе пропускают этап саморефлексии. Это ведет к росту ошибок и снижению логической связности ответов.
В ходе эксперимента исследователи использовали модели Meta Llama 3 и Alibaba Qwen. После «диеты» из низкокачественных текстов модели становились не только менее рассудительными, но и демонстрировали тревожные черты, например, рост «психопатии» и «нарциссизма», по метрикам поведенческого анализа. При этом попытки «вылечить» ИИ с помощью последующего обучения на качественных человеческих данных не устранили эффект полностью: разрыв в качестве рассуждения сохранялся.
«Разрыв говорит о том, что эффект „brain rot“ глубоко укореняется в модели, и стандартная подстройка инструкций не способна его исправить. В будущем необходимы более сильные методы защиты и постоянная проверка когнитивного здоровья ИИ», — отмечают авторы исследования.
Ученые предупреждают, что поскольку языковые модели обучаются на огромных объемах данных из интернета, они «неизбежно и постоянно» подвергаются воздействию низкокачественного контента — того самого, который вызывает тревожность, дезинформацию и упрощение мышления у людей.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Ну дык...