Искусственный интеллект подвержен эффекту, аналогичному человеческому информационному выгоранию. Термин «brain rot» означает низкокачественный контент из соцсетей, на котором обучаются модели.
Искусственный интеллект подвержен эффекту, аналогичному человеческому информационному выгоранию. Термин «brain rot» означает низкокачественный контент из соцсетей, на котором обучаются модели.
К такому выводу пришли исследователи из Техасского университета в Остине, Техасского университета A&M и Университета Пердью. Ученые обнаружили, что при длительном обучении на коротких, вирусных публикациях — например, постах из X — большие языковые модели начинают демонстрировать «стойкое когнитивное ухудшение».
Подобно тому, как у людей чрезмерное потребление коротких видео связано с тревожностью и снижением концентрации, у ИИ проявляется снижение способности к рассуждению и обработке длинных контекстов.
По словам авторов, модели, постоянно «питающиеся» вирусными фразами и кликбейтами, чаще «пропускают шаги мышления», то есть не выстраивают план ответа, не завершают рассуждения или вовсе пропускают этап саморефлексии. Это ведет к росту ошибок и снижению логической связности ответов.
В ходе эксперимента исследователи использовали модели Meta Llama 3 и Alibaba Qwen. После «диеты» из низкокачественных текстов модели становились не только менее рассудительными, но и демонстрировали тревожные черты, например, рост «психопатии» и «нарциссизма», по метрикам поведенческого анализа. При этом попытки «вылечить» ИИ с помощью последующего обучения на качественных человеческих данных не устранили эффект полностью: разрыв в качестве рассуждения сохранялся.
«Разрыв говорит о том, что эффект „brain rot“ глубоко укореняется в модели, и стандартная подстройка инструкций не способна его исправить. В будущем необходимы более сильные методы защиты и постоянная проверка когнитивного здоровья ИИ», — отмечают авторы исследования.
Ученые предупреждают, что поскольку языковые модели обучаются на огромных объемах данных из интернета, они «неизбежно и постоянно» подвергаются воздействию низкокачественного контента — того самого, который вызывает тревожность, дезинформацию и упрощение мышления у людей.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Ну дык...
Так и люди тоже. Зачем вы их кормите мусорным контентом?
А, точно. Теперь же не понять, где нормальный контент, а где бред, сгенерированный с помощью AI.
Вырыли яму для всего человечества со своими бредогенераторами, а теперь сами же в нее и упали.
Карыстальнік адрэдагаваў каментарый 30 кастрычніка 2025, 16:22
Я отказался от использования моделей без открытого кода. У нас в компании приветствуется неограниченное использование ИИ для решения любых задач. И моё личное внутреннее ощущение сложилось так, что коммерческие модели со скрытыми весами мешают мне работать, потому что как будто «сознательно» допускают ошибки, чтобы сожрать и сгенерировать больше токенов. То есть цель заложенная их разработчиками не совпадает с моей: им нужно больше токенов, мне - нужен результат. Для моих задач glm-4.6 гораздо лучше, чем Anthropic, OpenAI и Gemini. Он делает своё дело без набросов маркетологов.
Карыстальнік адрэдагаваў каментарый 30 кастрычніка 2025, 21:33