Нейрасеткі "дурнеюць", калі харчуюцца смецевым кантэнтам — эфект незваротны
Штучны інтэлект схільны да эфекту, аналагічнага чалавечаму інфармацыйнаму выгаранню. Тэрмін «brain rot» азначае нізкаякасны кантэнт з сацсетак, на якім навучаюцца мадэлі.
Штучны інтэлект схільны да эфекту, аналагічнага чалавечаму інфармацыйнаму выгаранню. Тэрмін «brain rot» азначае нізкаякасны кантэнт з сацсетак, на якім навучаюцца мадэлі.
Да такой высновы прыйшлі даследчыкі з Тэхаскага ўніверсітэта ў Осціне, Тэхаскага ўніверсітэта A&M і Ўніверсітэта Пэрдзью. Навукоўцы выявілі, што пры працяглым навучанні на кароткіх, вірусных публікацыях — напрыклад, пастах з X — вялікія моўныя мадэлі пачынаюць дэманстраваць «устойлівае кагнітыўнае пагаршэнне».
Падобна да таго, як у людзей празмернае спажыванне кароткіх відэа звязана з трывожнасцю і зніжэннем канцэнтрацыі, у ШІ праяўляецца зніжэнне здольнасці да разважання і апрацоўкі доўгіх кантэкстаў.
Паводле аўтараў, мадэлі, якія пастаянна «харчуюцца» віруснымі фразамі і клікбэйтамі, часцей «прапускаюць крокі мыслення», гэта значыць не будуюць план адказу, не завяршаюць разважанні ці наогул прапускаюць этап самарэфлексіі. Гэта вядзе да росту памылак і зніжэння лагічнай звязнасці адказаў.
У ходзе эксперыменту даследчыкі выкарыстоўвалі мадэлі Meta Llama 3 і Alibaba Qwen. Пасля «дыеты» з нізкаякасных тэкстаў мадэлі станавіліся не толькі менш разважлівымі, але і дэманстравалі трывожныя рысы, напрыклад, рост «псіхапатыі» і «нарцысізму», па метрыках паводзінавага аналізу. Пры гэтым спробы «вылечыць» ШІ з дапамогай наступнага навучання на якасных чалавечых дадзеных не ліквідавалі эфект цалкам: разрыў у якасці разважання захоўваўся.
«Разрыў кажа пра тое, што эфект „brain rot“ глыбока ўкараняецца ў мадэлі, і стандартная падладка інструкцый не здольная яго выправіць. У будучыні неабходны больш моцныя метады абароны і пастаянная праверка кагнітыўнага здароўя ШІ», — адзначаюць аўтары даследавання.
Навукоўцы папярэджваюць, што паколькі моўныя мадэлі навучаюцца на велізарных аб’ёмах дадзеных з інтэрнэту, яны «непазбежна і пастаянна» падвяргаюцца ўздзеянню нізкаякаснага кантэнту — таго самага, які выклікае трывожнасць, дэзінфармацыю і спрашчэнне мыслення ў людзей.
Карыстальнікі ChatGPT скардзяцца на выпадкі «ШІ-псіхозу»
Карыстальнікі ChatGPT скардзяцца на выпадкі «ШІ-псіхозу»
Аўтаматызацыя паскараецца: ШІ замяняе офісных супрацоўнікаў хутчэй, чым чакалася
Аўтаматызацыя паскараецца: ШІ замяняе офісных супрацоўнікаў хутчэй, чым чакалася
Meta звольніць 600 супрацоўнікаў ШІ-падраздзялення
Meta звольніць 600 супрацоўнікаў ШІ-падраздзялення
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Ну дык...
Так и люди тоже. Зачем вы их кормите мусорным контентом?
А, точно. Теперь же не понять, где нормальный контент, а где бред, сгенерированный с помощью AI.
Вырыли яму для всего человечества со своими бредогенераторами, а теперь сами же в нее и упали.
Карыстальнік адрэдагаваў каментарый 30 кастрычніка 2025, 16:22
Я отказался от использования моделей без открытого кода. У нас в компании приветствуется неограниченное использование ИИ для решения любых задач. И моё личное внутреннее ощущение сложилось так, что коммерческие модели со скрытыми весами мешают мне работать, потому что как будто «сознательно» допускают ошибки, чтобы сожрать и сгенерировать больше токенов. То есть цель заложенная их разработчиками не совпадает с моей: им нужно больше токенов, мне - нужен результат. Для моих задач glm-4.6 гораздо лучше, чем Anthropic, OpenAI и Gemini. Он делает своё дело без набросов маркетологов.
Карыстальнік адрэдагаваў каментарый 30 кастрычніка 2025, 21:33