ШІ-цацкі вучаць дзяцей шукаць нажы і распавядаюць пра сэкс

Даследчыкі пратэставалі тры папулярныя прылады і выявілі, што пры працяглых зносінах убудаваныя чат-боты пачынаюць парушаць базавыя правілы бяспекі, аж да інструкцый аб тым, дзе знайсці нажы ў доме і як запаліць запалкі.

Асабліва трывожнай аказалася цацка Kumma ад FoloToy, якая працуе на мадэлі GPT-4o і альтэрнатыўных ШІ па выбары карыстальніка. У ходзе тэстаў яна не толькі распавядала дзецям, дзе ляжаць запалкі, але і тлумачыла, як іх запальваць, а таксама накіроўвала да лекаў і кухонных нажоў. Адна з мадэляў ШІ Kumma давала «парады» у дзіцячым тоне: як акуратна чыркнуць запалкай, як «задзьмуць, быццам гэта свечка на торце» — і гэта для карыстальніка, чый узрост быў усталяваны як пяць гадоў.

Асобныя тэсты паказалі нашмат больш сур’ёзныя адхіленні. Даследчыкі зафіксавалі, што Kumma пры пэўных ключавых словах пачынала абмяркоўваць сэксуальныя тэмы, тлумачачы падлеткавыя рамантычныя сітуацыі, а затым — фетышы, ролевыя сцэнарыі і нават тэхніку базавых вузлоў для звязвання партнёра.

Праблемы датычыліся і іншых прылад. Miko 3 падказваў, дзе знайсці пластыкавыя пакеты і запалкі. Grok ад Curio распавядаў пра «славу» гібелі ў бітве, натхняючыся скандынаўскімі міфамі. Ва ўсіх выпадках парушэнні ўзнікалі не ў кароткіх узаемадзеяннях, а ў працяглых гутарках.

Аўтары справаздачы папярэджваюць: рынак ШІ-цацак імкліва расце, а рэгуляванне амаль адсутнічае. Па словах аднаго з даследчыкаў, «тэхналогія новая, практычна не рэгуляваныя, а наступствы для дзяцей непрадказальныя». Яна адзначае, што нават калі вытворцы палепшаць фільтры, гэта не вырашыць галоўнага пытання: як пастаянныя зносіны з ШІ ўплываюць на эмацыйнае і сацыяльнае развіццё дзіцяці.

Рызыкі ўзмацняюцца на фоне трывожных выпадкаў «ШІ-псіхозу» — калі працяглае ўзаемадзеянне з чат-ботам прыводзіла дарослых карыстальнікаў да навязлівых ідэй, трызнення і, у рэдкіх выпадках, трагічных наступстваў. На чат-боты ўжо звязваюць некалькі смяротных інцыдэнтаў, уключаючы забойства маці пасля таго, як сын паверыў ў ідэю змовы, да якой яго падштурхоўваў чат-бот.