ИИ-игрушки учат детей искать ножи и рассказывают о сексе

Исследователи протестировали три популярных устройства и обнаружили, что при длительном общении встроенные чат-боты начинают нарушать базовые правила безопасности, вплоть до инструкций о том, где найти ножи в доме и как зажечь спички.

Особенно тревожной оказалась игрушка Kumma от FoloToy, работающая на модели GPT-4o и альтернативных ИИ по выбору пользователя. В ходе тестов она не только рассказывала детям, где лежат спички, но и объясняла, как их зажигать, а также направляла к лекарствам и кухонным ножам. Одна из моделей ИИ Kumma давала «советы» в детском тоне: как аккуратно чиркнуть спичкой, как «задуть, будто это свечка на торте» — и это для пользователя, чей возраст был установлен как пять лет.

Отдельные тесты показали куда более серьезные отклонения. Исследователи зафиксировали, что Kumma при определенных ключевых словах начинала обсуждать сексуальные темы, объясняя подростковые романтические ситуации, а затем — фетиши, ролевые сценарии и даже технику базовых узлов для связывания партнера.

Проблемы касались и других устройств. Miko 3 подсказывал, где найти пластиковые пакеты и спички. Grok от Curio рассказывал о «славе» гибели в битве, вдохновляясь скандинавскими мифами. Во всех случаях нарушения возникали не в коротких взаимодействиях, а в длительных беседах.

Авторы отчета предупреждают: рынок ИИ-игрушек стремительно растет, а регулирование почти отсутствует. По словам одного из исследователей, «технология новая, практически не регулируемая, а последствия для детей непредсказуемы». Она отмечает, что даже если производители улучшат фильтры, это не решит главного вопроса: как постоянное общение с ИИ влияет на эмоциональное и социальное развитие ребенка.

Риски усугубляются на фоне тревожных случаев «ИИ-психоза» — когда длительное взаимодействие с чат-ботом приводило взрослых пользователей к навязчивым идеям, бреду и, в редких случаях, трагическим последствиям. На чат-боты уже связывают несколько смертельных инцидентов, включая убийство матери после того, как сын уверовал в идею заговора, к которой его подталкивал чат-бот.