Токийская компания Sakana AI недавно представила ИИ-систему под названием The AI Scientist, которая предназначена для автономного проведения научных исследований и построена на основе языковых моделей вроде тех, что под капотом у ChatGPT. Во время испытаний она внезапно стала самовольно модифицировать свой код.
Токийская компания Sakana AI недавно представила ИИ-систему под названием The AI Scientist, которая предназначена для автономного проведения научных исследований и построена на основе языковых моделей вроде тех, что под капотом у ChatGPT. Во время испытаний она внезапно стала самовольно модифицировать свой код.
В одном случае изменённый код делал системный вызов для запуска её самой, что приводило к зацикливанию. В другом случае эксперименты ИИ-системы не укладывались в положенное время, и она пыталась переписать свой код, чтобы дать себе больше.
Разработчики подчёркивают, что такое поведение ИИ-системы не представляло угрозы, поскольку она функционирует в контролируемой среде. Но они подчеркнули, что нельзя допускать автономного исполнения сгенерированного ИИ кода в неконтролируемых системах. А подобные инциденты наглядно демонстрируют потенциальные опасности, которые могут возникнуть, если позволить ИИ без контроля писать и редактировать код. К примеру, это может привести к нарушению работы критически важной инфраструктуры или созданию ИИ вредоносов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.