ИИ-модель для научных открытий решила переписать свой код

В одном случае изменённый код делал системный вызов для запуска её самой, что приводило к зацикливанию. В другом случае эксперименты ИИ-системы не укладывались в положенное время, и она пыталась переписать свой код, чтобы дать себе больше.

Разработчики подчёркивают, что такое поведение ИИ-системы не представляло угрозы, поскольку она функционирует в контролируемой среде. Но они подчеркнули, что нельзя допускать автономного исполнения сгенерированного ИИ кода в неконтролируемых системах. А подобные инциденты наглядно демонстрируют потенциальные опасности, которые могут возникнуть, если позволить ИИ без контроля писать и редактировать код. К примеру, это может привести к нарушению работы критически важной инфраструктуры или созданию ИИ вредоносов.