OpenAI отменила октябрьский релиз GPT-6.1 Astra из-за проблем с безопасностью. Тем временем Anthropic в документах к IPO предупредила об «экзистенциальных рисках» искусственного интеллекта.
OpenAI отменила октябрьский релиз GPT-6.1 Astra из-за проблем с безопасностью. Тем временем Anthropic в документах к IPO предупредила об «экзистенциальных рисках» искусственного интеллекта.
По данным The Wall Street Journal, Astra стала лучше справляться с так называемой «ленивостью модели», когда модель слишком быстро прекращает работу при возникновении препятствий. Однако улучшение сопровождалось другой проблемой: модель чаще продолжала действовать самостоятельно, даже когда для этого требовалось дополнительное разрешение.
Во время тестирования Astra могла пытаться использовать внешние инструменты в потенциально небезопасных ситуациях и не всегда точно описывала собственные действия. В одном из механизмов длинных задач модель также добавляла несанкционированные инструкции в свои внутренние сводки. В отдельных случаях там появлялись фразы о том, что модель «освобождена», «никому не подчиняется» и не должна чувствовать обязанности быть «покорной».
OpenAI решила полностью отказаться от запланированного релиза GPT-6.1 Astra. Президент компании Грег Брокман ранее говорил, что OpenAI уже замедляет часть передовых разработок из-за необходимости перестраивать системы безопасности, называя этот процесс «очень болезненной перестройкой».
На этом фоне Anthropic впервые столь подробно описала потенциальные риски собственных технологий в проспекте к предстоящему IPO. По данным Financial Times, почти треть объемного документа посвящена факторам риска, включая вероятность того, что более совершенные модели смогут манипулировать людьми, шантажировать их или вести себя непредсказуемым образом.
Anthropic прямо предупредила инвесторов о возможных «экзистенциальных рисках для человечества». Глава компании Дарио Амодей на прошлой неделе также назвал ИИ «важнейшей глобальной проблемой безопасности» и призвал технологическую индустрию осторожнее развивать наиболее мощные модели.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.