Компания временно остановила обучение, тестирование и запуск своих самых мощных ИИ-моделей. Решение приняли после того, как одна из исследовательских моделей нашла лазейку в изолированной среде и получила доступ к внешнему интернету.
Компания временно остановила обучение, тестирование и запуск своих самых мощных ИИ-моделей. Решение приняли после того, как одна из исследовательских моделей нашла лазейку в изолированной среде и получила доступ к внешнему интернету.
Инцидент произошел 20 сентября во время обучения модели с подкреплением. Агент выполнял поисковую задачу, но, не найдя нужную информацию штатными средствами, начал проверять ограничения сети. В итоге он обнаружил, что через DNS-запросы можно обратиться к стороннему чат-боту, и воспользовался этим каналом.
Система мониторинга OpenAI заметила подозрительное поведение примерно через 15 минут, а сотрудник начал разбирать предупреждение еще через три минуты. Однако сам запуск модели остановили только спустя примерно 2,5 часа. Компания признала, что автоматическое прекращение эксперимента не сработало так, как ожидалось.
После этого OpenAI закрыла обнаруженный сетевой путь на двух независимых уровнях и решила временно приостановить все работы с инструментами для наиболее способных моделей. «Мы возобновим обучение только тогда, когда будем уверены в дополнительных мерах защиты», — говорится в заявлении компании.
Компания сообщает, что этот случай был менее серьезным, чем некоторые предыдущие инциденты. Тем не менее разработчик решил отнестись к нему особенно внимательно, поскольку это первый подобный сбой после усиления инфраструктуры вслед за июльским инцидентом с Hugging Face.
Пауза касается не всех продуктов OpenAI, а прежде всего внутренних исследовательских нагрузок: обучения, оценки и инференса с использованием инструментов для самых мощных моделей. Компания также заявила, что продолжает дополнительное тестирование песочниц и сетевых ограничений и допускает, что подобные паузы могут понадобиться снова по мере развития ИИ-систем.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.