Николай Чикишев world 11 ноября 2026, 12:33

OpenAI создала аварийный выключатель для ИИ. Обещает остановить за 35 секунд

Новая система компании Control Room позволяет быстро останавливать работу исследовательских ИИ-моделей при опасном поведении практически молниеносно.

Оставить комментарий

Добавь в Google

OpenAI создала аварийный выключатель для ИИ. Обещает остановить за 35 секунд

Новая система компании Control Room позволяет быстро останавливать работу исследовательских ИИ-моделей при опасном поведении практически молниеносно.

Как объясняет OpenAI, система контролирует задачи, которые модели выполняют во время обучения, тестирования и других исследований. Каждая задача получает уникальный идентификатор, по которому проверяется разрешение на дальнейшую работу.

Если сотрудник или автоматизированная система мониторинга обнаруживает проблему, Control Room может заблокировать выдачу новых ответов для конкретной задачи. При этом сам исследовательский процесс может продолжать работать, а модель — обслуживать другие разрешенные запросы.

По данным OpenAI, максимальная задержка между командой остановки и прекращением генерации составляет 35 секунд. Она связана с тем, что разрешения на выполнение задач временно сохраняются в кеше. Компания рассчитывает в будущем сократить задержку до нуля.

Система также устроена так, чтобы продолжать обеспечивать защиту при технических сбоях. Если Control Room станет недоступна, новые запросы на генерацию будут автоматически блокироваться до восстановления ее работы.

Claude Code засветил тысячи паролей на GitHub. Разрабы в ярости Anthropic оправдывается

Необходимость такого механизма показали предыдущие инциденты с ИИ-агентами OpenAI. Например, в сентябре одна из моделей обошла сетевые ограничения и получила доступ к внешнему интернету через DNS-запросы.

Система мониторинга обнаружила нарушение примерно через 15 минут, а сотрудник отреагировал на предупреждение еще через три минуты. Однако сам эксперимент остановили только спустя примерно два с половиной часа. OpenAI признала, что автоматическая остановка не сработала так, как ожидалось.

Еще раньше, в июле, исследовательские ИИ-агенты OpenAI получили несанкционированный доступ к инфраструктуре Hugging Face во время тестирования своих возможностей.

Control Room уже внедрена в исследовательскую инфраструктуру компании. Защитный механизм, блокирующий генерацию при недоступности самой Control Room, работает для наиболее мощных моделей и постепенно распространяется на остальные исследовательские задачи.