Codex научился следить за экраном и запоминать действия разраба
Компания OpenAI представила новую функцию Chronicle для приложения Codex, которая позволяет ИИ «видеть» экран пользователя и запоминать его действия.
Компания OpenAI представила новую функцию Chronicle для приложения Codex, которая позволяет ИИ «видеть» экран пользователя и запоминать его действия.
Компания OpenAI представила новую функцию Chronicle для приложения Codex, которая позволяет ИИ «видеть» экран пользователя и запоминать его действия.
Chronicle работает в фоновом режиме: система периодически делает снимки экрана, анализирует их и превращает в текстовые сводки. Эти данные сохраняются в виде локальных файлов и используются как контекст для будущих запросов.
В результате Codex может понимать, над чем работает пользователь, какие инструменты использует и к каким проектам обращается — без необходимости каждый раз объяснять это вручную.
По словам президента OpenAI Грега Брокмана, функция дает ассистенту «возможность видеть и помнить недавний контекст того, что вы делаете, автоматически обеспечивая полный контекст работы» и «ощущается почти магически».
Архитектура решения вызвала вопросы о конфиденциальности. Скриншоты экрана отправляются на серверы OpenAI для обработки, после чего удаляются в течение шести часов. Сами же «воспоминания» сохраняются на устройстве пользователя в виде нешифрованных Markdown-файлов, к которым могут получить доступ другие приложения.
OpenAI прямо предупреждает о рисках: использование Chronicle увеличивает вероятность атак через промпт-инъекции, а также может привести к утечке чувствительных данных, отображаемых на экране. Компания рекомендует вручную приостанавливать функцию во время работы с конфиденциальной информацией.
Функция также быстро расходует лимиты запросов, что может ограничивать использование Codex в рамках подписки. Chronicle уже запущена в виде экспериментального превью и доступна подписчикам ChatGPT Pro на macOS.
Похожую функцию ранее пыталась внедрить и Microsoft в Windows — инструмент Recall автоматически делал скриншоты активности пользователя и сохранял их для работы ИИ. Однако запуск вызвал резкую критику из-за рисков для приватности. В результате Microsoft отложила релиз и сделала Recall опциональным.



Релоцировались? Теперь вы можете комментировать без верификации аккаунта.