Компания представила долгожданную функцию компьютерного зрения для своего чат-бота. Теперь пользователи платных подписок могут использовать камеры своих смартфонов и функцию трансляции экрана, чтобы ChatGPT мог «видеть» окружающий мир и взаимодействовать с ним в режиме реального времени.
Компания представила долгожданную функцию компьютерного зрения для своего чат-бота. Теперь пользователи платных подписок могут использовать камеры своих смартфонов и функцию трансляции экрана, чтобы ChatGPT мог «видеть» окружающий мир и взаимодействовать с ним в режиме реального времени.
Новая функция, получившая название «Расширенный голосовой режим» (Advanced Voice Mode), была анонсирована еще в мае, но ее запуск несколько раз откладывался. Режим доступен для подписчиков ChatGPT Plus, Team и Pro. Подписчики ChatGPT Enterprise и Edu получат доступ к этой функции только в январе 2025 года. Кроме того, пока нет информации о том, когда функция станет доступна в ЕС, Швейцарии, Исландии, Норвегии и Лихтенштейне.
Режим с компьютерным зрением позволяет идентифицировать объекты, находящиеся в поле зрения камеры смартфона, и предоставлять информацию о них. Бот способен анализировать происходящее на экране устройства, например, объяснять настройки меню или предлагать решения математических задач. Также ChatGPT может давать голосовые инструкции, реагируя на действия пользователя в реальном времени.
В программе CNN «60 минут» президент OpenAI Грег Брокман показал, как ChatGPT распознает части тела, нарисованные ведущим на доске. Во время прямой трансляции OpenAI продемонстрировала, как ChatGPT, используя камеру смартфона, дает пошаговые инструкции по приготовлению кофе. Однако, несмотря на впечатляющие возможности, режим с компьютерным зрением все еще находится в стадии разработки и имеет некоторые ограничения: бот склонен к «галлюцинациям» и может допускать ошибки.
Google и Meta также работают над аналогичными решениями для своих продуктов. Например, Google уже тестирует функцию Project Astra, которая позволяет анализировать видео в реальном времени на устройствах Android.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
бот склонен к «галлюцинациям» и может допускать ошибки.
бот выдает галлюцинации и может допускать правильные решения иногда)))