Support us

У ChatGPT появилось зрение: чат-бот понимает видео с камеры и экрана

Компания представила долгожданную функцию компьютерного зрения для своего чат-бота. Теперь пользователи платных подписок могут использовать камеры своих смартфонов и функцию трансляции экрана, чтобы ChatGPT мог «видеть» окружающий мир и взаимодействовать с ним в режиме реального времени.

1 комментарий
У ChatGPT появилось зрение: чат-бот понимает видео с камеры и экрана

Компания представила долгожданную функцию компьютерного зрения для своего чат-бота. Теперь пользователи платных подписок могут использовать камеры своих смартфонов и функцию трансляции экрана, чтобы ChatGPT мог «видеть» окружающий мир и взаимодействовать с ним в режиме реального времени.

Новая функция, получившая название «Расширенный голосовой режим» (Advanced Voice Mode), была анонсирована еще в мае, но ее запуск несколько раз откладывался. Режим доступен для подписчиков ChatGPT Plus, Team и Pro. Подписчики ChatGPT Enterprise и Edu получат доступ к этой функции только в январе 2025 года. Кроме того, пока нет информации о том, когда функция станет доступна в ЕС, Швейцарии, Исландии, Норвегии и Лихтенштейне.

Режим с компьютерным зрением позволяет идентифицировать объекты, находящиеся в поле зрения камеры смартфона, и предоставлять информацию о них. Бот способен анализировать происходящее на экране устройства, например, объяснять настройки меню или предлагать решения математических задач. Также ChatGPT может давать голосовые инструкции, реагируя на действия пользователя в реальном времени.

В программе CNN «60 минут» президент OpenAI Грег Брокман показал, как ChatGPT распознает части тела, нарисованные ведущим на доске. Во время прямой трансляции OpenAI продемонстрировала, как ChatGPT, используя камеру смартфона, дает пошаговые инструкции по приготовлению кофе. Однако, несмотря на впечатляющие возможности, режим с компьютерным зрением все еще находится в стадии разработки и имеет некоторые ограничения: бот склонен к «галлюцинациям» и может допускать ошибки.

Google и Meta также работают над аналогичными решениями для своих продуктов. Например, Google уже тестирует функцию Project Astra, которая позволяет анализировать видео в реальном времени на устройствах Android.

OpenAI открыла для всех пользователей Canvas — интерфейс для работы с текстом и кодом
OpenAI открыла для всех пользователей Canvas — интерфейс для работы с текстом и кодом
По теме
OpenAI открыла для всех пользователей Canvas — интерфейс для работы с текстом и кодом
Sora — новый ИИ-генератор видео от OpenAI. Как им пользоваться
Sora — новый ИИ-генератор видео от OpenAI. Как им пользоваться
По теме
Sora — новый ИИ-генератор видео от OpenAI. Как им пользоваться
Новая ИИ-модель OpenAI попыталась выйти из-под контроля и избежать уничтожения
Новая ИИ-модель OpenAI попыталась выйти из-под контроля и избежать уничтожения
По теме
Новая ИИ-модель OpenAI попыталась выйти из-под контроля и избежать уничтожения
Место солидарности беларусского ИТ-комьюнити

Далучайся!

Читайте также
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
3 комментария
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
2 комментария

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

-1

бот склонен к «галлюцинациям» и может допускать ошибки.

бот выдает галлюцинации и может допускать правильные решения иногда)))