ИИ-помощник Copilot научился «видеть» приложения в Windows

«Когда вы включаете эту функцию, Copilot Vision видит то же, что и вы, и может обсуждать это в реальном времени, — заявила команда Copilot. — Она действует как дополнительная пара глаз, способная анализировать контент, помогать, когда вы запутались, предоставлять идеи и отвечать на ваши вопросы по мере работы».

Copilot Vision теперь доступна бесплатно в США для пользователей Windows 10 и 11 без необходимости подписки на Copilot Pro. Эта функция активируется по желанию пользователя и требует ручного выбора приложений или окон браузера через значок очков в приложении Copilot, аналогично совместному использованию экрана в Microsoft Teams. В отличие от спорной функции Recall, Copilot Vision не делает постоянные снимки экрана.

Инструмент может подсвечивать элементы на экране для навигации, отвечать на вопросы о контенте или предоставлять пошаговые инструкции. Например, пользователи могут попросить Copilot Vision объяснить, как найти свободные даты в календаре для посещения мероприятия с веб-страницы.

Также поддерживается одновременный анализ двух приложений, позволяя связывать информацию между ними для рекомендаций. Пользователи могут включить функцию Highlights, которая автоматически предлагает релевантный контент или рекомендации без запросов, и взаимодействовать с голосовым режимом Copilot.

Microsoft подчеркивает конфиденциальность, гарантируя, что Copilot Vision получает доступ только к контенту, явно предоставленному пользователем. Инструмент позиционируется как конкурента Gemini Live от Google и Apple Intelligence. Функция также доступна на iOS и Android, с планами расширения на другие страны в ближайшее время.