Конференция Microsoft Build 2024: главное

Агенты Copilot для рутинных задач

Microsoft планирует сделать из ИИ-помощника Copilot продукт для производства, который будет помогать в фоновом режиме решать задачи по автоматизации. Сейчас небольшая группа участников проходит программу тестирования, но уже в этом году новые возможности Copilot появятся в общедоступной версии Copilot Studio.

Компании смогут создавать собственных агентов, которые возьмут функции техподдержки, адаптации сотрудников и др. Агенты будут запускаться при определенных событиях и работать с данными компании самостоятельно. Например, помощник может обучить нового сотрудника и ответить на все его вопросы.

В ответ на опасения больших сокращений из-за автоматизации Microsoft заявляет, что старается с помощью агентов Copilot избавить сотрудников от рутинных однообразных задач, таких как ввод данных. ИИ-помощники не способны полностью заменить человека, и не все рабочие процессы возможно автоматизировать сейчас, уверяют разработчики.

В Copilot Studio встроили элементы управления, чтобы защитить агентов от потенциальных сбоев, таких как галлюцинации ИИ. Агенты будут действовать в рамках инструкций и операций, связанных с автоматизацией задач. Перенос данных в локальный Copilot упрощен: это можно сделать с общедоступных сайтов, SharePoint, OneDrive и других ресурсов.

Также Copilot добавили в Teams: ИИ сможет управлять повестками дня во время встреч и заметками, модерировать чаты подразделений, помогать ставить задачи и отслеживать сроки в Microsoft Planner. В приложении появилась возможность создавать кастомные эмодзи, администраторы могут ограничить круг лиц, которым разрешено добавлять эмодзи.

Мультимодальные технологии: Phi-3-vision

Потребность в более экономичных и менее ресурсоемких сервисах ИИ вынуждает создавать небольшие и легкие ИИ-модели, которые можно использовать в смартфонах и ноутбуках. На этот раз Microsoft анонсировала новую версию семейства Phi-3 — Phi-3-vision. Она способна анализировать изображения и рассказывать пользователю, что на них изображено.

Эта мультимодальная система может читать текст, просматривать картинки, читать диаграммы и таблицы. Phi-3-vision предназначена для использования на мобильных устройствах. Модель гораздо меньше своих аналогов, таких как DALL-E от OpenAI или Stable Diffusion от Stability AI. Она содержит 4,2 миллиарда параметров и не генерирует изображения, хотя понимает, что изображено на картинке.

Также существуют модели Phi-3-mini (3,3 миллиарда параметров), Phi-3-small (7 миллиардов параметров) и Phi-3-medium (14 миллиардов параметров). Модели Phi-3-mini, Phi-3-small и Phi-3-medium уже доступны для использования и присутствуют в библиотеке моделей Azure. Phi-3-vision доступна в предварительной версии.

Еще одна Phi-3

Другая ИИ-модель из того же семейства — Phi-3-Silica. Среди моделей семейства эта — самая маленькая: она обладает 3,3 миллиарда параметров. Компания заявила, что эта малая языковая модель будет использоваться на компьютерах класса Copilot Plus PC. Бренд будет включать ПК с чипами со встроенными нейронными процессорами (NPU), которые обеспечат локальную работу функций на основе ИИ.

Разработчик сообщил, что показатель Time to first token (TTFT) составляет 650 токенов в секунду. При работе модель потребляет около 1,5 Вт, тем самым освобождая мощности процессора и графического ускорителя для обработки других вычислений. Для генерации токенов используется кэш-память, генерация происходит со скоростью около 27 токенов в секунду.

Microsoft утверждает, что модели Phi-3 значительно превосходят языковые модели того же и большего размера по ключевым показателям. Например, Phi-3-small и Phi-3-medium превосходят более крупные модели, в том числе GPT-3.5T, заявили на презентации. Ожидается, что первые ноутбуки  Copilot Plus PC со встроенной Phi-3-Silica появятся в продаже уже в июне этого года. 

Edge переводит на ходу

Браузер получил функцию закадрового перевода и дублирования видео в реальном времени на Youtube, LinkedIn, Coursera и других сайтах. Новая функция работает на основе ИИ и может переводить разговорный контент, предоставлять дубляж и субтитры прямо во время просмотра. Сейчас есть поддержка перевода с английского на немецкий, хинди, итальянский, русский и испанский.

В будущем функцию доработают для слабослышащих или страдающих потерей слуха пользователей, добавив автоматическое создание субтитров. Edge также будет поддерживать перевод устного контента на новостных сайтах, таких как Reuters, CNBC и Bloomberg. Количество поддерживаемых сайтов увеличится, а также расширится список используемых языков.

Партнерство с Quest

Microsoft в партнерстве с Meta разработала технологию подключения Windows 365 и локального ПК к гарнитурам Quest. Разработчики стороннего ПО смогут расширять возможности своих приложений: новая технология Windows Volumetric Apps позволяет переносить интерактивные 3D-приложения и другие объекты из Windows в виртуальную реальность гарнитуры.

Предварительная версия «3D API» дает доступ к необходимым функциям. На странице регистрации указано, что компания ищет разработчиков, которые «производят или предоставляют подключаемые модули для настольных 3D-приложений Windows, или клиентов, которые работают с 3D-приложениями в настольных приложениях Windows».

Копирование и вставка на базе ИИ

Компания добавила в набор служебных программ PowerToys для Windows 11 ИИ-функцию Advanced Paste. Она позволяет преобразовывать содержимое буфера обмена по ходу работы. Для вызова меню нужно нажать клавиши Windows Key + Shift + V и затем преобразовать вставленное содержимое в удобный формат: простой текст, markdown и JSON.

При выборе «вставить с ИИ» в настройках функции появится предложение OpenAI ввести желаемую конвертацию: это может быть обобщенный текст, перевод, сгенерированный код, переписанный текст в другой стилистике, синтаксис Yoda или другое. Для работы с ИИ пользователь должен добавить ключ API OpenAI в PowerToys и купить кредиты для профиля.