Канферэнцыя Microsoft Build 2024: галоўнае

Агенты Copilot для руцінных задач

Microsoft плануе зрабіць з АІ-памочніка Copilot прадукт для вытворчасці, які будзе дапамагаць у фонавым рэжыме вырашаць задачы па аўтаматызацыі. Цяпер невялікая група ўдзельнікаў праходзіць праграму тэсціравання, але ўжо ў гэтым годзе новыя магчымасці Copilot з’явяцца ў агульнадаступнай версіі Copilot Studio.

Кампаніі змогуць ствараць уласных агентаў, якія возьмуць функцыі тэхпадтрымкі, адаптацыі супрацоўнікаў і інш. Агенты будуць запускацца пры пэўных падзеях і працаваць з данымі кампаніі самастойна. Напрыклад, памочнік можа навучыць новага супрацоўніка і адказаць на ўсе яго пытанні.

У адказ на асцярогі вялікіх скарачэнняў праз аўтаматызацыю Microsoft заяўляе, што імкнецца з дапамогай агентаў Copilot пазбавіць супрацоўнікаў руцінных аднастайных задач, такіх як увод даных. АІ-памочнікі не здольныя цалкам замяніць чалавека, і не ўсе працоўныя працэсы магчыма аўтаматызаваць цяпер, запэўніваюць распрацоўшчыкі.

У Copilot Studio ўбудавалі элементы кіравання, каб абараніць агентаў ад патэнцыйных збояў, такіх як галюцынацыі АІ. Агенты будуць дзейнічаць у рамках інструкцый і аперацый, звязаных з аўтаматызацыяй задач. Перанос даных у лакальны Copilot спрошчаны: гэта можна зрабіць з агульнадаступных сайтаў, SharePoint, OneDrive і іншых рэсурсаў.

Таксама Copilot дадалі ў Teams: АІ зможа кіраваць парадкамі дня падчас сустрэч і нататкамі, мадэраваць чаты падраздзяленняў, дапамагаць ставіць задачы і адсочваць тэрміны ў Microsoft Planner. У праграме з’явілася магчымасць ствараць кастамныя эмодзі, адміністратары могуць абмежаваць кола асоб, якім дазволена дадаваць эмодзі.

Мультымадальныя тэхналогіі: Phi-3-vision

Патрэба ў больш эканамічных і менш рэсурсаёмістых сэрвісах АІ змушае ствараць невялікія і лёгкія АІ-мадэлі, якія можна выкарыстоўваць у смартфонах і ноўтбуках. На гэты раз Microsoft анансавала новую версію сямейства Phi-3 — Phi-3-vision. Яна здольная аналізаваць выявы і расказваць карыстальніку, што на іх выяўлена.

Гэтая мультымадальны сістэма можа чытаць тэкст, праглядаць малюнкі, чытаць дыяграмы і табліцы. Phi-3-vision прызначаная для выкарыстання на мабільных прыладах. Мадэль значна меншая за свае аналагі, такія як DALL-E ад OpenAI або Stable Diffusion ад Stability AI. Яна змяшчае 4,2 мільярда параметраў і не генеруе выяў, хоць разумее, што намалявана на малюнку.

Таксама існуюць мадэлі Phi-3-mini (3,3 мільярда параметраў), Phi-3-small (7 мільярдаў параметраў) і Phi-3-medium (14 мільярдаў параметраў). Мадэлі Phi-3-mini, Phi-3-small і Phi-3-medium ужо даступныя для выкарыстання і прысутнічаюць у бібліятэцы мадэляў Azure. Phi-3-vision даступная ў папярэдняй версіі.

Яшчэ адная Phi-3

Іншая АІ-мадэль з таго ж сямейства — Phi-3-Silica. Сярод мадэляў сямейства гэтая — самая маленькая: яна мае 3,3 мільярда параметраў. Кампанія заявіла, што гэтая малая моўная мадэль будзе выкарыстоўвацца на камп’ютарах класа Copilot Plus PC. Брэнд будзе ўключаць ПК з чыпамі з убудаванымі нейронавымі працэсарамі (NPU), якія забяспечаць лакальную працу функцый на аснове АІ.

Распрацоўшчык паведаміў, што паказчык Time to first token (TTFT) складае 650 токенаў на секунду. Пры працы мадэль спажывае каля 1,5 Вт, тым самым вызваляючы магутнасці працэсара і графічнага паскаральніка для апрацоўкі іншых вылічэнняў. Для генерацыі токенаў выкарыстоўваецца кэш-памяць, генерацыя адбываецца з хуткасцю каля 27 токенаў на секунду.

Microsoft сцвярджае, што мадэлі Phi-3 значна пераўзыходзяць моўныя мадэлі таго ж і большага памеру па ключавых паказчыках. Напрыклад, Phi-3-small і Phi-3-medium пераўзыходзяць буйнейшыя мадэлі, у тым ліку GPT-3.5T, заявілі на прэзентацыі. Чакаецца, што першыя ноўтбукі Copilot Plus PC з убудаванай Phi-3-Silica з’явяцца ў продажы ўжо ў чэрвені гэтага года. 

Edge перакладае на хаду

Браўзер атрымаў функцыю закадравага перакладу і дублявання відэа ў рэальным часе на Youtube, LinkedIn, Coursera і іншых сайтах. Новая функцыя працуе на аснове АІ і можа перакладаць гутарковы кантэнт, рабіць дубляж і субтытры проста ў часе прагляду. Цяпер ёсць падтрымка перакладу з англійскай на нямецкую, хіндзі, італьянскую, рускую і іспанскую.

У будучыні функцыю дапрацуюць для карыстальнікаў, якія слаба чуюць або пакутуюць на страту слыху, дадаўшы аўтаматычнае стварэнне субтытраў. Edge таксама будзе падтрымліваць пераклад вуснага кантэнту на навінавых сайтах, такіх як Reuters, CNBC і Bloomberg. Колькасць падтрымваных сайтаў павялічыцца, а таксама пашырыцца спіс выкарыстоўваных моў.

Партнёрства з Quest

Microsoft у партнёрстве з Meta распрацавала тэхналогію падключэння Windows 365 і лакальнага ПК да гарнітур Quest. Распрацоўшчыкі іншага софту змогуць пашыраць магчымасці сваіх праграм: новая тэхналогія Windows Volumetric Apps дазваляе пераносіць інтэрактыўныя 3D-праграмы і іншыя аб’екты з Windows у віртуальную рэальнасць гарнітуры.

Папярэдняя версія «3D API» дае доступ да неабходных функцый. На старонцы рэгістрацыі паказана, што кампанія шукае распрацоўшчыкаў, якія «вырабляюць або даюць падключаныя модулі для настольных 3D-праграм Windows, або кліентаў, якія працуюць з 3D-праграмамі ў настольных праграмах Windows».

Капіяванне і ўстаўка на базе АІ

Кампанія дадала ў набор службовых праграм PowerToys для Windows 11 АІ-функцыю Advanced Paste. Яна дазваляе ператвараць змесціва буфера абмену па ходзе працы. Для выкліку меню трэба націснуць клавішы Windows Key + Shift + V і затым пераўтварыць устаўленае змесціва ў зручны фармат: просты тэкст, markdown і JSON.

Пры выбары «ўставіць з АІ» у наладах функцыі з’явіцца прапанова OpenAI увесці жаданае канвертаванне: гэта можа быць абагульнены тэкст, пераклад, згенераваны код, перапісаны тэкст у іншай стылістыцы, сінтаксіс Yoda ці іншае. Для працы з АІ карыстальнік мае дадаць ключ API OpenAI у PowerToys і купіць крэдыты для профілю.