Новая мадэль Anthropic умее імітаваць работу чалавека з камп’ютарам

Функцыя называецца Computer Use, учора яна стала даступная распрацоўшчыкам праз API ў рамках адкрытага бэта-тэсціравання. Яна здольная «бачыць» экран і ўзаемадзейнічаць з настольнымі праграмамі для выканання розных задач, цалкам замяняючы чалавека. Claude глядзіць на скрыншоты таго, што бачыць карыстальнік, і падлічвае, на колькі пікселяў па вертыкалі або гарызанталі трэба перамясціць курсор, каб націснуць у правільным месцы. Дзякуючы здольнасці праглядаць вэб-старонкі мадэль можа выкарыстоўваць у працы любы сайт або праграму.

Каб яна выканала нейкую задачу, ёй трэба даць каманду — напрыклад, папрасіць запоўніць форму, выкарыстоўваючы даныя з камп’ютара і з сеціва. Карыстальнік дазваляе і абмяжоўваюць доступ да іх па меры неабходнасці. Claude разбівае запыт карыстальніка на каманды для выканання задачы. Усе дзеянні будуць відаць у спецыяльным акне.

Распрацоўшчыкі адзначаюць, што мадэль далёка не ідэальная. Напрыклад, яна дрэнна спраўляецца з такімі базавымі аперацыямі, як пракрутка і маштабаванне, а таксама прапускае кароткачасовыя падзеі і апавяшчэнні праз спосаб, якім яна робіць здымкі экрана і аб’ядноўвае іх. Таксама мадэль павольная і дапускае памылкі, таму ёй не рэкамендуецца даручаць адказныя задачы. Зарэзерваваць квіткі ёй удалося менш чым у палове выпадкаў, а скасаваць іх мадэль не змагла ў траціне выпадкаў.