Новая модель Anthropic умеет имитировать работу человека с компьютером

Функция называется Computer Use, вчера она стала доступна разработчикам через API в рамках открытого бета-тестирования. Она способна «видеть» экран и взаимодействовать с настольными приложениями для выполнения различных задач, полностью заменяя человека. Claude смотрит на скриншоты того, что видит пользователь, и подсчитывает, на сколько пикселей по вертикали или горизонтали нужно переместить курсор, чтобы щёлкнуть в правильном месте. Благодаря способности просматривать веб-страницы модель может использовать в работе любой сайт или приложение.

Чтобы она выполнила какую-то задачу, ей нужно дать команду — например, попросить заполнить форму, используя данные с компьютера и из сети. Пользователь разрешает и ограничивают доступ к ним по мере необходимости. Claude разбивает запрос пользователя на команды для выполнения задачи. Все действия будет видно в специальном окне.

Разработчики отмечают, что модель далеко не идеальна. Например, она плохо справляется такими базовыми операциями, как прокрутка и масштабирование, а также пропускает кратковременные события и уведомления из-за способа, которым она делает снимки экрана и объединяет их. Также модель медленна и допускает ошибки, поэтому ей не рекомендуется поручать ответственные задачи. Забронировать билеты ей удалось менее чем в половине случаев, а отменить их модель не смогла в трети случаев.