В Claude 3.5 Sonnet от Anthropic появилась функция, которая позволяет ИИ-модели самостоятельно управлять происходящим на экране монитора — например, двигать курсором, нажимать кнопки и набирать текст, пишет TechCrunch.
В Claude 3.5 Sonnet от Anthropic появилась функция, которая позволяет ИИ-модели самостоятельно управлять происходящим на экране монитора — например, двигать курсором, нажимать кнопки и набирать текст, пишет TechCrunch.
Функция называется Computer Use, вчера она стала доступна разработчикам через API в рамках открытого бета-тестирования. Она способна «видеть» экран и взаимодействовать с настольными приложениями для выполнения различных задач, полностью заменяя человека. Claude смотрит на скриншоты того, что видит пользователь, и подсчитывает, на сколько пикселей по вертикали или горизонтали нужно переместить курсор, чтобы щёлкнуть в правильном месте. Благодаря способности просматривать веб-страницы модель может использовать в работе любой сайт или приложение.
Чтобы она выполнила какую-то задачу, ей нужно дать команду — например, попросить заполнить форму, используя данные с компьютера и из сети. Пользователь разрешает и ограничивают доступ к ним по мере необходимости. Claude разбивает запрос пользователя на команды для выполнения задачи. Все действия будет видно в специальном окне.
Разработчики отмечают, что модель далеко не идеальна. Например, она плохо справляется такими базовыми операциями, как прокрутка и масштабирование, а также пропускает кратковременные события и уведомления из-за способа, которым она делает снимки экрана и объединяет их. Также модель медленна и допускает ошибки, поэтому ей не рекомендуется поручать ответственные задачи. Забронировать билеты ей удалось менее чем в половине случаев, а отменить их модель не смогла в трети случаев.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Новая модель "Жужа-журналист" умеет генерировать модели про ИИ модели в реальном времени.
Скамеры и спамеры радостно потирают ручонки
Не всегда нужно перемещать курсор основываясь на скриншотах, да и не всегда возможно, дешевле было бы научить её пользоваться телеметрией.