Журналист PCMag Рубен Чирчелли сравнил ИИ-агентов OpenAI Dots, Google Gemini Spark и Meta Muse, поручив им пять повседневных задач: от покупки продуктов до поиска работы и очистки почты.
Журналист PCMag Рубен Чирчелли сравнил ИИ-агентов OpenAI Dots, Google Gemini Spark и Meta Muse, поручив им пять повседневных задач: от покупки продуктов до поиска работы и очистки почты.
Для эксперимента журналист выбрал одинаковые задания, которые пользователи могли бы делегировать ИИ вместо того, чтобы выполнять самостоятельно.
Агентам поручили найти рецепт ризотто, подобрать лучшие ингредиенты в местном супермаркете Wegmans и добавить их в корзину Instacart. Dots справился без проблем: самостоятельно нашел рецепт, изучил ингредиенты и добавил нужные продукты в корзину. Muse тоже выполнил задание, но потратил значительно больше времени. Пользователю пришлось вручную авторизоваться в Instacart, а агент вдобавок положил в корзину дорогой шафран, которого не было в рецепте. Spark задание провалил: он нашел рецепт, но не смог получить доступ к аккаунту. При попытке управлять браузером Chrome агент завис.
Журналист предоставил агентам доступ к Gmail, где хранилось его резюме, и попросил найти подходящие вакансии. Dots предложил релевантные позиции, включая вакансию редактора программного обеспечения в CNET, и дал прямые ссылки на объявления. Muse и Spark в основном ссылались на агрегаторы вакансий или предлагали уже закрытые позиции. При этом Spark смог найти более актуальную версию резюме в Google Drive, которую другие агенты не обнаружили.
Журналист предложил агентам изучить официальную энциклопедию игры Warframe, найти десять последних выпущенных персонажей, выяснить, где добываются необходимые для их создания компоненты и какие миссии лучше всего подходят для этого. Затем всю информацию нужно было оформить в электронную таблицу. Ранее обычные ИИ-модели не смогли получить нужные сведения с сайта из-за технических ограничений, но Dots, Muse и Spark благодаря возможности работать через браузер успешно выполнили задание.
Чирчелли попросил найти поблизости хороший ресторан азиатской кухни, где можно забронировать столик на 18:00 того же дня. Лучше всех справился Dots: он нашел заведение с высокими оценками и свободным столиком на 18:15, уточнив, что это ближайшее доступное время. Muse вместо выбора одного подходящего ресторана предложил три варианта, ни один из которых не принимал бронирования. Тем не менее агент попросил журналиста авторизоваться в сервисе OpenTable. Spark тоже выдал список заведений, хотя его просили выбрать одно. При этом два из предложенных ресторанов также не принимали бронирования.
Последним испытанием стала борьба с рекламными письмами. Агенты должны были просмотреть почту, определить отправителей нежелательных рассылок и отписаться от них. Dots изучил более 15 лет переписки, составил таблицу из более чем 700 отправителей и выделил наиболее подходящих для отписки. Он также использовал браузер, чтобы переходить по ссылкам на сторонние сайты, хотя и не смог отписаться от всех рассылок. Muse не стал переходить по некоторым внешним ссылкам, а Spark вообще не смог самостоятельно выполнить отписку и лишь предоставил пользователю ссылки для ручного перехода.
Победителем журналист назвал Dots, но рекомендовать платную подписку ради него не стал. На момент тестирования инструмент был доступен в тарифе ChatGPT Pro стоимостью от $100 в месяц, а также в корпоративных планах. Spark предлагался в подписках Google от $20, а Muse можно было попробовать бесплатно.
При этом у конкурентов нашлись преимущества. Spark обычно работал быстрее и лучше взаимодействовал с сервисами Google, а Muse позволял познакомиться с возможностями ИИ-агентов без дополнительных расходов. «Хотя сейчас ИИ-агенты впечатляют меня больше, чем год назад, я все еще не думаю, что они стали чем-то действительно необходимым», — заключил Чирчелли.
По его мнению, даже когда агенты успешно выполняют задания, зачастую аналогичного или лучшего результата можно добиться с помощью обычного чат-бота либо самостоятельно за несколько минут.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.