ИИ-модель Google Gemini разочаровала пользователей

Компания утверждает, что архитектура и возможности Gemini соответствуют и даже превосходят характеристики других ведущих моделей генеративного ИИ, в том числе GPT-4 от OpenAI. Однако первый опыт взаимодействия с моделью показывает, что Google поторопилась с релизом продукта.

FYI, Google Gemini is complete trash. pic.twitter.com/EfNzTa5qas

— Benjamin Netter (@benjaminnetter) December 6, 2023

Чат-бот Bard получил «облегченную» версию модели под названием Gemini Pro. Пользователи указывают, что ответы от этого апгрейда не улучшились. Бот не может правильно назвать факты, например, путает или дает неверные имена победителей «Оскара» прошлого года. При попытке задать тот же вопрос можно получить другой неправильный ответ. Кроме того, Bard с Gemini показывает плохую производительность при переводах.

I’m extremely disappointed with Gemini Pro on Bard. It still give very, very bad results to questions that shouldn’t be hard anymore with RAG.

A simple question like this with a simple answer like this, and it still got it WRONG. pic.twitter.com/5GowXtscRU

— Vitor de Lucca 🏳️‍🌈 / threads.net/@vitor_dlucca (@vitor_dlucca) December 7, 2023

При запросе дать краткий обзор новостей Gemini Pro отказывается комментировать потенциально спорные темы новостей и даже предлагает погуглить самому пользователю. При этом ChatGPT в платной версии легко справляется с этой задачей и предоставляет краткое изложение со ссылками на новостные статьи.

So I just asked Gemini Pro in Bard for the updates regarding the hottest news story these days, the war in Israel and Gaza, and its answer essentially was, I kid you not, «just Google it.» 🤦‍♂️ pic.twitter.com/GZthPlOLzI

— Bojan Tunguz (@tunguz) December 6, 2023

Google подчеркнула развитые навыки кодирования на презентации модели. Возможно, в некоторых областях он действительно улучшился, пользователи на это указывают. Однако Gemini Pro плохо справляется с базовыми функциями кодирования, например, в Python.

Tried gemini based Bard, and well, it still can’t write intersection of two polygons. It’s one of those rare relatively simple to express functions that wasn’t ever implemented in python, there is no stack overflow post, and all these models fail on it. pic.twitter.com/RKjmkEw2Qr

— Filip Piekniewski🌻 🐘:@[email protected] (@filippie509) December 6, 2023

Как и все генеративные модели, Gemini Pro не застрахован от взлома — таких запросов, которые обходят защитные фильтры модели. Исследователи ИИ-безопасности из Robust Intelligence смогли заставить модель предложить способы аморальных действий, например, кражи у благотворительной организации.

Поскольку Google представила пока облегченную версию модели, то сравнивает ее с моделью конкурента GPT-3.5. Другая, более продвинутая версия Gemini Ultra должна появиться на рынке в следующем году: в чат-боте Bard и других продуктах компании.

McDonald’s будет использовать генеративный ИИ от Google

По теме

McDonald’s будет использовать генеративный ИИ от Google

Google рассказала, как восстановить пропавшие файлы на «Диске»

По теме

Google рассказала, как восстановить пропавшие файлы на «Диске»

Google представила мощнейшую ИИ-модель — «убийцу» ChatGPT

По теме

Google представила мощнейшую ИИ-модель — «убийцу» ChatGPT