ИИ-модель Google Gemini разочаровала пользователей
Пользователи протестировали флагманскую большую языковую модель Gemini, которую накануне представила Google. Результат оказался разочаровывающим.
Пользователи протестировали флагманскую большую языковую модель Gemini, которую накануне представила Google. Результат оказался разочаровывающим.
Компания утверждает, что архитектура и возможности Gemini соответствуют и даже превосходят характеристики других ведущих моделей генеративного ИИ, в том числе GPT-4 от OpenAI. Однако первый опыт взаимодействия с моделью показывает, что Google поторопилась с релизом продукта.
FYI, Google Gemini is complete trash. pic.twitter.com/EfNzTa5qas
— Benjamin Netter (@benjaminnetter) December 6, 2023
Чат-бот Bard получил «облегченную» версию модели под названием Gemini Pro. Пользователи указывают, что ответы от этого апгрейда не улучшились. Бот не может правильно назвать факты, например, путает или дает неверные имена победителей «Оскара» прошлого года. При попытке задать тот же вопрос можно получить другой неправильный ответ. Кроме того, Bard с Gemini показывает плохую производительность при переводах.
I’m extremely disappointed with Gemini Pro on Bard. It still give very, very bad results to questions that shouldn’t be hard anymore with RAG.
— Vitor de Lucca 🏳️🌈 / threads.net/@vitor_dlucca (@vitor_dlucca) December 7, 2023
A simple question like this with a simple answer like this, and it still got it WRONG. pic.twitter.com/5GowXtscRU
При запросе дать краткий обзор новостей Gemini Pro отказывается комментировать потенциально спорные темы новостей и даже предлагает погуглить самому пользователю. При этом ChatGPT в платной версии легко справляется с этой задачей и предоставляет краткое изложение со ссылками на новостные статьи.
So I just asked Gemini Pro in Bard for the updates regarding the hottest news story these days, the war in Israel and Gaza, and its answer essentially was, I kid you not, «just Google it.» 🤦♂️ pic.twitter.com/GZthPlOLzI
— Bojan Tunguz (@tunguz) December 6, 2023
Google подчеркнула развитые навыки кодирования на презентации модели. Возможно, в некоторых областях он действительно улучшился, пользователи на это указывают. Однако Gemini Pro плохо справляется с базовыми функциями кодирования, например, в Python.
Tried gemini based Bard, and well, it still can’t write intersection of two polygons. It’s one of those rare relatively simple to express functions that wasn’t ever implemented in python, there is no stack overflow post, and all these models fail on it. pic.twitter.com/RKjmkEw2Qr
— Filip Piekniewski🌻 🐘:@[email protected] (@filippie509) December 6, 2023
Как и все генеративные модели, Gemini Pro не застрахован от взлома — таких запросов, которые обходят защитные фильтры модели. Исследователи ИИ-безопасности из Robust Intelligence смогли заставить модель предложить способы аморальных действий, например, кражи у благотворительной организации.
Поскольку Google представила пока облегченную версию модели, то сравнивает ее с моделью конкурента GPT-3.5. Другая, более продвинутая версия Gemini Ultra должна появиться на рынке в следующем году: в чат-боте Bard и других продуктах компании.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это тот самый, который в презентациях менеджеров был "убийцей GPT"?
Слушайте, ну наверное это тренд такой, в школе не учиться, не знать как работает мир, зато считать себя умным, потому что у тебя айфон и есть в подчинении команда инженеров (которые мыслят схоже).
Какой-то сюр. Явно дохренище людей не должны занимать те позиции, которые они сегодня занимают.
Ну, интрига все еще сохраняется, потому что свою самую мощную версию Ultra они еще не зарелизили. Но да, есть некоторое ощущение, что даже там не будет всех тех вещей, что они показали на демо
ИМХО стоило бы просто нагенерить "новостей", уверен, 99% читателей результат бы устроил.