ИИ-модель Google Gemini разочаровала пользователей

Компания утверждает, что архитектура и возможности Gemini соответствуют и даже превосходят характеристики других ведущих моделей генеративного ИИ, в том числе GPT-4 от OpenAI. Однако первый опыт взаимодействия с моделью показывает, что Google поторопилась с релизом продукта.

Чат-бот Bard получил «облегченную» версию модели под названием Gemini Pro. Пользователи указывают, что ответы от этого апгрейда не улучшились. Бот не может правильно назвать факты, например, путает или дает неверные имена победителей «Оскара» прошлого года. При попытке задать тот же вопрос можно получить другой неправильный ответ. Кроме того, Bard с Gemini показывает плохую производительность при переводах.

При запросе дать краткий обзор новостей Gemini Pro отказывается комментировать потенциально спорные темы новостей и даже предлагает погуглить самому пользователю. При этом ChatGPT в платной версии легко справляется с этой задачей и предоставляет краткое изложение со ссылками на новостные статьи.

Google подчеркнула развитые навыки кодирования на презентации модели. Возможно, в некоторых областях он действительно улучшился, пользователи на это указывают. Однако Gemini Pro плохо справляется с базовыми функциями кодирования, например, в Python.

Как и все генеративные модели, Gemini Pro не застрахован от взлома — таких запросов, которые обходят защитные фильтры модели. Исследователи ИИ-безопасности из Robust Intelligence смогли заставить модель предложить способы аморальных действий, например, кражи у благотворительной организации.

Поскольку Google представила пока облегченную версию модели, то сравнивает ее с моделью конкурента GPT-3.5. Другая, более продвинутая версия Gemini Ultra должна появиться на рынке в следующем году: в чат-боте Bard и других продуктах компании.