Подрядчики, работающие над улучшением модели Gemini, сравнивают её ответы с ответами конкурирующей модели Claude от Anthropic, узнал TechCrunch из их внутренней переписки. Сравнивать свои разработки с конкурентами вполне нормально, отмечает издание. Но обычно это делается с помощью специализированных бенчмарков, а не подрядчиками, которые вручную сравнивают ответы моделей.
Подрядчики, работающие над улучшением модели Gemini, сравнивают её ответы с ответами конкурирующей модели Claude от Anthropic, узнал TechCrunch из их внутренней переписки. Сравнивать свои разработки с конкурентами вполне нормально, отмечает издание. Но обычно это делается с помощью специализированных бенчмарков, а не подрядчиками, которые вручную сравнивают ответы моделей.
Подрядчики занимаются оценкой точности ответов Gemini по нескольким критериям, включая правдоподобность и развёрнутость. Им даётся до 30 минут на запрос, чтобы решить, чей ответ лучше — Gemini или Claude.
В одном внутреннем чате подрядчики заметили, что в ответах Claude делается больший акцент на безопасность, чем у Gemini. Один из них отметил, что у Claude «самые строгие настройки безопасности» из всех моделей. Модель Anthropic предпочитает не отвечать на запросы, которые считает сомнительными, в то время как Gemini может «грубо нарушить» правила, выдавая, например, обнажёнку и непристойности.
Коммерческие условия Anthropic запрещают клиентам использовать Claude для создания конкурирующих продуктов и сервисов, а также тренировать конкурирующие модели без её разрешения. Google является крупным инвестором Anthropic.
Издание спросило у Google, получала ли она разрешение использовать Claude в тестировании Gemini, но там не ответили. Там признали, что сравнивают ответы своей модели с другими для оценки качества, но заверили, что не тренируют Gemini на моделях Anthropic.
Ранее TechCrunch сообщал, что Google заставляет подрядчиков, работающих над её ИИ-продуктами, оценивать ответы Gemini в областях, в которых они не разбираются. Во внутренних сообщениях подрядчики выражают опасение, что Gemini может выдавать некорректную информацию по критическим темам, например о здоровье и лечении.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.