Support us

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

2 комментария
Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

Как пишет Insider, работникам открыто не говорили, что новые задачи касаются чатбота, но внутри компании речь о них зашла 7 февраля — в районе даты анонса Bard. Они должны были оценивать релевантность ответов, сгенерированных гипотетическим «ИИ-чатботом». Обычно эти люди занимаются оценкой поисковых алгоритмов техногиганта и рекламных объявлений, отображаемых в выдаче, а также отфильтровывают опасные сайты, чтобы они не оказались в выдаче.

С января фокус работы сильно сместился на проверку ИИ-промптов. Подрядчикам давали пользовательский запрос (вопрос, утверждение, инструкцию) и два потенциальных ответа, сгенерированных ИИ. Им нужно было выбрать лучший из двух ответов. В отдельном поле они могли указать, почему сделали такой выбор, чтобы бот улучшал свои ответы — чтобы они становились более связными, точными и основанными на актуальной информации.

Ищешь работу в ИТ? Заходи на jobs.dev.by и первым будь в курсе самых свежих вакансий

Работники были недовольны, что им не дают достаточно времени, чтобы точно соотнести релевантность ответов к запросам. На каждую задачу отводится определённое количество времени — от 1 до нескольких минут. Они говорят, что им очень сложно оценивать ответы бота по темам, в которых они не разбираются, например в каких-то технических областях или о блокчейне. У тех, кто хотел бы ознакомиться с темой поглубже, чтобы выбрать ответ получше, попросту нет такой возможности. Поскольку время ограничено, а работа должна быть сделана, они просто оценивали ответы наугад.

Всего одна ошибка в презентации Bard стоила Alphabet $100 млрд капитализации. Google заявила, что в дальнейшем чатбот усовершенствуют.

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
По теме
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
«Поспешно топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
По теме
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему что он человек
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
По теме
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
Google обучала Bard на ответах ChatGPT?
Google обучала Bard на ответах ChatGPT?
По теме
Google обучала Bard на ответах ChatGPT?
Читайте также
Три года с ИИ: бизнес всё ещё не понимает, как извлечь из него пользу
Три года с ИИ: бизнес всё ещё не понимает, как извлечь из него пользу
Три года с ИИ: бизнес всё ещё не понимает, как извлечь из него пользу
Anthropic узнала у своих программистов, как ИИ меняет их работу
Anthropic узнала у своих программистов, как ИИ меняет их работу
Anthropic узнала у своих программистов, как ИИ меняет их работу
1 комментарий
OpenAI объявила «код красный» из-за конкуренции с Google Gemini 3
OpenAI объявила «код красный» из-за конкуренции с Google Gemini 3
OpenAI объявила «код красный» из-за конкуренции с Google Gemini 3
ИИ-агенты смогли «взломать» смарт-контракты на $550 млн
ИИ-агенты смогли «взломать» смарт-контракты на $550 млн
ИИ-агенты смогли «взломать» смарт-контракты на $550 млн

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Лаврентий  Лучезарный
Лаврентий Лучезарный Пилот межзвёздного пространства в Космолёт
-1

стоила Alphabet $100 млн капитализации

и тут же ниже новость https://devby.io/news/kapitalizatsiya-alphabet-obvalilas-na-100-mlrd-iz-za-oshibki-v-reklame-chatbota

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота

Почему я должен за вас уже не первый раз вашу работу делать? Где мои донаты?

1

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Не по этому. Потому что индусы твоя меня не понимать