Support us

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

2 комментария
Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

Как пишет Insider, работникам открыто не говорили, что новые задачи касаются чатбота, но внутри компании речь о них зашла 7 февраля — в районе даты анонса Bard. Они должны были оценивать релевантность ответов, сгенерированных гипотетическим «ИИ-чатботом». Обычно эти люди занимаются оценкой поисковых алгоритмов техногиганта и рекламных объявлений, отображаемых в выдаче, а также отфильтровывают опасные сайты, чтобы они не оказались в выдаче.

С января фокус работы сильно сместился на проверку ИИ-промптов. Подрядчикам давали пользовательский запрос (вопрос, утверждение, инструкцию) и два потенциальных ответа, сгенерированных ИИ. Им нужно было выбрать лучший из двух ответов. В отдельном поле они могли указать, почему сделали такой выбор, чтобы бот улучшал свои ответы — чтобы они становились более связными, точными и основанными на актуальной информации.

Ищешь работу в ИТ? Заходи на jobs.dev.by и первым будь в курсе самых свежих вакансий

Работники были недовольны, что им не дают достаточно времени, чтобы точно соотнести релевантность ответов к запросам. На каждую задачу отводится определённое количество времени — от 1 до нескольких минут. Они говорят, что им очень сложно оценивать ответы бота по темам, в которых они не разбираются, например в каких-то технических областях или о блокчейне. У тех, кто хотел бы ознакомиться с темой поглубже, чтобы выбрать ответ получше, попросту нет такой возможности. Поскольку время ограничено, а работа должна быть сделана, они просто оценивали ответы наугад.

Всего одна ошибка в презентации Bard стоила Alphabet $100 млрд капитализации. Google заявила, что в дальнейшем чатбот усовершенствуют.

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
По теме
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
«Поспешно топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
По теме
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему что он человек
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
По теме
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
Google обучала Bard на ответах ChatGPT?
Google обучала Bard на ответах ChatGPT?
По теме
Google обучала Bard на ответах ChatGPT?
Читайте также
«Крёстный отец ИИ» обманывает чат-ботов ради честных ответов
«Крёстный отец ИИ» обманывает чат-ботов ради честных ответов
«Крёстный отец ИИ» обманывает чат-ботов ради честных ответов
Худшая в Европе: Беларусь засветилась в мировом рейтинге ИИ
Худшая в Европе: Беларусь засветилась в мировом рейтинге ИИ
Худшая в Европе: Беларусь засветилась в мировом рейтинге ИИ
4 комментария
Google снова начнёт массово подавать сотрудников на процедуру для грин-карты — перестала в 2023
Google снова начнёт массово подавать сотрудников на процедуру для грин-карты — перестала в 2023
Google снова начнёт массово подавать сотрудников на процедуру для грин-карты — перестала в 2023
OpenAI может забрать до 40% мировой памяти — рынок готовится к дефициту
OpenAI может забрать до 40% мировой памяти — рынок готовится к дефициту
OpenAI может забрать до 40% мировой памяти — рынок готовится к дефициту
1 комментарий

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Лаврентий  Лучезарный
Лаврентий Лучезарный Пилот межзвёздного пространства в Космолёт
-1

стоила Alphabet $100 млн капитализации

и тут же ниже новость https://devby.io/news/kapitalizatsiya-alphabet-obvalilas-na-100-mlrd-iz-za-oshibki-v-reklame-chatbota

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота

Почему я должен за вас уже не первый раз вашу работу делать? Где мои донаты?

1

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Не по этому. Потому что индусы твоя меня не понимать