17% скидка на размещение рекламы на площадках devby — до 20 ноября. Клац!
Support us

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

2 комментария
Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

Как пишет Insider, работникам открыто не говорили, что новые задачи касаются чатбота, но внутри компании речь о них зашла 7 февраля — в районе даты анонса Bard. Они должны были оценивать релевантность ответов, сгенерированных гипотетическим «ИИ-чатботом». Обычно эти люди занимаются оценкой поисковых алгоритмов техногиганта и рекламных объявлений, отображаемых в выдаче, а также отфильтровывают опасные сайты, чтобы они не оказались в выдаче.

С января фокус работы сильно сместился на проверку ИИ-промптов. Подрядчикам давали пользовательский запрос (вопрос, утверждение, инструкцию) и два потенциальных ответа, сгенерированных ИИ. Им нужно было выбрать лучший из двух ответов. В отдельном поле они могли указать, почему сделали такой выбор, чтобы бот улучшал свои ответы — чтобы они становились более связными, точными и основанными на актуальной информации.

Ищешь работу в ИТ? Заходи на jobs.dev.by и первым будь в курсе самых свежих вакансий

Работники были недовольны, что им не дают достаточно времени, чтобы точно соотнести релевантность ответов к запросам. На каждую задачу отводится определённое количество времени — от 1 до нескольких минут. Они говорят, что им очень сложно оценивать ответы бота по темам, в которых они не разбираются, например в каких-то технических областях или о блокчейне. У тех, кто хотел бы ознакомиться с темой поглубже, чтобы выбрать ответ получше, попросту нет такой возможности. Поскольку время ограничено, а работа должна быть сделана, они просто оценивали ответы наугад.

Всего одна ошибка в презентации Bard стоила Alphabet $100 млрд капитализации. Google заявила, что в дальнейшем чатбот усовершенствуют.

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
По теме
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
«Поспешно топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
По теме
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему что он человек
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
По теме
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
Google обучала Bard на ответах ChatGPT?
Google обучала Bard на ответах ChatGPT?
По теме
Google обучала Bard на ответах ChatGPT?
Читайте также
В LinkedIn появился ИИ-поиск: можно точечно искать инвесторов или сотрудников с конкретными навыками
В LinkedIn появился ИИ-поиск: можно точечно искать инвесторов или сотрудников с конкретными навыками
В LinkedIn появился ИИ-поиск: можно точечно искать инвесторов или сотрудников с конкретными навыками
Только 9% программистов доверяют ИИ-коду без проверки
Только 9% программистов доверяют ИИ-коду без проверки
Только 9% программистов доверяют ИИ-коду без проверки
1 комментарий
Пятилетка качества: в Беларуси разработают ИИ-стандарты
Пятилетка качества: в Беларуси разработают ИИ-стандарты
Пятилетка качества: в Беларуси разработают ИИ-стандарты
«Не гонитесь за Google и Microsoft»: главный учёный IBM советует джунам смотреть шире на наём
«Не гонитесь за Google и Microsoft»: главный учёный IBM советует джунам смотреть шире на наём
«Не гонитесь за Google и Microsoft»: главный учёный IBM советует джунам смотреть шире на наём

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Лаврентий  Лучезарный
Лаврентий Лучезарный Пилот межзвёздного пространства в Космолёт
-1

стоила Alphabet $100 млн капитализации

и тут же ниже новость https://devby.io/news/kapitalizatsiya-alphabet-obvalilas-na-100-mlrd-iz-za-oshibki-v-reklame-chatbota

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота

Почему я должен за вас уже не первый раз вашу работу делать? Где мои донаты?

1

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Не по этому. Потому что индусы твоя меня не понимать