Хотите дальше читать devby? 📝
Support us

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

2 комментария
Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

Как пишет Insider, работникам открыто не говорили, что новые задачи касаются чатбота, но внутри компании речь о них зашла 7 февраля — в районе даты анонса Bard. Они должны были оценивать релевантность ответов, сгенерированных гипотетическим «ИИ-чатботом». Обычно эти люди занимаются оценкой поисковых алгоритмов техногиганта и рекламных объявлений, отображаемых в выдаче, а также отфильтровывают опасные сайты, чтобы они не оказались в выдаче.

С января фокус работы сильно сместился на проверку ИИ-промптов. Подрядчикам давали пользовательский запрос (вопрос, утверждение, инструкцию) и два потенциальных ответа, сгенерированных ИИ. Им нужно было выбрать лучший из двух ответов. В отдельном поле они могли указать, почему сделали такой выбор, чтобы бот улучшал свои ответы — чтобы они становились более связными, точными и основанными на актуальной информации.

Ищешь работу в ИТ? Заходи на jobs.dev.by и первым будь в курсе самых свежих вакансий

Работники были недовольны, что им не дают достаточно времени, чтобы точно соотнести релевантность ответов к запросам. На каждую задачу отводится определённое количество времени — от 1 до нескольких минут. Они говорят, что им очень сложно оценивать ответы бота по темам, в которых они не разбираются, например в каких-то технических областях или о блокчейне. У тех, кто хотел бы ознакомиться с темой поглубже, чтобы выбрать ответ получше, попросту нет такой возможности. Поскольку время ограничено, а работа должна быть сделана, они просто оценивали ответы наугад.

Всего одна ошибка в презентации Bard стоила Alphabet $100 млрд капитализации. Google заявила, что в дальнейшем чатбот усовершенствуют.

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
По теме
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
«Поспешно топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
По теме
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему что он человек
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
По теме
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
Google обучала Bard на ответах ChatGPT?
Google обучала Bard на ответах ChatGPT?
По теме
Google обучала Bard на ответах ChatGPT?
Помогаете devby = помогаете ИТ-комьюнити.

Засапортить сейчас.

Читайте также
10+ сертификаций Coursera, которые могут изменить вашу карьеру
10+ сертификаций Coursera, которые могут изменить вашу карьеру
10+ сертификаций Coursera, которые могут изменить вашу карьеру
Бюджетный способ прокачать навыки и повысить зарплату — это профессиональный сертификат от Google, IBM или крупного зарубежного университета. На Coursera как раз можно найти десятки полезных обучающих программ по машинному обучению, проджект-менеджменту и не только. Собрали 10+ сертификаций, которые будут выигрышно смотреться в резюме как новичка, так и опытного специалиста.
Дизайн, VR и интернет вещей: 10 доступных онлайн-курсов от Google, Amazon и других гигантов
Дизайн, VR и интернет вещей: 10 доступных онлайн-курсов от Google, Amazon и других гигантов
Дизайн, VR и интернет вещей: 10 доступных онлайн-курсов от Google, Amazon и других гигантов
На платформе Coursera можно найти сотни курсов от крупных корпораций, включая Google, Amazon и HubSpot. Это отличная возможность начать новую карьеру, повысить квалификацию и просто получить плюс в профессиональную карму. Мы собрали 10 программ от ИТ-компаний, которые помогут освоить машинное обучение, UX-дизайн, продакт-менеджмент, кибербезопасность и многое другое.
Google урезает бюджеты, СЕО намекает на сокращения
Google урезает бюджеты, СЕО намекает на сокращения
Google урезает бюджеты, СЕО намекает на сокращения
1 комментарий
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google
Bubble
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Лаврентий  Лучезарный
Лаврентий Лучезарный Пилот межзвёздного пространства в Космолёт
-1

стоила Alphabet $100 млн капитализации

и тут же ниже новость https://devby.io/news/kapitalizatsiya-alphabet-obvalilas-na-100-mlrd-iz-za-oshibki-v-reklame-chatbota

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота

Почему я должен за вас уже не первый раз вашу работу делать? Где мои донаты?

deeaitch
deeaitch
1

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Не по этому. Потому что индусы твоя меня не понимать