Мы запустили Dzik Pic Store. Заходи к нам в магазин за крутым мерчом ☃️
Support us

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

2 комментария
Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Подрядчикам Google, работающим на неё через фирму Appen, было поручено помогать с оценкой ответов чатбота Bard, ограниченный релиз которого состоялся в марте. По их словам, зачастую у них не хватало времени, чтобы делать работу качественно.

Как пишет Insider, работникам открыто не говорили, что новые задачи касаются чатбота, но внутри компании речь о них зашла 7 февраля — в районе даты анонса Bard. Они должны были оценивать релевантность ответов, сгенерированных гипотетическим «ИИ-чатботом». Обычно эти люди занимаются оценкой поисковых алгоритмов техногиганта и рекламных объявлений, отображаемых в выдаче, а также отфильтровывают опасные сайты, чтобы они не оказались в выдаче.

С января фокус работы сильно сместился на проверку ИИ-промптов. Подрядчикам давали пользовательский запрос (вопрос, утверждение, инструкцию) и два потенциальных ответа, сгенерированных ИИ. Им нужно было выбрать лучший из двух ответов. В отдельном поле они могли указать, почему сделали такой выбор, чтобы бот улучшал свои ответы — чтобы они становились более связными, точными и основанными на актуальной информации.

Ищешь работу в ИТ? Заходи на jobs.dev.by и первым будь в курсе самых свежих вакансий

Работники были недовольны, что им не дают достаточно времени, чтобы точно соотнести релевантность ответов к запросам. На каждую задачу отводится определённое количество времени — от 1 до нескольких минут. Они говорят, что им очень сложно оценивать ответы бота по темам, в которых они не разбираются, например в каких-то технических областях или о блокчейне. У тех, кто хотел бы ознакомиться с темой поглубже, чтобы выбрать ответ получше, попросту нет такой возможности. Поскольку время ограничено, а работа должна быть сделана, они просто оценивали ответы наугад.

Всего одна ошибка в презентации Bard стоила Alphabet $100 млрд капитализации. Google заявила, что в дальнейшем чатбот усовершенствуют.

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
По теме
Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота
«Поспешно топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
По теме
«Поспешно, топорно»: сотрудники Google разнесли презентацию фирменного ИИ-чатбота
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему что он человек
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
По теме
Сотрудников Google попросили по нескольку часов тренировать Bard и не говорить ему, что он человек
Google обучала Bard на ответах ChatGPT?
Google обучала Bard на ответах ChatGPT?
По теме
Google обучала Bard на ответах ChatGPT?
🎊 Dzik Pic Store открыт и готов принимать заказы!

Заходи к нам в магазин

Читайте также
OpenAI запартнёрилась с одним из главных конкурентов Nvidia на $10 млрд
OpenAI запартнёрилась с одним из главных конкурентов Nvidia на $10 млрд
OpenAI запартнёрилась с одним из главных конкурентов Nvidia на $10 млрд
Два кофаундера стартапа, который через полгода после создания оценивали в $12 млрд, возвращаются в OpenAI
Два кофаундера стартапа, который через полгода после создания оценивали в $12 млрд, возвращаются в OpenAI
Два кофаундера стартапа, который через полгода после создания оценивали в $12 млрд, возвращаются в OpenAI
«Такого ещё не было»: основатель a16z объяснил, почему ИИ не повторит дотком
«Такого ещё не было»: основатель a16z объяснил, почему ИИ не повторит дотком
«Такого ещё не было»: основатель a16z объяснил, почему ИИ не повторит дотком
Мэттью Макконахи запатентовал свои мемы, чтобы защититься от ИИ
Мэттью Макконахи запатентовал свои мемы, чтобы защититься от ИИ
Мэттью Макконахи запатентовал свои мемы, чтобы защититься от ИИ

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Лаврентий  Лучезарный
Лаврентий Лучезарный Пилот межзвёздного пространства в Космолёт
-1

стоила Alphabet $100 млн капитализации

и тут же ниже новость https://devby.io/news/kapitalizatsiya-alphabet-obvalilas-na-100-mlrd-iz-za-oshibki-v-reklame-chatbota

Капитализация Alphabet обвалилась на $100 млрд из-за ошибки в рекламе чатбота

Почему я должен за вас уже не первый раз вашу работу делать? Где мои донаты?

1

Подрядчики Google оценивали точность ответов чатбота наугад, потому что нет времени

Не по этому. Потому что индусы твоя меня не понимать