Падрадчыкі Google ацэньвалі дакладнасць адказаў чатбота наўздагад, бо няма часу

Як піша Insider, працаўнікам адкрыта не казалі, што новыя задачы тычацца чатбота, але ўнутры кампаніі гаворка пра іх зайшла 7 лютага — у раёне даты анонсу Bard. Яны меліся ацэньваць рэлевантнасць адказаў, згенераваных гіпатэтычным «АІ-чатботам». Звычайна гэтыя людзі займаюцца ацэнкай пошукавых алгарытмаў тэхнагіганта і рэкламных аб’яў, якія паказваюцца ў выдачы, а таксама адфільтроўваюць небяспечныя сайты, каб яны не апынуліся ў выдачы.

Ад студзеня фокус працы моцна зрушыўся на праверку АІ-промптаў. Падрадчыкам давалі карыстальніцкі запыт (пытанне, сцверджанне, інструкцыю) і два патэнцыйныя адказы, згенераваныя AI. Ім трэба было выбраць лепшы з двух адказаў. У асобным полі яны маглі пазначыць, чаму зрабілі такі выбар, каб бот паляпшаў свае адказы — каб яны станавіліся больш звязлымі, дакладнымі і заснаванымі на актуальнай інфармацыі.

Працаўнікі былі незадаволеныя, што ім не даюць дастаткова часу, каб дакладна суаднесці рэлевантнасць адказаў да запытаў. На кожную задачу адводзіцца пэўная колькасць часу — ад 1 да некалькіх хвілін. Яны кажуць, што ім вельмі складана ацэньваць адказы бота ў тэмах, у якіх яны не разбіраюцца, напрыклад, у нейкіх тэхнічных галінах або пра блакчэйн. У тых, хто хацеў бы азнаёміцца з тэмай глыбей, каб выбраць лепшы адказ, папросту няма такой магчымасці. Паколькі час абмежаваны, а праца мае быць зробленая, яны проста ацэньвалі адказы наўздагад.

Усяго адная памылка ў прэзентацыі Bard каштавала Alphabet $100 млн капіталізацыі. Google заявіла, што ў далейшым чатбот удасканаляць.