Скандальны ШІ‑бот для тэхнічных сумоўяў выдае звычайныя адказы ChatGPT

Былы студэнт Калумбійскага ўніверсітэта Чунгін «Рой» Лі быў адлічаны за распрацоўку ШІ‑сэрвісу, што дапамагае распрацоўшчыкам праходзіць тэхнічныя інтэрв’ю дыстанцыйна. Сэрвіс Interview Coder аналізуе тэкст і мову, можа генераваць код, прапаноўваць праўкі і даваць тлумачэнні для вусных адказаў. Карыстальнік бачыць падказкі ў схаваным вакне браўзера, якое не бачыць інтэрв’юер ці экзаменатар. Вокны можна перамясціць у патрэбнае месца на экране — каб вочы «не бегалі».

Журналісты 404 Media пратэставалі Interview Coder. Паводле сцэнару «інтэрв’ю» адзін з супрацоўнікаў задаваў стандартныя пытанні накшталт «Раскажыце пра свае моцныя бакі» і «Над чым трэба папрацаваць?», а «кандыдат» адказваў, абапіраючыся на падказкі Cluely. Сэрвіс аналізаваў гук, адсылаў запыты да моўнай мадэлі і выводзіў гатовы адказ у выглядзе тэксту уверсе экрана і тлумачэнні ўнізе.

Нягледзячы на эфектны інтэрфейс, журналісты звярнулі ўвагу на заўважную затрымку: кожнае пакаленне адказу займала каля 20 секунд, на працягу якіх суразмоўцы вымушаны былі маўчаць. Акрамя таго, фразы часта паўтаралі стандартныя фармулёўкі ChatGPT без уліку кантэксту канкрэтнай кампаніі, што зніжала рэалістычнасць дыялогу. Журналіст запытаў Лі, ці не дасылае ягонае ПЗ проста запыты ў ChatGPT. Ёсць невялікая дадатковая данадбудова і шэраг іншым мадэляў, але па сутнасці — так», — адказаў ён.

«Інавацыйная ідэя — падказкі прама ў оверлеі — безумоўна, прыцягвае ўвагу, але ў цяперашнім выглядзе сэрвіс больш прыдатны для дэманстрацый, а не для рэальных інтэрв’ю», — піша журналіст выдання. Журналісты таксама адзначылі, што Interview Coder зусім незаўважны на запісах экрана і скрыншотах, што можа быць як перавагай, так і недахопам (адсутнасць празрыстасці).

У выніку журналісты 404 Media прыйшлі да высновы, што Cluely мае патэнцыял стаць карысным інструментам для падрыхтоўкі да важных перамоваў і сумоўяў, аднак у бягучай версіі сэрвіс патрабуе дапрацоўкі па хуткасці працы і адаптацыі адказаў пад канкрэтныя задачы. Паводле слоў Лі, у бліжэйшых рэлізах плануецца сур’ёзна скараціць затрымку водгуку і дапрацаваць мадэлі, каб адказы былі больш тэматычна дакладнымі і аператыўнымі.