Адной з найбольш запатрабаваных вакансій у ШІ-індустрыі можа стаць не чарговая разнавіднасць даследчыка, а «убудаваны ацэншчык» (embedded evaluator) — спецыяліст, які будзе незалежна правяраць перад рэлізам перадавыя ШІ-мадэлі і сачыць за тым, ці прытрымліваецца кампанія ўласных патрабаванняў бяспекі.
Адной з найбольш запатрабаваных вакансій у ШІ-індустрыі можа стаць не чарговая разнавіднасць даследчыка, а «убудаваны ацэншчык» (embedded evaluator) — спецыяліст, які будзе незалежна правяраць перад рэлізам перадавыя ШІ-мадэлі і сачыць за тым, ці прытрымліваецца кампанія ўласных патрабаванняў бяспекі.
CEO Anthropic Дарыё Амадэі прапанаваў лабараторыям, якія распрацоўваюць перадавыя ШІ-мадэлі, ствараць такія пасады ўнутры сваіх кампаній у сваім нашумелым эсэ з заклікам запаволіць ШІ-распрацоўку. Паводле яго задумы, ацэншчыкі павінны правяраць, «ці сапраўды кампанія прытрымліваецца заяўленых ёю правілаў навучання, разгортвання, эксплуатацыі і забеспячэння бяспекі».
У такіх спецыялістаў павінен быць доступ да кампаніі прыкладна на ўзроўні звычайных супрацоўнікаў, каб яны маглі правяраць практыкі бяспекі і паведамляць пра інцыдэнты. У Anthropic у іх будуць рабочыя месцы ў офісах, пропускі і карпаратыўныя наўтбукі. Ацэншчыкі змогуць публікаваць вынікі сваіх праверак без рэдакцыйнага кантролю з боку Anthropic.
Кампанія зможа хаваць з апублікаваных матэрыялаў частку інфармацыі — але толькі звязаную з бяспекай, канфідэнцыяльнымі дадзенымі трэціх бакоў, юрыдычнай або камерцыйнай тайнай. «Мы не зможам рэдагаваць вынікі толькі таму, што яны выстаўляюць нас у нявыгадным святле», — напісаў Амадэі.
З неабходнасцю такой пасады пагадзіліся нават заўзятыя канкурэнты Дарыё, з якімі ён публічна разыходзіўся ў поглядах. Сэм Альтман пахваліў ідэю і зрабіў рэпост ягонай публікацыі з абяцаннем, што OpenAI таксама завядзе такіх экспертаў. Ілан Маск таксама падтрымаў прапанову.
Ідэя зацікавіла і венчурных інвестараў. Былы партнёр Andreessen Horowitz і экс-дарадца Дональда Трампа па ШІ Шрырам Крышнан выступіў за размеркаваную сетку такіх ацэншчыкаў. «Чым больш людзей з рознымі кампетэнцыямі і чым больш незалежных поглядаў, тым лепш. Было б нядрэнна прафінансаваць некалькі такіх ініцыятываў», — напісаў ён у X.
У Амадэі ўжо ёсць на прыкмеце арганізацыя, якая магла б займацца падобнай працай, — каліфарнійская некамерцыйная арганізацыя Metr, якая праводзіць незалежныя праверкі ШІ-мадэляў. Яе заснавала ў 2022 годзе былая супрацоўніца OpenAI Бэт Барнс, і цяпер Metr прыцягвае спецыялістаў з найбуйнейшых ШІ-лабараторый. Туды ўжо перайшлі некаторыя супрацоўнікі Anthropic і Google DeepMind.
Сваю кандыдатуру на ролю незалежнага ацэншчыка прапанавала і даследчая група Стэнфарда. Старшы навуковы супрацоўнік Stanford Institute for Human-Centered AI і заснавальнік групы па апрацоўцы натуральнай мовы Крыстафер Мэнінг лічыць, што для такой працы найлепш падыходзяць менавіта ўніверсітэты.
Спецыялісты па бяспецы ШІ лічаць, што адных унутраных ацэншчыкаў недастаткова. Выканаўчы дырэктар AI Verification and Evaluation Research Institute і былы старшы дарадца OpenAI Майлз Брандэйдж назваў іх «важнай часткай комплекснага падыходу», але падкрэсліў, што самі па сабе яны праблему не вырашаць. На ягоную думку, індустрыі патрэбны абавязковыя правілы, якія не дазволяць ацэншчыкам залежаць ад кампаній, у якіх яны працуюць. У ідэале, лічыць Брандэйдж, кампаніі не павінны выбіраць людзей, якія іх правяраюць, і плаціць ім зарплату. Пры гэтым пачынаць ствараць такія механізмы, паводле яго, можна ўжо цяпер.
Прафесар юрыдычнага факультэта Тэхаскага ўніверсітэта Кевін Фрэйзер таксама лічыць, што ацэншчыкам патрэбны вонкавы камітэт у бяспецы, не звязаны з ШІ-лабараторыямі, куды яны маглі б паведамляць пра патэнцыйна незаконныя дзеянні. Ён прапануе наймаць спецыялістаў на зменныя 26-месячныя тэрміны — прыкладна час паміж рэлізамі двух новых класаў мадэляў. Гэта дазволіла б ім ацэньваць, ці выправіла лабараторыя ранейшыя памылкі ў наступнай версіі, і адначасова не давала б ацэншчыкам занадта цесна ўліцца ў калектыў і карпаратыўную культуру.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.