Николай Чикишев 2 ліпеня 2024, 12:10

Anthropic прафінансуе распрацоўку новых тэстаў для ацэнкі бяспекі АІ

Кампанія запускае праграму фінансавання распрацоўкі новых тыпаў тэстаў, здольных ацэньваць прадукцыйнасць і эфектыўнасць мадэляў штучнага інтэлекту.

Пакінуць каментарый

Anthropic прафінансуе распрацоўку новых тэстаў для ацэнкі бяспекі АІ

Кампанія запускае праграму фінансавання распрацоўкі новых тыпаў тэстаў, здольных ацэньваць прадукцыйнасць і эфектыўнасць мадэляў штучнага інтэлекту.

Згодна з умовамі праграмы, Anthropic будзе плаціць іншым арганізацыям за распрацоўку тэстаў, якія могуць «эфектыўна вымяраць пашыраныя магчымасці мадэляў штучнага інтэлекту». «Нашыя інвестыцыі ў гэтыя ацэнкі накіраваныя на павышэнне ўзроўню бяспекі АІ ва ўсёй вобласці. Распрацоўка высакаякасных ацэнак, звязаных з бяспекай, застаецца складанай задачай, і попыт апярэджвае прапанову», — заявілі ў Anthropic.

У АІ-мадэляў існуюць праблемы з бэнчмаркінгам. Найбольш часта выкарыстоўваныя сёння бэнчмаркі для АІ дрэнна адлюстроўваюць тое, як звычайны карыстальнік насамрэч выкарыстоўвае тэставаныя сістэмы. Таксама ў экспертаў ёсць сумневы, што некаторыя тэсты, якія былі выпушчаныя яшчэ да з’яўлення сучаснага генератыўнага АІ, вымяраюць сапраўды тое, што яны маюць вымяраць, улічваючы час іх стварэння.

Кампанія заклікае да стварэння такіх тэстаў, у якіх будзе ацэньвацца здольнасць мадэлі да выканання кібератакі, «удасканалення» зброі масавага знішчэння, маніпулявання, падману і іншым задач. У выпадку з рызыкамі АІ, звязанымі з нацыянальнай бяспекай і абаронай, Anthropic плануе распрацаваць «сістэму ранняга папярэджання» для выяўлення і ацэнкі рызык.

Аднак у падобнай ініцыятывы ёсць і крытыкі, якія паказваюць, што кампанія імкнецца фінансаваць тыя распрацоўкі, якія будуць адпавядаць яе класіфікацыі бяспекі АІ. Гэта можа прывесці да таго, што кандыдаты на ўдзел у праграме будуць вымушаныя прымаць тыя вызначэнні «бяспечнага» і «рызыкоўнага» АІ, з якімі яны будуць не згодныя. Таксама многія эксперты сумняваюцца, што неабходна рабіць акцэнт на вывучэнні рызык, звязаных з ядзернай зброяй, — нашмат больш карысна даследаваць надзённыя праблемы рэгулявання АІ, напрыклад, схільнасць мадэляў да галюцынацый.