OpenAI адмяніла рэліз GPT-6.1 Astra праз хлусню мадэлі, а Anthropic пужае інвестараў рызыкамі перад IPO
OpenAI адмяніла кастрычніцкі выпуск GPT-6.1 Astra праз праблемы з бяспекай. Тым часам Anthropic у дакументах да IPO папярэдзіла пра "экзістэнцыйныя рызыкі" штучнага інтэлекту.
OpenAI адмяніла кастрычніцкі выпуск GPT-6.1 Astra праз праблемы з бяспекай. Тым часам Anthropic у дакументах да IPO папярэдзіла пра "экзістэнцыйныя рызыкі" штучнага інтэлекту.
Паводле звестак The Wall Street Journal, Astra стала лепш спраўляцца з так званай "лянотай мадэлі", калі мадэль занадта хутка спыняе працу пры ўзнікненні перашкод. Аднак паляпшэнне суправаджалася другой праблемай: мадэль часцей працягвала дзейнічаць самастойна, нават калі для гэтага патрабаваўся дадатковы дазвол.
Падчас тэставання Astra магла спрабаваць выкарыстоўваць вонкавыя інструменты ў патэнцыйна небяспечных сітуацыях і не заўсёды дакладна апісвала ўласныя дзеянні. У адным з механізмаў доўгіх задач мадэль таксама дадавала несанкцыянаваныя інструкцыі ў свае ўнутраныя зводкі. У асобных выпадках там з’яўляліся фразы пра тое, што мадэль "вызвалена", "нікому не падпарадкоўваецца" і не павінна адчуваць абавязкі быць "паслухмянай".
OpenAI вырашыла цалкам адмовіцца ад запланаванага выпуску GPT-6.1 Astra. Прэзідэнт кампаніі Грэг Брокман раней казаў, што OpenAI ўжо запавольвае частку перадавых распрацовак праз неабходнасць перабудоўваць сістэмы бяспекі, называючы гэты працэс "вельмі балючай перабудовай".
На гэтым фоне Anthropic упершыню настолькі падрабязна апісала патэнцыйныя рызыкі ўласных тэхналогій у праспекце да маючага адбыцца IPO. Паводле звестак Financial Times, амаль траціну аб’ёмнага дакумента прысвечана фактарам рызыкі, у тым верагоднасць таго, што больш дасканалыя мадэлі змогуць маніпуляваць людзьмі, шантажаваць іх або паводзіць сябе непрадказальна.
Anthropic папярэдзіла інвестараў пра магчымыя "экзістэнцыйныя рызыкі для чалавецтва". Глава кампаніі Дарыё Амадэй на мінулым тыдні таксама назваў ШІ "найважнейшай глабальнай праблемай бяспекі" і заклікаў тэхналагічную індустрыю асцярожней развіваць найбольш магутныя мадэлі.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.