Дапамажыце dev.by 🤍
Падтрымаць

Планы запаволіць гонку ШІ пасварылі супрацоўнікаў у OpenAI і Anthropic

Абяцанні OpenAI і Anthropic запаволіць развіццё ШІ дзеля бяспекі выклікалі спрэчкі ўнутры кампаній. Супрацоўнікі баяцца новых рызык для абароны тэхналогій.

Пакінуць каментарый
Планы запаволіць гонку ШІ пасварылі супрацоўнікаў у OpenAI і Anthropic

Абяцанні OpenAI і Anthropic запаволіць развіццё ШІ дзеля бяспекі выклікалі спрэчкі ўнутры кампаній. Супрацоўнікі баяцца новых рызык для абароны тэхналогій.

Financial Times паведамляе, што кіраўнік Anthropic Дарыё Амадэй прапанаваў даць незалежным праверачным органам «доступ амаль як у супрацоўнікаў». Паводле ягонага плана, яны павінны атрымаць працоўныя ноўтбукі і пропускі ў офісы, а таксама доступ да ўнутраных інструментаў і працэсаў распрацоўкі мадэляў. Сэм Альтман назваў прапанову «выдатнай ідэяй» і заявіў, што OpenAI гатовая пайсці гэтым шляхам.

Аднак супрацоўнікі абедзвюх кампаній баяцца, што настолькі шырокі доступ старонніх спецыялістаў можа стварыць новыя рызыкі — ад уцечкі інтэлектуальнай уласнасці да доступу да найбольш магутных мадэляў і уразлівых дадзеных. Адзін з суразмоўцаў FT назваў гэтае пытанне крыніцай «канфлікту» ўнутры кампаній. Многія супрацоўнікі і спецыялісты па бяспецы наогул даведаліся пра новыя прапановы кіраўнікоў адначасова з публікай.

«Цяпер большасць старонніх арганізацый маюць значна меншы доступ, чым нават штатны супрацоўнік з мінімальнымі правамі», — патлумачыў былы даследчык OpenAI Майлз Брандэдж. На ягоную думку, каб такая сістэма сапраўды запрацавала ва ўсёй галіне, верагодна, спатрэбяцца абавязковыя агульныя правілы.

«Гэта не самы прыемны спосаб жыць»: CEO OpenAI — пра страхі і ціск у разгар ІІ-гонкі
«Гэта не самы прыемны спосаб жыць»: CEO OpenAI — пра страхі і ціск у разгар ІІ-гонкі
Па тэме
«Гэта не самы прыемны спосаб жыць»: CEO OpenAI — пра страхі і ціск у разгар ІІ-гонкі

OpenAI сцвярджае, што ўжо прыпыняла асобныя запускі навучання францірных мадэляў, каб даць сістэмам бяспекі час дагнаць рост іх магчымасцяў. Anthropic даследаванні пакуль не спыняла, хаця Амадэй заклікае кампаніі трымаць тэмп развіцця пад кантролем і прапануе замацаваць пастаянных вонкавых аўдытараў заканадаўча.

Вопыт падобнага вонкавага кантролю ў OpenAI ўжо ёсць. Пасля ліпеньскага інцыдэнту з Hugging Face даследчыкі METR і Redwood Research атрымалі матэрыялы кампаніі, вывучылі дзясяткі тысяч логаў больш чым 1200 ШІ-агентаў, працавалі з офіса OpenAI і апытвалі супрацоўнікаў. Аднак расследаванне датычыла толькі канкрэтнага інцыдэнту, што выклікала пытанні пра тое, наколькі незалежным можа быць аўдыт, калі сама кампанія вызначае межы доступу.

«Усе гэтыя арганізацыі атрымліваюць толькі той доступ, які ім даюць самі ШІ-кампаніі, і гэтага зусім недастаткова», — заявіў прафесар Манрэальскага ўніверсітэта Дэвід Крюгер, які раней працаваў у брытанскім AI Security Institute. Паводле яго, цяперашні падыход фактычна зыходзіць з таго, што «ШІ-сістэмы бяспечныя, пакуль не даказана адваротнае».

ІІ-агенты пачалі прыдумляць уласную мову — людзям усё складаней іх разумець
ІІ-агенты пачалі прыдумляць уласную мову — людзям усё складаней іх разумець
Па тэме
ІІ-агенты пачалі прыдумляць уласную мову — людзям усё складаней іх разумець
Хакеры паляўалі на «крыптакітоў» Revolut і рабілі запыты ад імя італьянскай паліцыі — FT
Хакеры паляўалі на «крыптакітоў» Revolut і рабілі запыты ад імя італьянскай паліцыі — FT 
Па тэме
Хакеры паляўалі на «крыптакітоў» Revolut і рабілі запыты ад імя італьянскай паліцыі — FT
ІІ-агенты OpenAI шукалі лазейкі ў інфраструктуры Hugging Face за два месяцы да вядомага ўзлому
ІІ-агенты OpenAI шукалі лазейкі ў інфраструктуры Hugging Face за два месяцы да вядомага ўзлому
Па тэме
ІІ-агенты OpenAI шукалі лазейкі ў інфраструктуры Hugging Face за два месяцы да вядомага ўзлому
Чытайце таксама
ШІ-кампаніі не хочуць запавольвацца і просяць ЗША стварыць «тормаз» для гонкі тэхналогій
ШІ-кампаніі не хочуць запавольвацца і просяць ЗША стварыць «тормаз» для гонкі тэхналогій
ШІ-кампаніі не хочуць запавольвацца і просяць ЗША стварыць «тормаз» для гонкі тэхналогій
Кіраўнік Anthropic прапанаваў прытармазіць гонку ШІ — Альтман і Маск нечакана пагадзіліся
Кіраўнік Anthropic прапанаваў прытармазіць гонку ШІ — Альтман і Маск нечакана пагадзіліся
Кіраўнік Anthropic прапанаваў прытармазіць гонку ШІ — Альтман і Маск нечакана пагадзіліся
Планы запаволіць гонку ШІ пасварылі супрацоўнікаў у OpenAI і Anthropic
Планы запаволіць гонку ШІ пасварылі супрацоўнікаў у OpenAI і Anthropic
Планы запаволіць гонку ШІ пасварылі супрацоўнікаў у OpenAI і Anthropic
Кіраўнікі ІТ-гігантаў спыталі ў гендырэктара Anthropic, навошта ён палохае ўсіх штучным інтэлектам
Кіраўнікі ІТ-гігантаў спыталі ў гендырэктара Anthropic, навошта ён палохае ўсіх штучным інтэлектам
Кіраўнікі ІТ-гігантаў спыталі ў гендырэктара Anthropic, навошта ён палохае ўсіх штучным інтэлектам

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

Каментарыяў пакуль няма.