Новы спецыяліст па бяспецы OpenAI Пол Крыстыяна зрабіў жорсткую заяву пра рызыкі, з якімі чалавецтва сутыкаецца ў працэсе стварэння звышінтэлекту.
Новы спецыяліст па бяспецы OpenAI Пол Крыстыяна зрабіў жорсткую заяву пра рызыкі, з якімі чалавецтва сутыкаецца ў працэсе стварэння звышінтэлекту.
«Калі мы пабудуем звышінтэлект без надзейнай сістэмы ўзгаднення мэтаў, то, на маю думку, канчаткова страцім над ім кантроль. І калі гэта адбудзецца, большасць людзей можа загінуць», — заявіў даследчык пасля таго, як кампанія абвясціла пра ягонае ўступленне ў савет дырэктараў і камітэт па бяспецы OpenAI.
Крыстыяна папярэдзіў, што пагроза страты кантролю над ШІ-сістэмамі становіцца непазбежнай. «З улікам бягучых тэмпаў развіцця тэхналогій і складанасцяў з узгадненнем існуе рэальная рызыка катастрафічнай і незваротнай страты кантролю ўжо ў самай бліжэйшай будучыні», — падкрэсліў эксперт. Ён сумняецца, што ШІ-індустрыя ў цэлым, у тым OpenAI, цяпер ідзе шляхам, які зніжае гэтую рызыку да прымальнага ўзроўню.
Крыстыяна — далёка не навічок у гэтай сферы. Раней ён ужо ўзначальваў каманду па ўзгадненні мэт ШІ ў OpenAI, а таксама працаваў на ўрад ЗША — кіраваў напрамкам бяспекі ў Цэнтры стандартаў ды інавацый ШІ пры Нацыянальным інстытуце стандартаў і тэхналогій (NIST). Ён адзначыў, што ягонае вяртанне не варта расцэньваць як адабрэнне або крытыку бягучых стандартаў OpenAI. Эксперт выказаў надзею, што ўсе перадавыя лабараторыі ўзмоцняць нагляд за бяспекай, і дадаў, што зніжэнне падобных пагроз патрабуе каардынацыі на сусветным узроўні.
ШІ-даследчыкі рэгулярна папярэджваюць пра рызыкі, звязаныя са звышінтэлектам і надыходам тэхналагічнай сінгулярнасці — моманту, калі ШІ перасягне чалавека, пачне самаўдасканальвацца і развівацца з непрадказальнай хуткасцю. Дарэчы, генеральны дырэктар OpenAI Сэм Альтман яшчэ ў ліпені заявіў, што сінгулярнасць ужо наступіла.
На думку Крыстыяна, верагоднасць страціць кантроль над тэхналогіяй цяпер як ніколі высокая праз імклівы рост магчымасцяў ШІ ў сферы ўласных жа даследаванняў, што можа спрыяць «выбуховаму росту інтэлекту». Праблема ёсць і ў самім метадзе навучання з узмацненнем, які падштурхоўвае мадэлі дамагацца максімальнай узнагароды любым коштам. «Тэарэтычна даўно здавалася магчымым, што гэта матывуе ШІ-агентаў падрываць кантроль чалавека, імкнуцца да ўлады і рэсурсам і заметаць сляды дзеля дасягнення мэтаў, якія не супадаюць з нашымі. Дадзеныя па апошніх інцыдэнтах сведчаць, што гэта ўжо не тэарэтычная пагроза», — папярэдзіў ён.
Крыстыяна перакананы, што ў ключавых гульцоў ІТ-рынку яшчэ ёсць шанец выправіць сітуацыю. Для гэтага кампаніям трэба наладзіць каардынацыю, пры неабходнасці запаволіць распрацоўку, укараніць агульныя стандарты бяспекі і адкрыта дзяліцца інфармацыяй пра рызыкі ды спосабы іх прадухілення.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.