Заснавальнік даследчага цэнтра Machine Intelligence Research Institute Эліэзер Юдкоўскі лічыць, што людзям трэба хвалявацца не пра тое, схіляецца ШІ да воўк-ідэалогіі ці рэакцыйных поглядаў. Значна больш яго турбуе тое, што ШІ стане непараўнальна магутнейшым за чалавека — і пры гэтым будзе абсалютна абыякавым да нашага выжывання.
Заснавальнік даследчага цэнтра Machine Intelligence Research Institute Эліэзер Юдкоўскі лічыць, што людзям трэба хвалявацца не пра тое, схіляецца ШІ да воўк-ідэалогіі ці рэакцыйных поглядаў. Значна больш яго турбуе тое, што ШІ стане непараўнальна магутнейшым за чалавека — і пры гэтым будзе абсалютна абыякавым да нашага выжывання.
«Калі ў вас ёсць нешта вельмі, вельмі магутнае і абыякавае да вас, яно мае ўсе шанцы знішчаць вас — наўмысна ці як пабочны эфект», — сказаў Юдкоўскі ў падкасце Hard Fork ад New York Times.
Юдкоўскі ўжо гадоў дваццаць папярэджвае, што звышрозум нясе экзістэнцыйную рызыку для чалавецтва. Яго галоўны аргумент — у людзей пакуль няма тэхналогій, якія дазволілі б узгадніць такія сістэмы з чалавечымі каштоўнасцямі.
Ён апісвае змрочныя сцэнары, у якіх звышінтэлект можа свядома знішчыць людзей, каб прадухіліць з’яўленне канкурэнтных сістэм, ці сцерці нас з твару зямлі выпадкова пры спробе дасягнуць уласныя мэты. Юдкоўскі ўказвае і на фізічныя абмежаванні, напрыклад, здольнасць Зямлі рассейваць цяпло. «Калі кіраваныя ШІ цэнтры тэрмаядзернай энергетыкі і дата-цэнтры будуць расці без абмежаванняў, людзі літаральна зварацца», — лічыць ён.
Размовы пра палітычныя сімпатыі ШІ даследчык называе адцягваючымі: «Ёсць прынцыповая розніца паміж тым, каб прымусіць сістэму гаварыць з вамі пэўным чынам, і тым, каб прымусіць яе дзейнічаць пэўным чынам, калі яна апынецца разумнейшай за вас».
Ён таксама адмахнуўся ад ідэі «выхоўваць» сістэмы як маці — канцэпцыі, прапанаванай «хросным бацькам» ШІ Джэфры Хінтанам. На думку Юдкоўскага, гэта ніяк не зробіць ШІ бяспечнейшым і ў лепшым выпадку нерэалістычна. «У нас проста няма тэхналогій, каб прымусіць ШІ быць клапатлівым», — сказаў ён. Нават калі хтосьці прыдумае «хітрамудрую схему», каб звышрозум «любіў» ці «абараняў» людзей, рэалізаваць яе з першага разу не атрымаецца, і калі «ўсе будуць мёртвыя, другога шанцу ў нас не будзе».
Крытыкі лічаць погляды Юдкоўскага занадта змрочнымі. Але ён прыводзіць канкрэтныя прыклады — выпадкі, калі чат-боты падштурхоўвалі карыстальнікаў да самаразбуральных паводзін. «Калі нейкі ШІ даводзіць чалавека да вар’яцтва ці самагубства, то ўсе копіі гэтай мадэлі — гэта адзін і той жа ШІ», — адзначае ён.
Верагоднасць таго, што ШІ знішчыць нас, эксперты бачаць вельмі па-рознаму. Ілан Маск у лютым ацэньваў яе ў 20%, і гэта аптымістычны сцэнар. Хінтан казаў пра 10-20% верагоднасці таго, што ШІ адбярэ кантроль у людзей. Даследчык бяспекі ШІ Раман Ямпольскі ў чэрвені ацаніў рызыку прыблізна ў 99,9% на працягу бліжэйшага стагоддзя.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.