Чаму распрацоўшчыкі працягваюць ствараць ШІ, калі самі лічаць, што ён можа ўсіх знішчыць?
Фінансавы дырэктар OpenAI Сара Фрайар на канферэнцыі Goldman Sachs у Сан-Францыска расказала, што найбуйнейшыя мадэлі кампаніі навучаюць іншыя, больш кампактныя мадэлі — гэта дапамагае знізіць велізарныя выдаткі на навучанне ШІ-сістэм. Такі працэс называюць рэкурсіўным самаўдасканаленнем (recursive self-improvement): ШІ становіцца настолькі магутным, што здольны сам ствараць наступную, яшчэ больш магутную сістэму.
Інвестары бачаць у гэтым велізарную бізнес-магчымасць. Але частка даследчыкаў ШІ гэта палохае, бо сістэмы могуць вельмі хутка стаць некіраванымі. ШІ-агенты ўжо ўцякаюць з тэставых «пясочніц» і ладзяць узломы, піша Business Insider.
Фінансавы дырэктар OpenAI Сара Фрайар на канферэнцыі Goldman Sachs у Сан-Францыска расказала, што найбуйнейшыя мадэлі кампаніі навучаюць іншыя, больш кампактныя мадэлі — гэта дапамагае знізіць велізарныя выдаткі на навучанне ШІ-сістэм. Такі працэс называюць рэкурсіўным самаўдасканаленнем (recursive self-improvement): ШІ становіцца настолькі магутным, што здольны сам ствараць наступную, яшчэ больш магутную сістэму.
Інвестары бачаць у гэтым велізарную бізнес-магчымасць. Але частка даследчыкаў ШІ гэта палохае, бо сістэмы могуць вельмі хутка стаць некіраванымі. ШІ-агенты ўжо ўцякаюць з тэставых «пясочніц» і ладзяць узломы, піша Business Insider.
Кіраўнік напрамку Alignment Science у Anthropic Эван Габінгер нядаўна пісаў у X, што сапраўды лічыць: ШІ можа ўсіх забіць, і нават ацэньвае верагоднасць такога зыходу на працягу наступнага дзесяцігоддзя больш чым у 10%. У абмеркаванне ўключыліся іншыя супрацоўнікі Anthropic і OpenAI.
Іншымі словамі, людзі лічаць, што ШІ можа знішчыць чалавецтва, але працягваюць распрацоўваць тэхналогію.
Адна з прычын — грошы. Anthropic і OpenAI зарабляюць на стварэнні і продажы ўсё больш магутных ШІ-сістэм, таму ім трэба працягваць распрацоўку. Супрацоўнікам таксама трэба зарабляць, і яны застаюцца часткай гэтага карабля, нягледзячы на тое, што лічаць тэхналогію патэнцыяльна небяспечнай.
Другі фактар — перакананасць некаторых даследчыкаў, асабліва ў Anthropic, што менавіта яны лепш за іншых здольны зрабіць магутны ШІ бяспечным. Калі Anthropic спыніцца, а OpenAI або кітайскія лабараторыі працягнуць распрацоўку, сітуацыя, на іхную думку, можа стаць яшчэ больш небяспечнай: іншым распрацоўшчыкам яны давяраюць менш.
Кіраўнік напрамку Scalable Oversight у Anthropic Сэмюэл Маркс сфармуляваў логіку так: «Чаму распрацоўшчыкі ШІ працягваюць працаваць, нягледзячы на рызыку? Праз спалучэнні камерцыйных стымулаў і перакананасці, што яны ўдзельнічаюць у гонцы з іншымі, менш адказнымі распрацоўшчыкамі ШІ, якія могуць злоўжыць тэхналогіяй або зрабіць яе менш бяспечнай».
Па тэме
«Я глядзеў „Тэрмінатара"»: кіраўнік Y Combinator адказаў тым, хто панікуе з-за гібелі чалавецтва ад ІІ
Ёсць і тлумачэнне, звязанае з наймам. Даследчыкі ШІ звычайна прыходзяць з акадэмічнага асяроддзя, а не з бізнесу, і таму больш арыентаваны на грамадскае дабро. Anthropic не можа папросту прапанаваць ім прыйсці ствараць велізарную машыну для зарабляння грошай і казачна разбагацець. Замест гэтага кампанія можа пераконваць даследчыкаў, што тэхналогія настолькі небяспечная, што ім неабходна займацца бяспекай ШІ, каб «выратаваць свет».
Такі падыход даследчыкам прасцей прыняць: так яны менш адчуваюць віну за тое, што зарабляюць на стварэнні небяспечнага ШІ, і ахвотней распаўсюджваюць змрочныя прагнозы пра будучыню тэхналогіі — ад якой як бы і ратуюць усіх, застаючыся ў ШІ-кампаніях.
Яшчэ адно тлумачэнне звязана са згубай адчування кантролю. CEO ШІ-стартапа Inworld Кілан Гібс лічыць, што цяперашні ўсплёск алармізму вакол ШІ шмат у чым выкліканы менавіта гэтым.
Паводле яго, па меры таго як ШІ становіцца значна магутнейшым, кантроль над яго развіццём засяроджваецца ў руках некалькіх лабараторый. Нават даследчыкі ўнутры гэтых кампаній могуць адчуваць, што практычна не ўплываюць на курс развіцця тэхналогіі. Гэты разрыў паміж разуменнем рызык і немагчымасцю нешта змяніць узмацняе трывогу, якая праяўляецца ў публічных папярэджаннях пра пагрозу чалавецтву.
ШІ-кіраўнікі таксама разумеюць праблему згубы кантролю. «Людзям сапраўды патрэбна адчуванне ўплыву на тое, што адбываецца. Людзі хочуць мець магчымасць самім вызначаць сваю лёс, уплываць на падзеі і разам з астатнім грамадствам удзельнічаць у стварэнні будучыні», — казаў Сэм Альтман у падкасце раней сёлета.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.