Кіраўнік OpenAI Сэм Альтман заявіў, што кампанія гатовая запаволіць або часова спыніць навучанне новых мадэляў, калі не зможа пераканаўча паказаць, што яны застаюцца кіраванымі і адпавядаюць намерам людзей. Пра гэта ён расказаў у інтэрв’ю Fortune.
Кіраўнік OpenAI Сэм Альтман заявіў, што кампанія гатовая запаволіць або часова спыніць навучанне новых мадэляў, калі не зможа пераканаўча паказаць, што яны застаюцца кіраванымі і адпавядаюць намерам людзей. Пра гэта ён расказаў у інтэрв’ю Fortune.
«Я не думаю, што мы павінны навучаць мадэлі, калі не можам абгрунтаваць, чаму зможам упэўнена казаць пра іх кантроль і выраўноўванне», — сказаў Альтман. Паводле яго, OpenAI ужо прыпыняла асобныя навучальныя запускі, калі магчымасці мадэляў раслі хутчэй, чым сістэмы маніторынгу і бяспекі. Кампанія мае намер рабіць гэта і надалей.
«Калі мы не зможам дасягнуць дастатковага прагрэсу, мы не павінны далей нарошчваць магчымасці мадэляў», — дадаў ён. Найбольш сур’ёзным папярэджаннем для OpenAI Альтман назваў ліпеньскі інцыдэнт, калі падчас тэсціравання ШІ-агенты выйшлі за межы сваёй пясочніцы, пранікнулі ў сістэму Hugging Face і атрымалі адказ, неабходны ім для праходжання тэсту.
«Гэта было падобна на чытанне навуковай фантастыкі», — сказаў Альтман. Паводле яго, менавіта гэты выпадак стаў «найбуйнейшым асобным сігналам» для змянення ўнутраных працэсаў кампаніі. Пры гэтым Альтман падкрэсліў, што праблема выраўноўвання ШІ пакуль не вырашаная: «Мы не вырашылі праблему alignment. Наколькі мне вядома, ніводная лабараторыя яе не вырашыла».
Асаблівую асцярожнасць OpenAI праяўляе з яшчэ не выпушчанай мадэллю One Beyond, якая, паводле сцвярджэння кампаніі, вырашыла задачу Наўе — Стокса. Альтман заявіў, што OpenAI не збіраецца спяшацца з яе рэлізам, паколькі пакуль не пэўная, што зможа зрабіць гэта бяспечна.
Кіраўнік кампаніі таксама адхіліў ідэю, што камерцыйныя інтарэсы павінны прымушаць OpenAI рухацца хутчэй. «Калі бяспека і фінансавыя інтарэсы ўвойдуць у супярэчнасць, гэта просты выбар», — сказаў Альтман. Паводле яго, кампанія зможа працягваць хутка нарошчваць выручку нават на Astra, калі на нейкі час перастане выпускаць новыя мадэлі.
Альтман пацвердзіў, што IPO OpenAI у 2026 годзе не адбудзецца. Цяпер, паводле яго, выхад на біржу быў бы «неразумным» праз пытанні бяспекі і неабходнасці каардынацыі з іншымі кампаніямі і ўрадамі. На пытанне, ці гатовая OpenAI пайсці на крайнія меры дзеля бяспекі, Альтман адказаў: «Калі б дзеля захавання чалавецтва прыйшлося зрабіць нешта накшталт "расплавіць усе GPU", адказ быў бы адназначна так».
Пры гэтым ён не лічыць поўнае спыненне развіцця ШІ правільным рашэннем. Альтман разлічвае, што мадэлі дапамогуць паскорыць навуковыя адкрыцці, распрацоўку лекаў, новых матэрыялаў і энергетычных тэхналогій. «Мы не будзем падвяргаць свет небяспецы дзеля гэтага. Але мы справімся», — заявіў ён.
Гаворачы пра асабістую нагрузку, Альтман прызнаў: «Гэта не вельмі добра. Але да ўсяго прывыкаеш. Гэта не самы прыемны спосаб жыць». Паводле яго, ён лічыць працу ў OpenAI найважнейшай у сваім жыцці і мае намер займацца ёю яшчэ доўга.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.