Аддзел навін 13 лютага 2025, 14:09

CEO OpenAI: аб'яднанне LLM і LRM прынясе новыя навуковыя веды

У АІ-індустрыі ўжо стала агульнапрынятым меркаванне пра тое, што перадабучаныя вялікія моўныя мадэлі (LLM) больш не маштабуюцца з ранейшай эфектыўнасцю. Гендырэктар OpenAI Сэм Альтман таксама лічыць перадабучэнне «мінулым стагоддзем» — ягоная кампанія даследуе спецыялізаваныя мадэлі, аптымізаваныя з дапамогай навучання з падмацаваннем для задач, у якіх ёсць дакладна правільныя і няправільныя адказы — напрыклад, у праграмаванні і матэматыцы.

Пакінуць каментарый

У АІ-індустрыі ўжо стала агульнапрынятым меркаванне пра тое, што перадабучаныя вялікія моўныя мадэлі (LLM) больш не маштабуюцца з ранейшай эфектыўнасцю. Гендырэктар OpenAI Сэм Альтман таксама лічыць перадабучэнне «мінулым стагоддзем» — ягоная кампанія даследуе спецыялізаваныя мадэлі, аптымізаваныя з дапамогай навучання з падмацаваннем для задач, у якіх ёсць дакладна правільныя і няправільныя адказы — напрыклад, у праграмаванні і матэматыцы.

OpenAI называе такія «вялікія разважальныя мадэлі» (large reasoning models, LRM) самым значным дасягненнем у сферы за апошні год. Пытанне ў тым, каб аб’яднаць шырокія здольнасці LLM з глыбінёй і дакладнасцю спецыялізаваных LRM.

Альтман сцвярджае, што разважальныя мадэлі даюць «дзіўны прырост эфектыўнасці вылічэнняў» і што OpenAI на некаторых бэнчмарках дамагаецца ад іх прадукцыйнасці, якую пры «старым» падыходзе чакалі «не раней, чым ад GPT-6», прытым што самі «мадэлі значна меншыя». Складанасць, паводле ягоных слоў, у тым, што пры новым падыходзе мадэлі «ўдасканальваюцца не адразу ва ўсім, а ў канкрэтных кірунках». Пра гэта ён казаў на нядаўняй імпрэзе цэнтра глабальнага адукацыі UTokyo GlobE пры Такійскім універсітэце.

Прадпрымальнік адзначае, што калі сумясціць перадабучэнне «значна буйнейшай мадэлі» са здольнасцямі мадэляў, якія думаюць, то гэта можа прывесці да «з’яўлення якасна новых навуковых ведаў». Так, апошняя мадэль OpenAI умее «неверагодна добра пісаць код», але не такая добрая ў вынаходстве новых алгарытмаў, у новых адкрыццях у фізіцы і біялогіі.

Для прыкладу таго, якім хуткім можа быць прагрэс дзякуючы навучанню з падмацаваннем, Альтман прыводзіць прарыў у праграмаванні. Першая разважальная мадэль кампаніі — o1, паказаная ў мінулым верасні, — уваходзіла ў мільён найлепшых у спаборніцкім праграмаванні ў свеце. У снежні ўжо o3 займала 175 месца ў сусветным рэйтынгу праграмістаў, а па выніках унутраных тэстаў кампанія ставіць мадэль прыкладна на 50-е. Альтман дапускае, што да канца года мадэль можа і ўвогуле дабрацца да вяршыні.

Акрамя гэтага, Альтман пацвердзіў намер OpenAI вярнуцца да оўпэнсорсу, але даволі расплывіста і без канкрэтыкі. Ён сказаў, што OpenAI зрабіла значныя поспехі ў распрацоўцы бяспечных і магутных мадэляў, якія пасуюць для выкарыстання ў оўпэнсорсе. Што гэта за мадэлі і калі іх выкладуць у адкрыты доступ, гендырэктар не ўдакладніў.

Да оўпэнсорсу кампанію падштурхнуў кітайскі стартап Deepseek, чыя разважальная — і адкрытая — мадэль R1 выявілася не горшай за o1. Гэта прымусіла многіх усумніцца ў закрытасці OpenAI, якая апраўдвае сваю пазіцыю страхам, што яе мадэлямі будуць злоўжываць.