Даследчыкі з Nvidia, Google і Foundry прэзентавалі адкрыты фрэймворк Ember, які аптымізуе працэс апрацоўкі запытаў вялікімі моўнымі мадэлямі. Праблема такіх сістэм у тым, што яны «захрасаюць» ў празмерным аналізе, што пагаршае якасць адказаў. Новы метад вырашае гэтую праблему.
Даследчыкі з Nvidia, Google і Foundry прэзентавалі адкрыты фрэймворк Ember, які аптымізуе працэс апрацоўкі запытаў вялікімі моўнымі мадэлямі. Праблема такіх сістэм у тым, што яны «захрасаюць» ў празмерным аналізе, што пагаршае якасць адказаў. Новы метад вырашае гэтую праблему.
Вялікія моўныя мадэлі маюць здольнасць да разважанняў і самаправеркі. Аднак, калі працэс абдумвання зацягваецца, якасць адказаў пачынае пагаршацца. Джарэд Куінсі Дэвіс, заснавальнік і генеральны дырэктар Foundry, параўноўвае гэта з сітуацыяй, калі студэнт марнуе занадта шмат часу на першае пытанне іспыту, захраснуўшы на ім.
Для вырашэння гэтай праблемы Дэвіс сумесна з даследчыкамі з Nvidia, Google, IBM, MIT, Stanford і DataBricks распрацавалі фрэймворк Ember. Ён прадугледжвае стварэнне «сетак сетак», дзе адзін запыт можа апрацоўвацца мноствам мадэляў з рознай працягласцю аналізу, у залежнасці ад аптымальных параметраў для кожнай мадэлі і канкрэтнага пытання.
Ідэя Ember паходзіць з больш ранняга падыходу Дэвіса, які заключаўся ў шматразовым звароце да ChatGPT 4 з адным і тым жа пытаннем і выбары лепшага адказу. Цяпер гэты метад маштабуецца і фармалізуецца ў выглядзе структуры, якая дазваляе ствараць складаныя сістэмы, дзе задзейнічаны розныя мадэлі.
Выкарыстоўваючы GPT 4, GPT 3, Anthropic, Gemini, DeepSeek з рознымі запытамі і часам абмеркавання, можна дасягнуць лепшага выніку адказу. Гэта азначае пераход ад бінарнай мадэлі «пытанне-адказ» да шматмернага працэсу апрацоўкі інфармацыі, што асабліва важна ў кантэксце развіцця ШІ-агентаў, здольных выконваць задачы без умяшання чалавека.
Хоць канцэпцыя «пераасэнсавання» можа падацца супярэчнай ідэі маштабавання падчас інферэнсу (калі мадэлі, якія трацяць больш часу на абмеркаванне, лічыліся больш перспектыўнымі), Дэвіс адзначае, што абодва падыходы застаюцца важнымі, але будуць выкарыстоўвацца распрацоўшчыкамі па-новаму.
У будучыні, па меркаванні Дэвіса, карыстальнікі не будуць непасрэдна выбіраць мадэль (як у Perplexity або ChatGPT зараз), а складаныя сістэмы самі будуць маршрутызаваць пытанні праз аптымальныя камбінацыі мадэляў. Колькасць выклікаў розных мадэляў дасягне трыльёнаў або квадрыльёнаў, што патрабуе эфектыўных механізмаў для іх сартавання і выбару.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.