Даследчыкі Meta мінулага чацвярга паказалі моўную мадэль Toolformer на аснове штучнага інтэлекту, якая сама вучыцца выкарыстоўваць вонкавыя інструменты накшталт пошукавых рухавікоў, калькулятараў ды іншых без шкоды ўласна лінгвістычным здольнасцям.
Даследчыкі Meta мінулага чацвярга паказалі моўную мадэль Toolformer на аснове штучнага інтэлекту, якая сама вучыцца выкарыстоўваць вонкавыя інструменты накшталт пошукавых рухавікоў, калькулятараў ды іншых без шкоды ўласна лінгвістычным здольнасцям.
Toolformer умее выкарыстоўваць API вонкавых сэрвісаў, якія дазваляюць ім бясшвова ўзаемадзейнічаць міжсобку. У ходзе навучання даследчыкі скармілі мадэлі невялікі набор прыкладаў таго, як выкарыстоўваецца кожны API, а потым прапанавалі ёй самой скласці спіс патэнцыйных выклікаў API для вялікага датасэту для моўнага мадэлявання. Мадэль вучылася самастойна, без пільнага кантролю даследчыкаў.
У працэсе спараджэння тэксту ў адказ на запыт чалавека Toolformer здольны пры неабходнасці выклікаць патрэбныя API. Акрамя таго, мадэль можа сама вырашаць, які інструмент лепш выкарыстоўваць у дадзеным кантэксце і якім чынам — напрыклад, пашукавікі, календары, перакладчыкі і фактычныя спасылкі.
Напрыклад, вялікія моўныя мадэлі (LLM) не вельмі моцныя ў арыфметыцы. Toolformer абыходзіць гэтае абмежаванне шляхам выкліку калькулятара. А калі карыстальнік захоча, каб Toolformer дадаў падзею ў каляндар, ён звернецца да API календара.
Toolformer пабудаваны на базе перадабучанай мадэлі GPT-J, якая налічвае 6,7 млрд параметраў. У эксперыментальных задачах на выкарыстанне іншых інструментаў Toolformer праявіў сябе нашмат лепш, ніж GPT-3 з яе 175 млрд параметраў.
Аналагічнымі здольнасцямі валодае, напрыклад, новы Bing Chat ад Microsoft, які ўмее шукаць інфармацыю ў сеціве, і ChatGPT, якая сярод усяго іншага ўмее выконваць матэматычныя аперацыі. Паводле слоў даследчыкаў Meta, Toolformer адрозніваецца ад большасці сучасных распрацовак тым, што яны патрабавалі велізарных аб’ёмаў размечаных людзьмі даных або абмежаваныя колам задач. Toolformer сам вучыцца выкарыстоўваць розныя інструменты ў цэлым і не мае патрэбы ў навучанні пад кожную асобную задачу.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.