Google прыдумала, як вырашыць адну з галоўных праблем ШІ

«Забыванне» ўзнікае, калі мадэль, навучаючыся новым задачам, губляе ўжо засвоеныя веды і фактычна «перазапісвае» памяць. У Google тлумачаць, што Nested Learning натхнёны прынцыпамі работы чалавечага мозга.

Як і пры нейрапластычнасці, сістэма абнаўляе веды выбарачна, на розных узроўнях і хуткасцях. Такі падыход дазваляе ШІ адаптавацца да новай інфармацыі, не сціраючы папярэдні досвед.

Ключавая ідэя Nested Learning — аб’яднаць архітэктуру мадэлі і алгарытм навучання ў адзіную шматузроўневую структуру. Кожны ўзровень «вучыцца» са сваёй частатой, што дае мадэлі магчымасць захоўваць старыя даныя, адначасова засвойваючы новыя.

Для дэманстрацыі метаду даследчыкі стварылі эксперыментальную мадэль Hope, здольную самастойна аптымізаваць памяць. Яе аснова — Continuum Memory System, дзе памяць прадстаўлена не як два блокі (каротка- і доўгатэрміновая), а як бесперапынны спектр слаёў, кожны з якіх абнаўляецца з рознай хуткасцю.

Hope паказала высокія вынікі ў тэстах на доўгатэрміновае запамінанне, уключаючы задачу «іголка ў стозе сена» (пошук дробнай дэталі ў велізарным тэксце). Мадэль таксама перавысіла існуючыя сістэмы ў дакладнасці і эфектыўнасці генерацыі тэксту. Google адзначае, што прынцыпы Nested Learning могуць легчы ў аснову будучых версій мадэляў Gemini, аднак тэрміны інтэграцыі тэхналогіі пакуль не раскрываюцца.