Microsoft паказала AI-мадэль Kosmos-1, якая разумее тэкст у малюнку і вырашае галаваломкі

На думку навукоўцаў, стварэнне мультымадальнага АІ, здольнага працаваць у тэкставым, аўдыя- і графічным рэжымах (уключаючы аўдыя), — гэта ключавы крок на шляху фармавання «агульнага штучнага інтэлекту», які будзе даваць рады шматпрофільным задачам.

У апублікаваным артыкуле Language Is Not All You Need: Aligning Perception with Language Models даследчыкі расказваюць, як Kosmos-1 аналізуе выявы і адказвае на пытанні пра іх, чытае тэкст з выявы, падпісвае ілюстрацыі і праходзіць візуальны тэст на IQ. Лічыцца, што стварэнне «агульнага штучнага інтэлекту» дазволіць цалкам замяніць людзей пры выкананні любых інтэлектуальных задач.

Даследчыкі называюць сваю працу «мультымадальнай вялікай моўнай мадэллю» (MLLM). Сістэма пераўтварае ілюстрацыю ў серыю пераважна тэкставых «токенаў», якія аналізуюцца, затым тэкст і іншыя элементы апрацоўваюцца спецыяльным дэкодарам. Паведамляецца, што шмат у якіх тэстах Kosmos-1 пераўзыходзіць найлепшыя з існых АІ-мадэляў.

Напрыклад, мадэль праходзіць тэст брытанскага псіхолага Джона К. Рэйвена, які дазваляе вымераць IQ. Падыспытным дэманструюць паслядоўнасць формаў з прапановай працягнуць яе. Аднак пакуль Kosmos-1 праходзіць тэст Рэйвена з дакладнасцю толькі 22-26%. У будучыні навукоўцы плануюць маштабаваць мадэль і дадаць магчымасць весці гутаркі.