Сузаснавальнік OpenAI: галоўная стратэгія развіцця ШІ вычарпала сябе — трэба вяртацца да навуковых вытокаў

У падкасце Dwarkesh Podcast ён распавёў, што ў апошнія гады ў свеце ШІ замацавалася простая логіка: каб атрымаць больш разумную мадэль, трэба даць ёй больш магутнасцей і дадзеных. Нейкі час гэтая стратэгія працавала — кампаніі куплялі ўсё больш GPU, будавалі гіганцкія дата-цэнтры, і мадэлі станавіліся лепшымі. Для бізнесу гэта быў зручны шлях з нізкімі рызыкамі, зразумелым планам дзеянняў і прагназаваным вынікам.

Але гэтая формула сябе вычарпала, бо дадзеныя не бясконцыя, а чыпаў у кампаній ужо і так вялізная колькасць. Суцкевер сумняваецца, што далейшае маштабаванне кардынальна зменіць сітуацыю: «Ці вераць людзі, што калі павялічыць маштаб у 100 разоў, усё трансфармуецца? Ці будзе розніца — так. Але што ўсё цалкам зменіцца толькі ад маштабу — думаю, не».

Па яго словах, галіна вяртаецца ў эпоху сапраўдных даследаванняў, толькі цяпер у даследчыкаў ёсць вялізныя магутнасці. Суцкевер падкрэслівае, што вылічальныя яны па-ранейшаму важныя і з’яўляюцца адным з ключавых фактараў, асабліва калі ўсе кампаніі працуюць у адным і тым жа парадыгмальным полі. Але цяпер вырашальным робіцца тое, як менавіта выкарыстоўваць гэтыя магутнасці, і гэта ўжо задача даследаванняў.

Галоўны навуковы выклік Суцкевер бачыць у тым, што ў сучасных мадэляў усё яшчэ дрэнна з генералізацыяй, асабліва ў параўнанні з людзьмі. Ім патрэбна шмат дадзеных і прыкладаў там, дзе чалавеку хапае аднаго-двух. «Мадэлі абагульняюць нашмат горш, чым людзі. Гэта абсалютна відавочна. І гэта фундаментальная праблема», — сказаў ён.