Сооснователь OpenAI: главная стратегия развития ИИ исчерпала себя — нужно возвращаться к научным истокам

В подкасте Dwarkesh Podcast он рассказал, что в последние годы в мире ИИ закрепилась простая логика: чтобы получить более умную модель, нужно дать ей больше мощностей и данных. Какое-то время эта стратегия работала — компании покупали всё больше GPU, строили гигантские дата-центры, и модели становились лучше. Для бизнеса это был удобный путь с низкими рисками, понятным планом действий и прогнозируемым результатом.

Но эта формула себя изжила, потому что данные не бесконечны, а чипов у компаний уже и так огромное количество. Суцкевер сомневается, что дальнейшее масштабирование кардинально изменит ситуацию: «Верят ли люди, что если увеличить масштаб в 100 раз, всё преобразится? Будет ли разница — да. Но что всё полностью изменится только от масштаба — думаю, нет».

По его словам, отрасль возвращается в эпоху настоящих исследований, только теперь у исследователей есть огромные мощности. Суцкевер подчёркивает, что вычислительные они по-прежнему важны и являются одним из ключевых факторов, особенно когда все компании работают в одном и том же парадигмальном поле. Но теперь решающим становится то, как именно использовать эти мощности, и это уже задача исследований.

Главный научный вызов Суцкевер видит в том, что у современных моделей всё ещё плохо с генерализацией, особенно по сравнению с людьми. Им нужно много данных и примеров там, где человеку хватает одного-двух. «Модели обобщают намного хуже, чем люди. Это абсолютно очевидно. И это фундаментальная проблема», — сказал он.