Кофаундер OpenAI Илья Суцкевер считает, что индустрия ИИ подходит к моменту, когда просто наращивать вычислительные мощности уже недостаточно, и нужно вернуться к настоящим исследовательским прорывам.
Кофаундер OpenAI Илья Суцкевер считает, что индустрия ИИ подходит к моменту, когда просто наращивать вычислительные мощности уже недостаточно, и нужно вернуться к настоящим исследовательским прорывам.
В подкасте Dwarkesh Podcast он рассказал, что в последние годы в мире ИИ закрепилась простая логика: чтобы получить более умную модель, нужно дать ей больше мощностей и данных. Какое-то время эта стратегия работала — компании покупали всё больше GPU, строили гигантские дата-центры, и модели становились лучше. Для бизнеса это был удобный путь с низкими рисками, понятным планом действий и прогнозируемым результатом.
Но эта формула себя изжила, потому что данные не бесконечны, а чипов у компаний уже и так огромное количество. Суцкевер сомневается, что дальнейшее масштабирование кардинально изменит ситуацию: «Верят ли люди, что если увеличить масштаб в 100 раз, всё преобразится? Будет ли разница — да. Но что всё полностью изменится только от масштаба — думаю, нет».
По его словам, отрасль возвращается в эпоху настоящих исследований, только теперь у исследователей есть огромные мощности. Суцкевер подчёркивает, что вычислительные они по-прежнему важны и являются одним из ключевых факторов, особенно когда все компании работают в одном и том же парадигмальном поле. Но теперь решающим становится то, как именно использовать эти мощности, и это уже задача исследований.
Главный научный вызов Суцкевер видит в том, что у современных моделей всё ещё плохо с генерализацией, особенно по сравнению с людьми. Им нужно много данных и примеров там, где человеку хватает одного-двух. «Модели обобщают намного хуже, чем люди. Это абсолютно очевидно. И это фундаментальная проблема», — сказал он.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.