Исследователи заявили о новом методе масштабирования ИИ, но эксперты настроены скептически

Группа ученых из Google и Калифорнийского университета предложили новый метод обучения больших языковых моделей, который мог бы значительно повысить точность ответов даже у небольших и устаревших моделей. Используя метод «поиска во время вывода», исследователи улучшили результаты модели Gemini 1.5 Pro, которая по результатам превзошла мощную o1-preview от OpenAI по математическим и научным тестам.

До прошлого года доминирующим подходом среди разработчиков ИИ был метод предварительного обучения — обучения все более крупных моделей на больших наборах данных. Этот метод требует огромных вычислительных мощностей и слишком трудозатратен, поэтому ведущие разработчики сосредоточились на иных подходах, в том числе выпуская рассуждающие модели и применяя при обучении синтетические данные.

Хотя предварительное обучение не исчезло, появились два дополнительных закона масштабирования, дополняющих его: масштабирование после обучения и масштабирование во время тестирования. Масштабирование после обучения, по сути, заключается в настройке поведения модели, а масштабирование во время тестирования предполагает применение больших вычислительных мощностей для логического вывода.

Однако другие эксперты сомневаются, что метод стабилен и может претендовать на революционный прорыв в разработке ИИ. Например, исследователь из Университета Альберты Мэтью Гуздиал отметил, что метод работает только в том случае, когда необходим четкий правильный ответ, а большинство задач не подходит под это определение. Исследователь Майк Кук из Королевского колледжа Лондона заявил, что новый метод лишь помогает обходить существующие ограничения, но не улучшает способность модели к рассуждению.