Исследователи создали новый метод масштабирования искусственного интеллекта. Способ «поиска во время вывода» позволяет модели генерировать множество ответов на запрос и выбирать лучший из них. Этот подход может повысить производительность моделей без дополнительного обучения.
Исследователи создали новый метод масштабирования искусственного интеллекта. Способ «поиска во время вывода» позволяет модели генерировать множество ответов на запрос и выбирать лучший из них. Этот подход может повысить производительность моделей без дополнительного обучения.
Группа ученых из Google и Калифорнийского университета предложили новый метод обучения больших языковых моделей, который мог бы значительно повысить точность ответов даже у небольших и устаревших моделей. Используя метод «поиска во время вывода», исследователи улучшили результаты модели Gemini 1.5 Pro, которая по результатам превзошла мощную o1-preview от OpenAI по математическим и научным тестам.
Thinking for longer (e.g. o1) is only one of many axes of test-time compute. In a new @Google_AI paper, we instead focus on scaling the search axis. By just randomly sampling 200x & self-verifying, Gemini 1.5 ➡️ o1 performance. The secret: self-verification is easier at scale! pic.twitter.com/xmMpBsBkTs
— Eric Zhao (@ericzhao28) March 17, 2025
До прошлого года доминирующим подходом среди разработчиков ИИ был метод предварительного обучения — обучения все более крупных моделей на больших наборах данных. Этот метод требует огромных вычислительных мощностей и слишком трудозатратен, поэтому ведущие разработчики сосредоточились на иных подходах, в том числе выпуская рассуждающие модели и применяя при обучении синтетические данные.
Хотя предварительное обучение не исчезло, появились два дополнительных закона масштабирования, дополняющих его: масштабирование после обучения и масштабирование во время тестирования. Масштабирование после обучения, по сути, заключается в настройке поведения модели, а масштабирование во время тестирования предполагает применение больших вычислительных мощностей для логического вывода.
Однако другие эксперты сомневаются, что метод стабилен и может претендовать на революционный прорыв в разработке ИИ. Например, исследователь из Университета Альберты Мэтью Гуздиал отметил, что метод работает только в том случае, когда необходим четкий правильный ответ, а большинство задач не подходит под это определение. Исследователь Майк Кук из Королевского колледжа Лондона заявил, что новый метод лишь помогает обходить существующие ограничения, но не улучшает способность модели к рассуждению.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Как-то уже поднадоела (если культурно выражаться) вся эта возня и хайп с ии. Эффект новизны пропал, от искусственно сгенерированного контента тошнит. Хочется простых человеческих радостей, а не вот это вот все.