Google придумала, как решить одну из главных проблем ИИ
Google Research представила новый подход к машинному обучению Nested Learning, который решает одну из самых устойчивых проблем искусственного интеллекта — «катастрофическое забывание» моделей.
Google Research представила новый подход к машинному обучению Nested Learning, который решает одну из самых устойчивых проблем искусственного интеллекта — «катастрофическое забывание» моделей.
Google Research представила новый подход к машинному обучению Nested Learning, который решает одну из самых устойчивых проблем искусственного интеллекта — «катастрофическое забывание» моделей.
«Забывание» возникает, когда модель, обучаясь новым задачам, теряет уже усвоенные знания и фактически «перезаписывает» память. В Google объясняют, что Nested Learning вдохновлен принципами работы человеческого мозга.
Как и при нейропластичности, система обновляет знания избирательно, на разных уровнях и скоростях. Такой подход позволяет ИИ адаптироваться к новой информации, не стирая предыдущий опыт.
Ключевая идея Nested Learning — объединить архитектуру модели и алгоритм обучения в единую многоуровневую структуру. Каждый уровень «учится» со своей частотой, что дает модели возможность сохранять старые данные, одновременно осваивая новые.
Для демонстрации метода исследователи создали экспериментальную модель Hope, способную самостоятельно оптимизировать память. Ее основа — Continuum Memory System, где память представлена не как два блока (кратко- и долгосрочная), а как непрерывный спектр слоев, каждый из которых обновляется с разной скоростью.
Hope показала высокие результаты в тестах на долговременное запоминание, включая задачу «иголка в стоге сена» (поиск мелкой детали в огромном тексте). Модель также превзошла существующие системы в точности и эффективности генерации текста. Google отмечает, что принципы Nested Learning могут лечь в основу будущих версий моделей Gemini, однако сроки интеграции технологии пока не раскрываются.



Релоцировались? Теперь вы можете комментировать без верификации аккаунта.