Google придумала, как решить одну из главных проблем ИИ

«Забывание» возникает, когда модель, обучаясь новым задачам, теряет уже усвоенные знания и фактически «перезаписывает» память. В Google объясняют, что Nested Learning вдохновлен принципами работы человеческого мозга.

Как и при нейропластичности, система обновляет знания избирательно, на разных уровнях и скоростях. Такой подход позволяет ИИ адаптироваться к новой информации, не стирая предыдущий опыт.

Ключевая идея Nested Learning — объединить архитектуру модели и алгоритм обучения в единую многоуровневую структуру. Каждый уровень «учится» со своей частотой, что дает модели возможность сохранять старые данные, одновременно осваивая новые.

Для демонстрации метода исследователи создали экспериментальную модель Hope, способную самостоятельно оптимизировать память. Ее основа — Continuum Memory System, где память представлена не как два блока (кратко- и долгосрочная), а как непрерывный спектр слоев, каждый из которых обновляется с разной скоростью.

Hope показала высокие результаты в тестах на долговременное запоминание, включая задачу «иголка в стоге сена» (поиск мелкой детали в огромном тексте). Модель также превзошла существующие системы в точности и эффективности генерации текста. Google отмечает, что принципы Nested Learning могут лечь в основу будущих версий моделей Gemini, однако сроки интеграции технологии пока не раскрываются.

В корпоративном ИИ Copilot вырывается вперёд, а Claude не оправдал ожиданий

По теме

В корпоративном ИИ Copilot вырывается вперёд, а Claude не оправдал ожиданий

Акции ИИ-компаний обвалились на $1,2 трлн — худшая неделя с апреля

По теме

Акции ИИ-компаний обвалились на $1,2 трлн — худшая неделя с апреля

Microsoft создаёт суперинтеллект и обещает, что он не уничтожит человечество

По теме

Microsoft создаёт суперинтеллект и обещает, что он не уничтожит человечество