Исследователи Массачусетского технологического института (MIT) представили инновационную архитектуру SEAL (Self-Edit and Learn). Она позволяет большим языковым моделям самостоятельно генерировать обучающие данные и улучшать свою работу без внешней помощи.
Исследователи Массачусетского технологического института (MIT) представили инновационную архитектуру SEAL (Self-Edit and Learn). Она позволяет большим языковым моделям самостоятельно генерировать обучающие данные и улучшать свою работу без внешней помощи.
Новая система функционирует в два этапа. Сначала модель с помощью обучения с подкреплением (reinforcement learning) создает «самоисправления» — инструкции на естественном языке, которые описывают, как изменить обучающие данные и задать параметры оптимизации. Затем эти инструкции применяются для обновления весов модели, фактически превращая ее в автономную обучающую систему.
Алгоритм отбирает только те самоисправления, которые действительно повышают качество модели. Вместо полной переобучаемости используется техника Low-Rank Adapters (LoRA), позволяющая быстро обновлять модель с минимальными затратами ресурсов.
В тестах SEAL продемонстрировала высокие результаты. На задаче текстовой логики модель Qwen2.5-7B достигла точности 47%, обогнав не только альтернативные методы (33,5%), но и GPT-4.1, несмотря на меньший масштаб. Во втором эксперименте, с моделью Llama 3.2-1B на задаче рассуждений, система с SEAL достигла успеха в 72,5% случаев — против 20% у модели без предварительного обучения.
Однако у метода есть недостатки. Главная проблема — «катастрофическое забывание»: при обучении на новых задачах модель теряет точность на ранее освоенных. Кроме того, каждый цикл самоисправления требует 30–45 секунд, что делает обучение довольно затратным.
Разработчики указывают, что новая методика может стать прорывом в преодолении так называемой «стены данных» — предела, за которым заканчиваются все доступные человеческие текстовые датасеты. По мнению экспертов, разработка SEAL — это попытка справиться с ограничением масштабируемости ИИ-моделей, связанным с нехваткой качественных текстов.
В условиях, когда повторное обучение на ИИ-сгенерированных данных может ухудшать модель (эффект «коллапса модели»), автономное обучение на собственных, высококачественных самоисправлениях открывает путь к устойчивому развитию ИИ. Исходный код SEAL уже опубликован на GitHub.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.