Николай Чикишев world 3 ноября 2026, 14:02

ИИ научился чинить другие нейросети без дообучения, переписывая их веса

Исследователи MIT поручили модели OpenAI исправить недостатки китайской Qwen. ИИ самостоятельно нашел причину сбоев и изменил параметры нейросети без дополнительного обучения.

Оставить комментарий

Добавь в Google

ИИ научился чинить другие нейросети без дообучения, переписывая их веса

Исследователи MIT поручили модели OpenAI исправить недостатки китайской Qwen. ИИ самостоятельно нашел причину сбоев и изменил параметры нейросети без дополнительного обучения.

О результатах рассказали исследователи лаборатории MIT CSAIL. Они продемонстрировали новый подход под названием Weight-Space Programming — программирование непосредственно в пространстве весов нейросети.

Веса — это числовые параметры, которые определяют поведение ИИ-модели. Обычно они изменяются в процессе обучения с помощью специальных алгоритмов, которые постепенно подбирают подходящие значения.

Исследователи решили проверить, может ли большая языковая модель сама разобраться в этих числах и изменить их осмысленно, без традиционных методов обучения.

Самый показательный эксперимент провели с небольшой открытой моделью Qwen3.5-0.8B, содержащей около 800 миллионов параметров. Исследователи попросили GPT-6 Astra улучшить ее способности к решению математических задач.

Anthropic: мы скоро можем создать ИИ который будет улучшать сам себя готовьтесь

Astra обнаружила, что проблема связана с зацикливанием рассуждений: Qwen часто повторяла одни и те же фрагменты текста, расходовала весь доступный лимит токенов и не успевала дать окончательный ответ.

Изучив поведение модели и ее внутренние параметры, Astra определила, какие участки нейросети связаны с повторениями, и изменила 131 072 числовых значения — всего 0,016% всех весов.

После этого результат Qwen в математическом тесте MATH-500 вырос с 7,9% до 48,1%. В другом тесте, GSM8K, точность повысилась с 13,8% до 67,1%, а в проверке следования инструкциям IFEval — с 21% до 62,3%. При этом доля ответов MATH-500, в которых модель исчерпывала лимит токенов, сократилась с 93% до 33,1%.

Для исправления не потребовалось дообучать Qwen. Однако Astra не действовала совсем вслепую: ей предоставили доступ к весам через Python, тренировочные задачи и возможность ограниченное число раз проверить работу модели. На поиск решения ушло более 20 часов, включая перерыв из-за недоступности сервиса.

Нейросеть Anthropic сама спланировала и провела операцию на мозге живой мыши — впервые в истории

Исследователи также проверили, способна ли Astra создавать небольшие нейросети с нуля. Получив правила игры Breakout, модель самостоятельно рассчитала параметры игрового агента без обучения на примерах.

В результате он набрал 517,4 балла против 25,3 у агента, обученного методом PPO на 500 миллионах игровых шагов. В двух других играх Astra превзошла агентов, обученных на 100 миллионах шагов, но немного уступила более длительно обученным версиям.

Еще один эксперимент показал, что Astra может определять назначение уже обученных нейросетей по их весам. Ей предоставили параметры четырех одинаковых по архитектуре игровых моделей, не раскрывая названий игр. ИИ правильно определил, что они предназначены для Breakout, Pong, Pac-Man и Freeway.

Метод работает не всегда. Astra не смогла добиться сопоставимого улучшения другой небольшой модели, Gemma 3 270M, у которой не было столь выраженной проблемы с зацикливанием. В отдельном тесте она также не смогла определить по одним только весам, какая из двух моделей склонна соглашаться с пользователем даже при его ошибках.

Авторы считают, что в будущем ИИ сможет не только писать код для обучения нейросетей, но и напрямую анализировать, исправлять и создавать их внутренние параметры. Это может открыть новые возможности для поиска ошибок и оптимизации моделей.