Компания представила новую ИИ-модель для разработки программного обеспечения — Code World Model (CWM). Исследователи называют модель «нейронным отладчиком»: она способна предсказывать поведение программы до ее запуска, в том числе выявлять риск зацикливания.
Компания представила новую ИИ-модель для разработки программного обеспечения — Code World Model (CWM). Исследователи называют модель «нейронным отладчиком»: она способна предсказывать поведение программы до ее запуска, в том числе выявлять риск зацикливания.
Модель обучалась на 120 миллионах запусков Python-кода, фиксируя пошаговое изменение переменных и состояний системы. Для этого команда Meta создала более 35 тысяч исполняемых Docker-контейнеров. Такой подход позволил CWM освоить не только синтаксис, но и семантику языков программирования.
Тренировка проходила в три этапа: базовое обучение на 8 триллионах токенов, работа с «трассировками исполнения» на 5 триллионов токенов и финальная настройка с использованием методов подкрепления.
CWM показала высокие результаты на ряде отраслевых бенчмарков: 65,8% на SWE-bench Verified (решение реальных ошибок в коде), 68,6% на LiveCodeBench, 96,6% на Math-500 и 76% на AIME 2024. Кроме того, модель умеет анализировать алгоритмическую сложность: на тесте BigOBench она заняла второе место по прогнозированию временной сложности.
Одной из особенностей CWM стало умение восстанавливать функции по описанию задачи и ожидаемым результатам. Фактически модель способна идти от постановки проблемы к готовому решению, проверяя свои гипотезы в процессе. По мнению исследователей, это открывает перспективы для автоматизированного поиска ошибок, оптимизации программ и создания более интеллектуальных ИИ-агентов для инженерии.
Модель насчитывает 32 миллиардов параметров, может работать на одном GPU Nvidia H100 с 80 ГБ памяти и поддерживает контекстные окна до 131 000 токенов. Meta выложила ее в открытый доступ под исследовательской лицензией вместе с промежуточными чекпоинтами на платформе Hugging Face.
В компании подчеркивают, что пока CWM — чисто исследовательский проект, не предназначенный для коммерческого использования или общения в чат-формате. Однако уже сейчас специалисты называют его концептуальным прорывом: сдвигом от копирования шаблонов к глубокому пониманию логики и поведения программ.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
АААСТАНАВИЦЕСЬ!!!!!11
68% в синтетических тестах это будет сколько в реальной жизни? 10-20? А 130к токенов это вообще ничто для отладчика кода если проект чуть больше блога