Google: до ИИ, который улучшает сам себя, ещё далеко — без человека не обойтись
Google DeepMind пока не обнаружила признаков того, что ИИ ускоряет разработку более совершенных ИИ-моделей. Хотя нейросети уже пишут большую часть программного кода внутри компании, сложные исследовательские задачи по-прежнему требуют участия людей.
Google DeepMind пока не обнаружила признаков того, что ИИ ускоряет разработку более совершенных ИИ-моделей. Хотя нейросети уже пишут большую часть программного кода внутри компании, сложные исследовательские задачи по-прежнему требуют участия людей.
Согласно отчету Google о безопасности Gemini 4 Argon, более 75% производственного кода в DeepMind теперь пишется с помощью ИИ. При этом около 88% изменений по-прежнему требуют вмешательства разработчиков, а весь код проходит проверку человеком перед отправкой. Доля задач, полностью делегированных ИИ, выросла с 7,5% в апреле до 11,9% в сентябре 2026 года.
1/9 In the Gemini 4 Argon Safety & Security Report, we published our first holistic empirical assessment of ML R&D automation and acceleration inside Google DeepMind — combining capability benchmarks, a macro capability index, data on AI-written code and trajectory outcomes, and a survey of senior frontier researchers. Our main findings are that: 1. There is currently no significant end-to-end acceleration of ML R&D, AI-driven or otherwise. 2. While some components of ML R&D are being automated and there have been many examples of AI-driven breakthroughs and optimizations, we are far from full end-to-end automation. 3. We therefore conclude that the risk from AI-driven ML R&D is currently low. Thread below🧵
Исследователи также проанализировали 1389 запусков ИИ-агентов Gemini 4 Argon внутри компании. Выяснилось, что чем сложнее и продолжительнее задача, тем реже агент справляется с ней самостоятельно. Люди остаются незаменимыми при выборе направлений исследований, разработке новых экспериментов и поиске причин сложных ошибок при обучении моделей.
Динамика возможностей моделей Gemini с октября 2024-го по октябрь 2026 года по индексу General Capability Index (GCI). Синие точки обозначают результаты отдельных моделей, пунктирная линия — общий тренд роста, голубая область — 95%-й доверительный интервал. Источник: Google DeepMind.
На внутреннем бенчмарке Google RE-Bench, включающем 74 задачи по машинному обучению, Gemini 4 Argon справляется примерно с половиной заданий. Это заметный прогресс по сравнению с Gemini 3.7 Flash, но далеко от уровня, необходимого для полной автоматизации исследований. При этом Google отмечает ограничения тестирования: часть заданий содержала ошибки, а некоторые запуски прерывались из-за технических проблем.
Чтобы проверить, ускоряется ли развитие самого ИИ, Google создала индекс General Capability Index (GCI) на основе результатов 123 моделей в 92 тестах. Анализ показал, что возможности Gemini растут относительно равномерно — примерно на 0,1 пункта индекса в месяц. Статистически значимого ускорения исследователи не обнаружили.
Gemini 4 Argon оказалась немного выше исторического тренда, однако в DeepMind связывают это с увеличением вычислительных мощностей и инвестиций в разработку, а не с тем, что ИИ начал самостоятельно совершенствовать себя.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.