Компания представила новый рейтинг ИИ-моделей, которые лучше всего справляются с разработкой Android-приложений. Для этого компания создала специальный бенчмарк Android Bench.
Компания представила новый рейтинг ИИ-моделей, которые лучше всего справляются с разработкой Android-приложений. Для этого компания создала специальный бенчмарк Android Bench.
В Google отмечают, что существующие бенчмарки для программирования не учитывают специфические задачи Android-разработки. Поэтому Android Bench проверяет, как модели работают с ключевыми технологиями платформы, включая Jetpack Compose для интерфейсов, Coroutines и Flows для асинхронного программирования, Room для хранения данных и Hilt для внедрения зависимостей.
Также тесты оценивают способность моделей справляться с настройкой Gradle, миграциями навигации, изменениями SDK и работой с компонентами системы, например камерой, медиа или интерфейсом системы.
По результатам тестирования лучшей моделью для разработки Android-приложений стала Gemini 3.1 Pro Preview с результатом 72,4%. На втором месте оказалась Claude Opus 4.6 с результатом 66,6%, а третье место заняла GPT-5.2 Codex от OpenAI с показателем 62,5%.
Бенчмарк основан на 100 задачах, взятых из реальных pull-request в популярных Android-репозиториях на GitHub. Модели должны предложить исправления кода, после чего система автоматически проверяет, проходят ли изменения тесты и действительно ли решают проблему.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.