Если раньше поиском багов в сломавшемся приложении и их исправлением разработчикам приходилось заниматься вручную, то теперь к процессу можно подключить искусственный интеллект. В компании Instabug обнаружили, что у ИИ есть предпочтения: модели лучше справляются с этой задачей на мобильной платформе Apple, чем Google.
Если раньше поиском багов в сломавшемся приложении и их исправлением разработчикам приходилось заниматься вручную, то теперь к процессу можно подключить искусственный интеллект. В компании Instabug обнаружили, что у ИИ есть предпочтения: модели лучше справляются с этой задачей на мобильной платформе Apple, чем Google.
В Instabug сделали инструмент SmartResolve на базе ведущих ИИ-моделей для автоматизации обнаружения сбоев приложений, диагностики неполадок и генерации исправлений кода. В деле — модели OpenAI, Anthropic, Google и Meta, которых проверили на датасете с реальными сбоями приложений. Каждое исправление оценивали на предмет корректности, схожести с исправлениями, предложенными живыми специалистами, глубины анализа причин, релевантности и общей адекватности.
Модели стабильно показывали более высокие результаты на iOS, чем на Android: практически у всех испытуемых ответы на платформе Apple были более точными, связными и структурированными.
Например, GPT-4o сработала на iOS на 60% против 49% — на Android. В случае o1 разрыв был ещё сильнее: 62% против 26%, причём зачастую в тестах на Android эта модель OpenAI вообще отказывалась отвечать.
Claude Sonnet 3.5 V1 от Anthropic набрала 58% на iOS и 56% — на Android. Даже Gemini 1.5 Pro оказалась хуже на платформе своей разработчицы: 59% на iOS против 51% — на Android.
Причину разбежки авторы доклада подозревают в неоднородности экосистемы Android. В отличие от iOS, она используется на гораздо более широком круге устройств, и самых разных видов сбоев здесь случается больше. ИИ-моделям, видимо, сложно генерализировать исправления. Кроме того, лучшие показатели на iOS частично связывают со структурой её нативных языков — Swift и Objective-C. Их синтаксис более предсказуем и сильно типизирован, поэтому моделям проще создавать точные исправления.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.