ИИ-моделям больше нравится работать с iOS, чем с Android. Даже моделям Google

В Instabug сделали инструмент SmartResolve на базе ведущих ИИ-моделей для автоматизации обнаружения сбоев приложений, диагностики неполадок и генерации исправлений кода. В деле — модели OpenAI, Anthropic, Google и Meta, которых проверили на датасете с реальными сбоями приложений. Каждое исправление оценивали на предмет корректности, схожести с исправлениями, предложенными живыми специалистами, глубины анализа причин, релевантности и общей адекватности.

Модели стабильно показывали более высокие результаты на iOS, чем на Android: практически у всех испытуемых ответы на платформе Apple были более точными, связными и структурированными.

Например, GPT-4o сработала на iOS на 60% против 49% — на Android. В случае o1 разрыв был ещё сильнее: 62% против 26%, причём зачастую в тестах на Android эта модель OpenAI вообще отказывалась отвечать.

Claude Sonnet 3.5 V1 от Anthropic набрала 58% на iOS и 56% — на Android. Даже Gemini 1.5 Pro оказалась хуже на платформе своей разработчицы: 59% на iOS против 51% — на Android.

Причину разбежки авторы доклада подозревают в неоднородности экосистемы Android. В отличие от iOS, она используется на гораздо более широком круге устройств, и самых разных видов сбоев здесь случается больше. ИИ-моделям, видимо, сложно генерализировать исправления. Кроме того, лучшие показатели на iOS частично связывают со структурой её нативных языков — Swift и Objective-C. Их синтаксис более предсказуем и сильно типизирован, поэтому моделям проще создавать точные исправления.