Калі раней пошукам багаў у паламанай аплікацыі і іх выпраўленнем распрацоўшчыкам даводзілася займацца ўручную, то цяпер да гэтага працэсу можна падключыць штучны інтэлект. У кампаніі Instabug выявілі, што ў ШІ ёсць перавагі: мадэлі лепш спраўляюцца з гэтай задачай на мабільнай платформе Apple, чым Google.
Калі раней пошукам багаў у паламанай аплікацыі і іх выпраўленнем распрацоўшчыкам даводзілася займацца ўручную, то цяпер да гэтага працэсу можна падключыць штучны інтэлект. У кампаніі Instabug выявілі, што ў ШІ ёсць перавагі: мадэлі лепш спраўляюцца з гэтай задачай на мабільнай платформе Apple, чым Google.
У Instabug стварылі інструмент SmartResolve на базе вядучых ШІ-мадэляў для аўтаматызацыі выяўлення збояў аплікацый, дыягностыкі непаладак і генерацыі выпраўленняў коду. У справу ўвайшлі мадэлі OpenAI, Anthropic, Google і Meta, якія праверылі на датасэце з рэальнымі збоямі аплікацый. Кожнае выпраўленне ацэньвалі на прадмет карэктнасці, падабенства да выпраўленняў, прапанавых жывымі спецыялістамі, глыбіні аналізу прычын, рэлевантнасці і агульнай адэкватнасці.
Мадэлі стабільна паказвалі лепшыя вынікі на iOS, чым на Android: амаль ва ўсіх выпадках адказы на платформе Apple былі больш дакладнымі, звязнымі і структураванымі.
Напрыклад, GPT-4o спрацавала на iOS на 60% супраць 49% — на Android. У выпадку з o1 разрыў быў яшчэ большы: 62% супраць 26%, прычым часта ў тэстах на Android гэтая мадэль OpenAI увогуле адмаўлялася адказваць.
Claude Sonnet 3.5 V1 ад Anthropic набрала 58% на iOS і 56% — на Android. Нават Gemini 1.5 Pro паказала сябе горш на платформе сваёй распрацоўшчыцы: 59% на iOS супраць 51% — на Android.
Прычыну адрозненняў аўтары даклада падазраюць у неаднароднасці экасістэмы Android. У адрозненні ад iOS, яна выкарыстоўваецца на значна шырэйшым коле прылад, і разнастайнасць тыпаў збояў тут большая. ШІ-мадэлям, відаць, складаней генералізаваць выпраўленні. Акрамя таго, лепшыя паказчыкі на iOS часткова тлумачацца структурай яе натыўных моў — Swift і Objective-C. Іх сінтаксіс больш прадказальны і строга тыпізаваны, таму мадэлям прасцей ствараць дакладныя выпраўленні.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.