Штучны інтэлект горш за людзей рэзюмуе дакументы і, хутчэй, нават стварае ім дадатковую працу. Да такой высновы прыйшла Amazon у выніку эксперыментаў, заказаных аўстралійскай камісіяй па каштоўных паперах і інвестыцыях (ASIC).
Штучны інтэлект горш за людзей рэзюмуе дакументы і, хутчэй, нават стварае ім дадатковую працу. Да такой высновы прыйшла Amazon у выніку эксперыментаў, заказаных аўстралійскай камісіяй па каштоўных паперах і інвестыцыях (ASIC).
Даследчыкі тэсціравалі розныя генератыўныя АІ-мадэлі, з якіх выбралі адную самую шматабяцальную — оўпэнсорсную Llama2-70B ад Meta. Ёй скармілі тэксты пяці адказаў на парламенцкі запыт да аўдытарскіх і кансалтынгавых фірмаў, якія мадэль мусіла рэзюмаваць з фокусам на згадкі ASIC, рэкамендацыі ды іншае, а таксама пазначыць старонкі і кантэкст.
Тое ж заданне даручылі дзесяці супрацоўнікам ASIC рознага рангу. Далей працы мадэлі і людзей далі групе рэцэнзентаў на «сляпую» праверку па такіх параметрах, як складнасць, даўжыня, а таксама па тых пунктах, на якіх трэба было сфакусавацца ў рэзюмэ. Пра тое, што ў даследаванні ўдзельнічае АІ, яны не ведалі.
Працы жывых супрацоўнікаў выявіліся якаснейшымі за работы АІ па ўсім крытэрах ва ўсіх пяці выпадках: 81% супраць 47%. Чалавечыя рэзюмэ значна апярэджвалі АІ у плане пошуку спасылак на дакументы ASIC у доўгім тэксце. У машынных рэзюмэ часта было прапушчанае асноўнае, дэталі і кантэкст, акцэнт мог рабіцца на другарадных дэталях, магла дадавацца некарэктная інфармацыя, адсутнічала рэлевантная і прысутнічала нерэлевантная інфармацыя.
У цэлым рэцэнзенты палічылі, што АІ-рэзюмэ могуць быць контрпрадукцыйнымі і ствараць непатрэбную працу, бо іх трэба пераправяраць і спраўджваць з арыгінальнымі тэкстамі. Пры гэтым адзначаецца, што ў новай версіі мадэлі здольнасць рэзюмаваць тэксты можа быць ужо лепшай, а таксама што Amazon павысіла прадукцыйнасць падыспытнай мадэлі шляхам кастамізацыі промптаў, а гэта азначае наяўнасць прасторы для далейшых паляпшэнняў.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.