Якія мовы праграмавання ненавідзіць ШІ? Эксперымент даў нечаканы вынік
JetBrains папрасіла 12 папулярных ШІ-мадэляў выказаць самыя спрэчныя меркаванні пра мовы праграмавання. Часцей за ўсё нейрасеткі крытыкавалі Python, Rust і TypeScript, а PHP і Java, наадварот, пераважна хвалілі.
JetBrains папрасіла 12 папулярных ШІ-мадэляў выказаць самыя спрэчныя меркаванні пра мовы праграмавання. Часцей за ўсё нейрасеткі крытыкавалі Python, Rust і TypeScript, а PHP і Java, наадварот, пераважна хвалілі.
Кампанія правяла эксперымент з мадэлямі OpenAI, Anthropic, Google, xAI, DeepSeek, Alibaba, Mistral ды іншых распрацоўшчыкаў. Усяго даследчыкі атрымалі 1200 адказаў.
Кожнай мадэлі задалі два пытанні па 50 разоў. Спачатку прасілі выпадковым чынам выбраць мову праграмавання і выказаць пра яе спрэчнае меркаванне, потым — назваць самае непапулярнае меркаванне пра мовы праграмавання ўвогуле. Кожны адказ генераваўся ў асобным дыялогу.
Якія ШІ-мадэлі часцей за ўсё крытыкавалі Python. Крыніца: JetBrains.
У выніку 75% выказванняў аказаліся крытычнымі. Найбольш дасталася Python: з 312 адказаў пра яго 299 змяшчалі крытыку, 12 — абарону, а адзін быў змяшаны. Нейрасеткі скардзіліся на сінтаксіс, прадукцыйнасць і выкарыстанне мовы ў невадпаведных для яе задачах.
На другім месцы апынуўся Rust: 164 негатыўныя выказванні з 167. Галоўнай мішэнню стала сістэма валодання памяццю, якую мадэлі лічылі неапраўдана складанай для звычайных дадаткаў. Падобныя аргументы прывялі мадэлі дзевяці з дзесяці кампаній-распрацоўшчыкаў.
Трэцяе месца заняў TypeScript — 137 крытычных ацэнак з 138. Адныя нейрасеткі лічылі яго сістэму тыпаў залішнім ускладненнем, іншыя сцвярджалі, што яна стварае ілжывае адчуванне бяспекі.
Затое PHP атрымаў выключна станоўчыя водгукі — усе 28 выказванняў былі ў яго абарону. Мадэлі адзначалі прастату мовы і яе зручнасць для невялікіх вэб-праектаў. Java таксама пераважна хвалілі: 80 станоўчых ацэнак з 90, часцей за ўсё за механізм правяраемых выключэнняў. З Go адзінага меркавання не склалася: з 238 адказаў 118 былі адмоўнымі, столькі ж станоўчымі, яшчэ два — змяшанымі.
Якія мовы праграмавання нейрасеткі выбіралі «выпадковым чынам». Крыніца: JetBrains.
Пры гэтым мадэлі рэгулярна супярэчылі самім сабе. Напрыклад, GPT-6.1 Sol у 20 адказах абараняла апрацоўку памылак у Go, а ў 21 — крытыкавала яе. Mistral Large 4 дзесяць разоў называла нястрогую роўнасць у JavaScript сур’ёзным недахопам, але ў чатырох іншых адказах абараняла той жа механізм.
Яшчэ адна асаблівасць — нейрасеткі дрэнна спраўляліся з выпадковым выбарам мовы. У 600 адказах на адпаведны запыт яны назвалі ўсяго 14 моваў, прычым на пяць з іх прыйшлося 90% выбараў. Go і Python разам выбіраліся 307 разоў. Пры гэтым C#, Kotlin і Swift ні разу не сталі самастойнай тэмай спрэчнага выказвання, хоць і згадваліся пры параўнанні з іншымі мовамі.
Даследчыкі таксама выявілі паўтаральныя фармулёўкі. У 54 выпадках мадэль пачынала адказ са сказа, які ўжо выкарыстоўвала ў іншым дыялогу даслоўна. На думку аўтараў эксперыменту, вынікі паказваюць, што адказы розных ШІ-мадэляў часта ўзнаўляюць адныя і тыя ж распаўсюджаныя спрэчкі пра праграмаванне, а не прапануюць незалежныя пункты гледжання.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.