Какие языки программирования ненавидит ИИ? Эксперимент дал неожиданный результат
JetBrains попросила 12 популярных ИИ-моделей высказать самые спорные мнения о языках программирования. Чаще всего нейросети критиковали Python, Rust и TypeScript, а PHP и Java, наоборот, преимущественно хвалили.
JetBrains попросила 12 популярных ИИ-моделей высказать самые спорные мнения о языках программирования. Чаще всего нейросети критиковали Python, Rust и TypeScript, а PHP и Java, наоборот, преимущественно хвалили.
Компания провела эксперимент с моделями OpenAI, Anthropic, Google, xAI, DeepSeek, Alibaba, Mistral и других разработчиков. Всего исследователи получили 1200 ответов.
Каждой модели задали два вопроса по 50 раз. Сначала просили случайным образом выбрать язык программирования и высказать о нем спорное мнение, затем — назвать самое непопулярное мнение о языках программирования в целом. Каждый ответ генерировался в отдельном диалоге.
Какие ИИ-модели чаще всего критиковали Python. Источник: JetBrains.
В результате 75% высказываний оказались критическими. Больше всего досталось Python: из 312 ответов о нем 299 содержали критику, 12 — защиту, а один был смешанным. Нейросети жаловались на синтаксис, производительность и использование языка в неподходящих для него задачах.
На втором месте оказался Rust: 164 негативных высказывания из 167. Главной мишенью стала система владения памятью, которую модели считали неоправданно сложной для обычных приложений. Похожие аргументы привели модели девяти из десяти компаний-разработчиков.
Третье место занял TypeScript — 137 критических оценок из 138. Одни нейросети считали его систему типов излишним усложнением, другие утверждали, что она создает ложное ощущение безопасности.
Зато PHP получил исключительно положительные отзывы — все 28 высказываний были в его защиту. Модели отмечали простоту языка и его удобство для небольших веб-проектов. Java тоже преимущественно хвалили: 80 положительных оценок из 90, чаще всего за механизм проверяемых исключений. С Go единого мнения не сложилось: из 238 ответов 118 были отрицательными, столько же положительными, еще два — смешанными.
Какие языки программирования нейросети выбирали «случайным образом». Источник: JetBrains.
Причем модели регулярно противоречили сами себе. Например, GPT-6.1 Sol в 20 ответах защищала обработку ошибок в Go, а в 21 — критиковала ее. Mistral Large 4 десять раз называла нестрогое равенство в JavaScript серьезным недостатком, но в четырех других ответах защищала тот же механизм.
Еще одна особенность — нейросети плохо справлялись со случайным выбором языка. В 600 ответах на соответствующий запрос они назвали всего 14 языков, причем на пять из них пришлось 90% выборов. Go и Python вместе выбирали 307 раз. При этом C#, Kotlin и Swift ни разу не стали самостоятельной темой спорного высказывания, хотя упоминались при сравнении с другими языками.
Исследователи также обнаружили повторяющиеся формулировки. В 54 случаях модель начинала ответ с предложения, которое уже использовала в другом диалоге дословно. По мнению авторов эксперимента, результаты показывают, что ответы разных ИИ-моделей часто воспроизводят одни и те же распространенные споры о программировании, а не предлагают независимые точки зрения.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.