Использование нескольких ИИ-агентов вместо одного может увеличить расходы более чем в пять раз, почти не улучшив качество работы. К такому выводу пришла компания Vals AI, которая протестировала мультиагентные системы на задачах программирования.
Использование нескольких ИИ-агентов вместо одного может увеличить расходы более чем в пять раз, почти не улучшив качество работы. К такому выводу пришла компания Vals AI, которая протестировала мультиагентные системы на задачах программирования.
Исследователи сравнили GPT-6 Sol и Claude Opus 5.5 в двух конфигурациях: один агент и команда агентов. Для каждой модели проверяли два уровня рассуждений — средний и максимальный. Испытания проводились на бенчмарке Vibe Code Bench, оценивающем создание приложений.
Команды агентов обходились в 1,8–5,1 раза дороже одиночных. При этом из четырех сравнений только одно показало статистически значимое улучшение качества: команда на базе GPT-6 Sol со средним уровнем рассуждений набрала на 7,3 балла больше. При максимальном уровне рассуждений объединение агентов не дало существенного преимущества ни одной модели.
Похожие результаты получила Anthropic в собственных испытаниях Claude Opus 5.5. Например, при создании базы знаний увеличение команды с 10 до 100 агентов повысило оценку качества лишь с 0,70 до 0,74. В задачах доказательства математических теорем показатель вырос с 0,66 до 0,68. При этом большие команды быстрее достигали определенного уровня качества, но потребляли больше токенов.
Исследователь OpenAI Ноам Браун также отметил, что главное преимущество мультиагентных систем — скорость, а не качество. По его словам, четыре агента справлялись с задачами вдвое быстрее одного, но и обходились примерно вдвое дороже. При увеличении команды до 16 агентов эффективность дополнительно снижалась.
Многое зависит от характера задачи. По словам Брауна, веб-исследования и математические вычисления хорошо поддаются параллельной работе, а вот написание романа — нет. Привлечение к нему 10 тысяч агентов было бы столь же бессмысленным, как попытка поручить один роман 10 тысячам человек.
Разработчик OpenAI Эрик Провенчер ранее предупреждал о «налоге на координацию»: по мере увеличения числа агентов растут расходы на согласование их действий. В результате дополнительные вычисления не обязательно приводят к более качественному ответу.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.