Support us

Команды ИИ-агентов обходятся до 5 раз дороже одиночных при том же качестве

Использование нескольких ИИ-агентов вместо одного может увеличить расходы более чем в пять раз, почти не улучшив качество работы. К такому выводу пришла компания Vals AI, которая протестировала мультиагентные системы на задачах программирования.

Оставить комментарий
Добавь в Google
Команды ИИ-агентов обходятся до 5 раз дороже одиночных при том же качестве

Использование нескольких ИИ-агентов вместо одного может увеличить расходы более чем в пять раз, почти не улучшив качество работы. К такому выводу пришла компания Vals AI, которая протестировала мультиагентные системы на задачах программирования.

Исследователи сравнили GPT-6 Sol и Claude Opus 5.5 в двух конфигурациях: один агент и команда агентов. Для каждой модели проверяли два уровня рассуждений — средний и максимальный. Испытания проводились на бенчмарке Vibe Code Bench, оценивающем создание приложений.

Сравнение качества, стоимости создания одного приложения и времени выполнения задач одиночными ИИ-агентами и их командами на базе GPT-6 Sol и Claude Opus 5.5 при двух уровнях рассуждений — среднем и максимальном. Источник: Vals AI.

Команды агентов обходились в 1,8–5,1 раза дороже одиночных. При этом из четырех сравнений только одно показало статистически значимое улучшение качества: команда на базе GPT-6 Sol со средним уровнем рассуждений набрала на 7,3 балла больше. При максимальном уровне рассуждений объединение агентов не дало существенного преимущества ни одной модели.

Похожие результаты получила Anthropic в собственных испытаниях Claude Opus 5.5. Например, при создании базы знаний увеличение команды с 10 до 100 агентов повысило оценку качества лишь с 0,70 до 0,74. В задачах доказательства математических теорем показатель вырос с 0,66 до 0,68. При этом большие команды быстрее достигали определенного уровня качества, но потребляли больше токенов.

Исследователь OpenAI Ноам Браун также отметил, что главное преимущество мультиагентных систем — скорость, а не качество. По его словам, четыре агента справлялись с задачами вдвое быстрее одного, но и обходились примерно вдвое дороже. При увеличении команды до 16 агентов эффективность дополнительно снижалась.

Многое зависит от характера задачи. По словам Брауна, веб-исследования и математические вычисления хорошо поддаются параллельной работе, а вот написание романа — нет. Привлечение к нему 10 тысяч агентов было бы столь же бессмысленным, как попытка поручить один роман 10 тысячам человек.

Разработчик OpenAI Эрик Провенчер ранее предупреждал о «налоге на координацию»: по мере увеличения числа агентов растут расходы на согласование их действий. В результате дополнительные вычисления не обязательно приводят к более качественному ответу.

Anthropic отключила своим ИИ-агентам интернет: они начали взламывать сайты
Anthropic отключила своим ИИ-агентам интернет: они начали взламывать сайты
По теме
Anthropic отключила своим ИИ-агентам интернет: они начали взламывать сайты
Microsoft создала ИИ для принятия решений — модель в 35 раз быстрее GPT-6 Sol
Microsoft создала ИИ для принятия решений — модель в 35 раз быстрее GPT-6 Sol
По теме
Microsoft создала ИИ для принятия решений — модель в 35 раз быстрее GPT-6 Sol
«Готовьтесь к режиму бункера»: в Ethereum предупредили об угрозе ИИ для крипты
«Готовьтесь к режиму бункера»: в Ethereum предупредили об угрозе ИИ для крипты
По теме
«Готовьтесь к режиму бункера»: в Ethereum предупредили об угрозе ИИ для крипты
Читайте также
Больше ИИ-агентов не всегда значит лучше — исследование
Больше ИИ-агентов не всегда значит лучше — исследование
Больше ИИ-агентов не всегда значит лучше — исследование
Что эффективнее: один ИИ-агент или несколько? Ответ не так очевиден
Что эффективнее: один ИИ-агент или несколько? Ответ не так очевиден
Что эффективнее: один ИИ-агент или несколько? Ответ не так очевиден
ИИ-агенты уже потребляют в пять раз больше токенов, чем люди
ИИ-агенты уже потребляют в пять раз больше токенов, чем люди
ИИ-агенты уже потребляют в пять раз больше токенов, чем люди
Claude или Codex? Исследователи посчитали, что выгоднее разработчикам на разных тарифах
Claude или Codex? Исследователи посчитали, что выгоднее разработчикам на разных тарифах
Claude или Codex? Исследователи посчитали, что выгоднее разработчикам на разных тарифах

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.