OpenAI создала «фабрику» ИИ-агентов, чтобы ChatGPT не тормозил
Компания создала Performance Factory — систему ИИ-агентов на базе Codex, которая автоматически расследует замедления ChatGPT и предлагает исправления.
Компания создала Performance Factory — систему ИИ-агентов на базе Codex, которая автоматически расследует замедления ChatGPT и предлагает исправления.
Компания создала Performance Factory — систему ИИ-агентов на базе Codex, которая автоматически расследует замедления ChatGPT и предлагает исправления.
Ранее инженеры OpenAI самостоятельно изучали логи, отслеживали изменения в коде и искали причины замедления сервисов. Теперь значительную часть этой работы выполняют ИИ-агенты.
Performance Factory работает автоматически. Когда система мониторинга обнаруживает падение производительности, она создает задачу для Codex. Агент анализирует показатели, проверяет журналы событий и изменения в коде, после чего пытается установить причину проблемы.
Однако OpenAI обнаружила, что ИИ иногда останавливается на первом правдоподобном объяснении, даже если доказательств недостаточно. Поэтому компания добавила еще одного агента, который перепроверяет выводы первого.

Второй Codex получает результаты расследования, но начинает работу с чистым контекстом. Его задача — найти ошибки в первоначальной версии и проверить альтернативные объяснения. Сейчас примерно четверть диагнозов отправляется на повторное расследование.
Например, однажды агент связал сбои в разговорах ChatGPT с ошибками загрузки изображений. Однако проверяющий заметил, что сервис поиска файлов уже восстановился, а проблемы с изображениями продолжались. В результате расследование пришлось возобновить.
Если проверка пройдена, Codex предлагает исправление и создает пулл-реквест. Инженер изучает изменения и решает, можно ли их принять. После развертывания исправления еще один агент проверяет, действительно ли проблема исчезла.

За три с лишним месяца система провела более 1700 расследований — в среднем около 17 в день. Более чем в 600 случаях удалось установить причину проблемы, а примерно в 400 агенты подготовили предложения по исправлению.
Но с внедрением изменений результаты пока скромнее. По данным OpenAI, около 50 выпущенных исправлений были основаны на предложениях агентов или совпадали с ними. Примерно 15 исправлений были внедрены непосредственно в виде пулл-реквестов, созданных Codex.
В компании признают, что система пока лучше справляется с диагностикой, чем с самостоятельным исправлением ошибок. Особенно хорошо агенты работают с относительно простыми проблемами, например когда код повторно выполняет ненужные операции.
Сложные архитектурные изменения даются им хуже. Иногда предложенные исправления создают новые проблемы: например, добавление кеша ускоряет ответы, но приводит к использованию устаревших данных. Поэтому OpenAI внедрила дополнительную проверку и для предлагаемых изменений.
В будущем компания хочет научить агентов самостоятельно искать замедления, которые не обнаруживают обычные системы мониторинга. OpenAI также рассматривает возможность разрешить им внедрять некоторые исправления с низким уровнем риска без согласования с человеком.



Релоцировались? Теперь вы можете комментировать без верификации аккаунта.