Искусственный интеллект ускоряет разработку, но вместе с этим увеличивает число сбоев в рабочих сервисах и расходы на инфраструктуру. К такому выводу пришли исследователи CloudBees.
Искусственный интеллект ускоряет разработку, но вместе с этим увеличивает число сбоев в рабочих сервисах и расходы на инфраструктуру. К такому выводу пришли исследователи CloudBees.
В опросе CloudBees участвовали более 200 руководителей корпоративных ИТ-команд. 81% из них сообщили, что после внедрения кода, созданного с помощью ИИ, у них стало больше проблем в уже запущенных продуктах. При этом 92% респондентов заявили, что до релиза были уверены в готовности такого кода к работе.
Глава компании в сфере кибербезопасности Averlon Сунил Готтумуккала объяснил, что речь чаще идет не о сбоях в системе сборки и доставки кода, а о проблемах, которые проявляются уже после запуска: ошибках в функциональности, падении производительности, недоступности сервисов и уязвимостях безопасности.
«Это проблемы, которые всплывают уже после того, как код был развернут в рабочей среде. Это значит, что код прошел все этапы проверки и выпуска, но все равно что-то сломал», — сказал Готтумуккала. По его словам, такие случаи показывают, что процессы проверки не успевают за тем, что производит ИИ.
Похожую проблему описал Джейкоб Крелл, эксперт по кибербезопасности из Suzu Labs. Он отметил, что исследование не выделяет один конкретный тип сбоев: в рабочие продукты попадают и обычные ошибки в коде, и уязвимости, и нарушения требований безопасности или соответствия правилам.
По данным CloudBees, 69% респондентов сообщили об уязвимостях, внесенных кодом, созданным с помощью ИИ, а 63% — о проблемах с соблюдением внутренних или регуляторных требований.
«ИИ генерирует код быстрее, чем команды успевают его проверять», — сказал Крелл. Он назвал это разрывом в проверке: компании получают больше кода, но не успевают оценивать его качество, безопасность и соответствие правилам до запуска.
При этом 61% кода в организациях респондентов уже создается с помощью ИИ или при его участии. Еще 64% инженерных команд заявили, что ИИ широко или полностью встроен в их рабочие процессы. Более половины участников опроса (52%) сообщили, что объем разработки вырос.
Однако рост скорости не всегда превращается в понятную бизнес-выгоду. Хотя 68% компаний считают, что ИИ приносит пользу бизнесу, только 31% расходов на ИИ можно связать с конкретными результатами. В 36% организаций расходы на ИИ либо отслеживаются без оценки окупаемости, либо не отслеживаются вообще.
Еще одна проблема — рост инфраструктурных затрат. Чем больше кода создают команды, тем больше нужно запускать сборок, тестов, проверок безопасности и развертываний. 54% респондентов сообщили, что расходы на инфраструктуру сборки и доставки кода за последний год заметно выросли. Еще 53% указали на рост затрат на тестирование, безопасность и выпуск новых версий.
При этом только 45% участников опроса считают такие расходы предсказуемыми от квартала к кварталу. Инструменты контроля пока внедрены слабо: лимиты на расход токенов есть у 27% организаций, а автоматический контроль расходов — только у 18%.
Исследование также показывает проблему ответственности. Только 12% организаций имеют отдельную структуру управления использованием ИИ. Если код, созданный с помощью ИИ, приводит к сбою в рабочем продукте, в 46% компаний ответственность несет технический директор или вице-президент по инженерии, в 32% — инженерный руководитель или команда, связанная с инструментом, а в 7% — разработчик, который отправил запрос на внесение изменений.
Формально процессы проверки есть у большинства компаний: 93% респондентов заявили, что у них существует процедура ревью и выпуска кода, созданного с помощью ИИ. Но только 56% сказали, что эти правила соблюдаются всегда.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Да ладно, неужели до манагеров начало доходить, что раздать доступ к использованию ИИ даже джунам будет неизбежно упираться в то, что некому будет ревьюить?) Тот же Claude по умолчанию пишет на уровне матерого сеньора - выходит весь нейрослоп будет улетать либо сразу в прод, либо в беклог сеньорам, которые нафиг поувольняются скоро, потому что им своих ревью хватает после своих агентов - ведь надо же показывать буст x2-x4?