Большинство инцидентов с искусственным интеллеектом на рабочем месте происходит не просто потому, что система ошибается, а потому, что она делает задачу не так, как это нужно реальным сотрудникам.
Большинство инцидентов с искусственным интеллеектом на рабочем месте происходит не просто потому, что система ошибается, а потому, что она делает задачу не так, как это нужно реальным сотрудникам.
К такому выводу пришла группа исследователей из Королевского колледжа Лондона, Оксфорда, Nokia Bell Labs и Туринского политехнического университета.
Исследователи проанализировали инциденты из AI Incident Database за 2013–2025 годы и выделили случаи, где ИИ использовался именно в рабочих задачах. Затем они сопоставили эти случаи с опросами 202 работников и 197 разработчиков: участников спрашивали, какими качествами должен обладать ИИ для разных профессиональных задач. Всего рассматривались 171 рабочая задача в 12 секторах: от юриспруденции и медицины до образования, HR, клиентской поддержки и разработки ПО.
Авторы обнаружили явление, которое назвали worker-AI misalignment — несоответствием между тем, какие качества ИИ нужны работнику для конкретной задачи, и тем, каким этот ИИ фактически оказывается. Главный вывод: 83,4% рабочих инцидентов с ИИ были связаны с таким несоответствием. Чаще всего сотрудники хотели от системы точности, содержательности и персонализации, но получали слишком базовый, упрощенный или общий ответ. Иными словами, ИИ мог формально «работать», но не подходил под реальную профессиональную ситуацию.
В разных сферах проблема проявлялась по-разному. В юридическом секторе особенно опасным оказался «слишком воображающий» ИИ: система могла придумывать ссылки, факты или судебные прецеденты там, где юристам нужна практичность и точность. В HR, наоборот, проблемой часто становились слишком быстрые и категоричные системы, которые принимали решения без достаточного объяснения.
Исследование также показывает, что часть проблем закладывается еще на этапе разработки. По оценке авторов, около 74% случаев несоответствия можно связать с дизайнерскими решениями разработчиков. Создатели ИИ чаще делали ставку на эффективность и скорость, тогда как работникам во многих задачах были важнее точность, понятность, гибкость и учет контекста.
Ученые приводят пример алгоритмических систем управления в HR и доставке: такие инструменты могут быстро обрабатывать показатели сотрудников и выдавать жесткие решения, но плохо учитывать обстоятельства: пробки, погоду, сложность маршрута или другие факторы, которые человек посчитал бы важными. В результате автоматизация экономит время, но может усиливать ошибки и несправедливость.
Еще один важный тренд связан с генеративным ИИ. Раньше часть инцидентов была связана с тем, что системы были слишком быстрыми и недостаточно объяснимыми. После массового распространения генеративных моделей выросла роль другой проблемы: ИИ стал чаще быть «слишком воображающим», то есть уверенно генерировать недостоверные ответы там, где нужна проверяемая информация.
Авторы делают практический вывод: при внедрении ИИ компаниям нужно оценивать не только техническую точность модели или экономию времени. Важно заранее проверять, подходит ли поведение системы под конкретную задачу и ожидания людей, которые будут с ней работать. Без этого даже небольшие ошибки в дизайне могут со временем превращаться в реальные рабочие инциденты — от неправильного найма до ошибочных управленческих решений и потери контроля у сотрудников.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.