Ещё вчера мы смеялись над школьниками, которые переписывают в тетради ответы от ChatGPT вместе с фразой «Хочешь, я помогу тебе решить другие подобные задачи?». А сегодня это перестает быть шуткой из рилс и становится проблемой ИТ-команд.
Расскажу, почему мы глупеем из-за ИИ и как он влияет на качество работы.
Кто пишет: Юлия Филиппова, Technical Product Manager, за 9+ лет в ИТ прошла путь от разработчика до руководителя.
Больше нет самостоятельности
The Economist недавно опубликовал статью о работе Стивена Шоу и Гидеона Нейва из Уортонской школы бизнеса. Они ввели термин Cognitive Surrender — Когнитивная капитуляция.
В ходе эксперимента они доказали, что люди не просто делегируют задачи AI — они вообще перестают подвергать сомнению его ответы.
Участников эксперимента разделили на группы. Контрольная группа отвечала на сложные вопросы самостоятельно, а другая — с помощью искусственного интеллекта. Пока модель давала верные ответы всё шло предсказуемо хорошо: группа с ИИ превосходила группу отвечающих самостоятельно.
Самое интересное началось, когда исследователи добавили ошибки в ответы модели. Контрольная группа, отвечавшая самостоятельно, сразу же превзошла группу, которой подсказывал искусственный интеллект с ошибками. Проще говоря, используя ИИ в качестве помощника, люди просто переставали думать самостоятельно.
Что происходит с командами?
Если вы сейчас думаете, что у ИТ команд с участниками эксперимента ничего общего, ответьте быстро: сколько раз на этой неделе вы одобрили работу ИИ не глядя?
Не могу вас осуждать: нажать approve очень соблазнительно. Вопрос только в том, чем мы в таком случае жертвуем.
Девять лет назад, когда я еще работала с ИИ в рамках магистерской диссертации по нейро-нечетким моделям, такой проблемы ещё не существовало. Ведь в те времена работа с искусственным интеллектом требовала глубокого понимания и долгой работы: настройки слоёв, подбора функций активации, валидации на каждом этапе. Невозможно было пользоваться, не понимая. И нельзя было быстро увидеть результат.
Сегодня можно больше не вникать так глубоко: миллиона токенов Claude хватит на весь проект, и он сделает это за нас. И вместе с тем мы находимся в той временной точке, когда скорость стала конфликтовать с качеством.
Как это происходит? Сотрудники пишут промпт, а потом автоматически нажимают подтвердить, когда агент закончил. При этом результат работы агента не валидируется. ИИ что-то сделал, мы что-то подтвердили. Очень быстро и очень неэффективно.
Когда я обсудила это явление с коллегами из других компаний, мы вместе пришли к выводу, что это нередкое явление в работе с ИИ. Получается, вместо использования квалифицированного помощника в решении рабочих задач, морально мы перепоручаем их полностью. Но должно быть наоборот: промпт — это начало работы над задачей, а не её делегирование.
«Сотрудник», склонный к ошибкам. Почему AI так убедителен, когда ошибается?
Казалось бы, что плохого в делегировании? Пусть агент, работает, пока человек отдыхает. Всех, кто отдыхает, потом уволим. Это же круто!
Так бы я написала, если бы это была одна из тысяч статей, как сотрудников заменить агентами. К сожалению или к счастью, сам принцип работы LLM не позволяет нам оставаться просто прослойкой между заказчиком и ИИ-агентом, которая периодически нажимает кнопку «подтвердить», когда агент закончит с промтом.
Давайте посмотрим, как это выглядит в работе. Когда мы внедряли AI — code review, мы с командой столкнулись с интересным кейсом. ИИ проверил мердж реквест и порекомендовал разработчику поставить коммит в файле не содержащем DML-операций. Почему? Потому что файл имел в названии слово «dml», но в своей структуре не имел операций, изменяющих данные. Но этого оказалось достаточно, чтобы модель сочла, что вероятность необходимости коммита внутри файла 99%. Как такое возможно и почему модель так уверена?
Дело в том, что ИИ не хранит факты, как база данных. Он каждый раз заново реконструирует ответ через миллиарды весов нейронной сети. Его уверенность в ответе не всегда означает, что он верный. Она определяется тем, насколько статистически предсказуем следующий токен в контексте. Если вероятность очень большая, он выдаст этот ответ. И связь между верным ответом и предсказуемым может быть искажена.
Поэтому ИИ может ошибаться уверенно и убедительно. Это системная проблема в области искусственного интеллекта. Она называется галлюцинация.
Недавно, в апреле 2026го года доктор Адам Тауман Калай, исследователь OpenAI в области искусственного интеллекта писал в своей недавней работе в области галлюцинаций, что даже в современных моделях эта фундаментальная проблема все еще не решена: существующие методы тестирования непреднамеренно поощряют угадывание вместо честного признания неопределённости. И пока это так, нам важны сотрудники, способные с этим бороться.
Критическое мышление — новая роскошь в эпоху ИИ
Исследование Шоу показало: люди с высокой «потребностью в познании» значительно лучше сопротивляются когнитивной капитуляции. Они замечают подозрительные ответы ИИ и проверяют их. Эта способность: анализировать информацию объективно, задавать правильные вопросы, видеть логические противоречия и не принимать всё на веру — серебряная пуля в борьбе с когнитивной капитуляцией. Она называется «Критическое мышление». И сегодня это уже не просто soft skill, а необходимая компетенция для работы с ИИ.
Нам нужно поощрять этот тип мышления в командах, даже если это не так просто. Одна из интересных частей моей работы в том, что меня приглашают в обсуждение, когда проблема уже есть. И люди ожидают, что я сразу же расскажу решение их проблемы. И удивляются, когда я предлагаю остановиться и начать задавать вопросы. У нас достаточно фактов? Какие выводы мы сделали и какие решения приняли на их основе? А главное — почему мы так сделали? И реакция обычно предсказуема: «У нас на это нет времени».
Может показаться, что если я спрашиваю, то я недостаточно заинтересована в решении проблемы или, хуже того, саботирую процесс. Но на самом деле именно такие вопросы — защита не только от галлюцинаций ИИ, но и от плохих решений вообще.
В нашей компании только начали обучать бизнес премудростям ИИ. И гуманитарные специальности тоже капитулируют. Ведь они совсем не знают, как устроен ИИ.
Человек в цикле принятия решений
Как избежать когнитивной капитуляции? Подвергать критике и корректировать при необходимости результат работы AI. В работе с агентами этот подход называется Human-in-the-loop (HITL) или, условно, человек в цикле.
В нашем примере, AI code review это промежуточный результат задачи «оценить код». Окончательное решение принимает ревьюер, квалифицированный сотрудник, способный отличить корректную рекомендацию от уверенной галлюцинации ИИ-агента.
Этот подход повсеместно используется в работе с агентами. Агент пишет функцию — человек валидирует результат. Человек решает, какие файлы использовать для контекста, чтобы ИИ не галлюцинировал. Агент может писать тесты или документацию, но человек итеративно валидирует результат, решая, что из этого попадет в продакшн или отправится в работу. Человек — это тот, кто принимает решения, а агент выступает в роли исполнителя.
Всегда ли нужен человек в цикле принятия решений? Зависит от задачи и стоимости ошибки для вашей компании. В нашем примере, что можно переименовать файл и «ошибка» исчезнет. И с перспективы инженера изменения займут несколько минут. С моей перспективы руководителя, надо сначала посчитать. Возьмем 5 минут на исправления отсутствующей ошибки и предположим 2 задачи в неделю, если 20 процентов задач будут содержать фиктивные исправления, чтобы пройти AI-code review, при 30 разработчиках мы получили бы 52 часа в год, потраченных из-за галлюцинации модели. Для 100 разработчиков это 173 часа. Необходимость человека в цикле зависит от конкретной ситуации. Мы в принципе не согласны на результаты галлюцинаций в продакшне, поэтому наш путь такой.
И последнее, но не по важности. Человеку, принимающему критические решения, важно сохранять ясность мышления. Не давайте своему мозгу новую информацию в паузах между запросами. Распишите план текущей задачи. Начните с helicopter view — общего видения того, что вам предстоит сделать, это позволит вам не отклоняться от основной цели задачи. Затем разбейте задачу на измеримые шаги. Напишите все это на листе бумаги. Во время записи наш мозг способен обрабатывать информацию на фоне и искать неочевидные решения. Данная статья была написана на листе бумаги, прежде чем была оцифрована.
А уж если ваши токены в Claude на сегодня закончились — не спешите открывать ChatGPT. Напишите промпт самому себе. Возможно, ответ уже есть.
Пока готовился этот материал, компания Anthropic выпустила плагин security-guidance для Claude Code, призванный искать уязвимости в коде. Он в реальном времени отслеживает опасные паттерны и подсказывает исправление прямо в сессии. Окончательное решение, принять ли эту правку, компания оставила за человеком.
Мнение автора может не отражать позицию редакции.
Что ещё почитать про искусственный интеллект:
- Было 24 разработчика, осталось 5. Фаундер рассказывает, как ИИ поменял его бизнес;
- Из 300 сотрудников осталось 40. ИТ-предприниматель рассказывает, как LLM расставляют всё по своим местам;
- Не ждите чуда. Business Architect рассказывает, как выглядят продажи IT-продуктов в эпоху ИИ.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.