Ещё вчера мы смеялись над школьниками, которые переписывают в тетради ответы от ChatGPT вместе с фразой «Хочешь, я помогу тебе решить другие подобные задачи?». А сегодня это перестает быть шуткой из рилс и становится проблемой ИТ-команд.
Расскажу, почему мы глупеем из-за ИИ и как он влияет на качество работы.
Кто пишет: Юлия Филиппова, Technical Product Manager, за 9+ лет в ИТ прошла путь от разработчика до руководителя.
Больше нет самостоятельности
The Economist недавно опубликовал статью о работе Стивена Шоу и Гидеона Нейва из Уортонской школы бизнеса. Они ввели термин Cognitive Surrender — Когнитивная капитуляция.
В ходе эксперимента они доказали, что люди не просто делегируют задачи AI — они вообще перестают подвергать сомнению его ответы.
Участников эксперимента разделили на группы. Контрольная группа отвечала на сложные вопросы самостоятельно, а другая — с помощью искусственного интеллекта. Пока модель давала верные ответы всё шло предсказуемо хорошо: группа с ИИ превосходила группу отвечающих самостоятельно.
Самое интересное началось, когда исследователи добавили ошибки в ответы модели. Контрольная группа, отвечавшая самостоятельно, сразу же превзошла группу, которой подсказывал искусственный интеллект с ошибками. Проще говоря, используя ИИ в качестве помощника, люди просто переставали думать самостоятельно.
Что происходит с командами?
Если вы сейчас думаете, что у ИТ команд с участниками эксперимента ничего общего, ответьте быстро: сколько раз на этой неделе вы одобрили работу ИИ не глядя?
Не могу вас осуждать: нажать approve очень соблазнительно. Вопрос только в том, чем мы в таком случае жертвуем.
Девять лет назад, когда я еще работала с ИИ в рамках магистерской диссертации по нейро-нечетким моделям, такой проблемы ещё не существовало. Ведь в те времена работа с искусственным интеллектом требовала глубокого понимания и долгой работы: настройки слоёв, подбора функций активации, валидации на каждом этапе. Невозможно было пользоваться, не понимая. И нельзя было быстро увидеть результат.
Сегодня можно больше не вникать так глубоко: миллиона токенов Claude хватит на весь проект, и он сделает это за нас. И вместе с тем мы находимся в той временной точке, когда скорость стала конфликтовать с качеством.
Как это происходит? Сотрудники пишут промпт, а потом автоматически нажимают подтвердить, когда агент закончил. При этом результат работы агента не валидируется. ИИ что-то сделал, мы что-то подтвердили. Очень быстро и очень неэффективно.
Когда я обсудила это явление с коллегами из других компаний, мы вместе пришли к выводу, что это нередкое явление в работе с ИИ. Получается, вместо использования квалифицированного помощника в решении рабочих задач, морально мы перепоручаем их полностью. Но должно быть наоборот: промпт — это начало работы над задачей, а не её делегирование.
«Сотрудник», склонный к ошибкам. Почему AI так убедителен, когда ошибается?
Казалось бы, что плохого в делегировании? Пусть агент, работает, пока человек отдыхает. Всех, кто отдыхает, потом уволим. Это же круто!
Так бы я написала, если бы это была одна из тысяч статей, как сотрудников заменить агентами. К сожалению или к счастью, сам принцип работы LLM не позволяет нам оставаться просто прослойкой между заказчиком и ИИ-агентом, которая периодически нажимает кнопку «подтвердить», когда агент закончит с промтом.
Давайте посмотрим, как это выглядит в работе. Когда мы внедряли AI — code review, мы с командой столкнулись с интересным кейсом. ИИ проверил мердж реквест и порекомендовал разработчику поставить коммит в файле не содержащем DML-операций. Почему? Потому что файл имел в названии слово «dml», но в своей структуре не имел операций, изменяющих данные. Но этого оказалось достаточно, чтобы модель сочла, что вероятность необходимости коммита внутри файла 99%. Как такое возможно и почему модель так уверена?
Дело в том, что ИИ не хранит факты, как база данных. Он каждый раз заново реконструирует ответ через миллиарды весов нейронной сети. Его уверенность в ответе не всегда означает, что он верный. Она определяется тем, насколько статистически предсказуем следующий токен в контексте. Если вероятность очень большая, он выдаст этот ответ. И связь между верным ответом и предсказуемым может быть искажена.
Поэтому ИИ может ошибаться уверенно и убедительно. Это системная проблема в области искусственного интеллекта. Она называется галлюцинация.
Недавно, в апреле 2026го года доктор Адам Тауман Калай, исследователь OpenAI в области искусственного интеллекта писал в своей недавней работе в области галлюцинаций, что даже в современных моделях эта фундаментальная проблема все еще не решена: существующие методы тестирования непреднамеренно поощряют угадывание вместо честного признания неопределённости. И пока это так, нам важны сотрудники, способные с этим бороться.
Критическое мышление — новая роскошь в эпоху ИИ
Исследование Шоу показало: люди с высокой «потребностью в познании» значительно лучше сопротивляются когнитивной капитуляции. Они замечают подозрительные ответы ИИ и проверяют их. Эта способность: анализировать информацию объективно, задавать правильные вопросы, видеть логические противоречия и не принимать всё на веру — серебряная пуля в борьбе с когнитивной капитуляцией. Она называется «Критическое мышление». И сегодня это уже не просто soft skill, а необходимая компетенция для работы с ИИ.
Нам нужно поощрять этот тип мышления в командах, даже если это не так просто. Одна из интересных частей моей работы в том, что меня приглашают в обсуждение, когда проблема уже есть. И люди ожидают, что я сразу же расскажу решение их проблемы. И удивляются, когда я предлагаю остановиться и начать задавать вопросы. У нас достаточно фактов? Какие выводы мы сделали и какие решения приняли на их основе? А главное — почему мы так сделали? И реакция обычно предсказуема: «У нас на это нет времени».
Может показаться, что если я спрашиваю, то я недостаточно заинтересована в решении проблемы или, хуже того, саботирую процесс. Но на самом деле именно такие вопросы — защита не только от галлюцинаций ИИ, но и от плохих решений вообще.
В нашей компании только начали обучать бизнес премудростям ИИ. И гуманитарные специальности тоже капитулируют. Ведь они совсем не знают, как устроен ИИ.
Человек в цикле принятия решений
Как избежать когнитивной капитуляции? Подвергать критике и корректировать при необходимости результат работы AI. В работе с агентами этот подход называется Human-in-the-loop (HITL) или, условно, человек в цикле.
В нашем примере, AI code review это промежуточный результат задачи «оценить код». Окончательное решение принимает ревьюер, квалифицированный сотрудник, способный отличить корректную рекомендацию от уверенной галлюцинации ИИ-агента.
Этот подход повсеместно используется в работе с агентами. Агент пишет функцию — человек валидирует результат. Человек решает, какие файлы использовать для контекста, чтобы ИИ не галлюцинировал. Агент может писать тесты или документацию, но человек итеративно валидирует результат, решая, что из этого попадет в продакшн или отправится в работу. Человек — это тот, кто принимает решения, а агент выступает в роли исполнителя.
Всегда ли нужен человек в цикле принятия решений? Зависит от задачи и стоимости ошибки для вашей компании. В нашем примере, что можно переименовать файл и «ошибка» исчезнет. И с перспективы инженера изменения займут несколько минут. С моей перспективы руководителя, надо сначала посчитать. Возьмем 5 минут на исправления отсутствующей ошибки и предположим 2 задачи в неделю, если 20 процентов задач будут содержать фиктивные исправления, чтобы пройти AI-code review, при 30 разработчиках мы получили бы 52 часа в год, потраченных из-за галлюцинации модели. Для 100 разработчиков это 173 часа. Необходимость человека в цикле зависит от конкретной ситуации. Мы в принципе не согласны на результаты галлюцинаций в продакшне, поэтому наш путь такой.
И последнее, но не по важности. Человеку, принимающему критические решения, важно сохранять ясность мышления. Не давайте своему мозгу новую информацию в паузах между запросами. Распишите план текущей задачи. Начните с helicopter view — общего видения того, что вам предстоит сделать, это позволит вам не отклоняться от основной цели задачи. Затем разбейте задачу на измеримые шаги. Напишите все это на листе бумаги. Во время записи наш мозг способен обрабатывать информацию на фоне и искать неочевидные решения. Данная статья была написана на листе бумаги, прежде чем была оцифрована.
А уж если ваши токены в Claude на сегодня закончились — не спешите открывать ChatGPT. Напишите промпт самому себе. Возможно, ответ уже есть.
Пока готовился этот материал, компания Anthropic выпустила плагин security-guidance для Claude Code, призванный искать уязвимости в коде. Он в реальном времени отслеживает опасные паттерны и подсказывает исправление прямо в сессии. Окончательное решение, принять ли эту правку, компания оставила за человеком.
Мнение автора может не отражать позицию редакции.
Что ещё почитать про искусственный интеллект:
- Было 24 разработчика, осталось 5. Фаундер рассказывает, как ИИ поменял его бизнес;
- Из 300 сотрудников осталось 40. ИТ-предприниматель рассказывает, как LLM расставляют всё по своим местам;
- Не ждите чуда. Business Architect рассказывает, как выглядят продажи IT-продуктов в эпоху ИИ.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Спасибо автору за статью, было очень интересно и полезно, что невольно задумываешься над тем, как сильно отразится использование ИИ не только в работе, но и в повседневной жизни. Ведь мы делегируем слишком много задач AI агентам и даже не замечаем, как сильно мы становимся зависимыми от них…
Спасибо, что прочитали. Действительно, ИИ уже неотъемлемая часть нашей жизни. Делегирование задач ИИ хорошая вещь, когда автор заранее продумывает результат, который хочет получить, и может его проверить. В руках критически мыслящего человека модель мощный ускоритель.
Я уверен, что при работе с ИИ важно использовать критическое мышление, согласен с автором, что это просто необходимость.
Devby, вот это наконец интересная профильная статья! Очень интересно получилось
Сейчас наблюдаю другую проблему с AI - когнитивная перегрузка. Механической работы стало меньше, рутина ушла, поэтому CPU в голове пашет без перерывов на нагрузке близкой к максимальной.
Умение грамотно сформулировать промт - это как дознавателю сформулировать грамотный вопрос на допросе. Требуется серьёзная подготовка.
Оценить аутпут ИИ - это как следователю проанализировать достоверность ответа и грамотно его применить.
Работы стало меньше в обьеме стучания по клаве, но она стала значительно интенсивнее. Нередко токены в голове "заканчиваются" быстрее, чем в AI. :)
Забавно, но умению критически обрабатывать информацию начали обучать в ряде стран еще в школе, еще до нынешней промышленной революции. А сейчас ограничивают... использование ИИ, как и соцсетей. Вангую бодрый скачок в развитии этих стран в ближайшее время.
Еще вспомнились чемпионаты по поиску от Яндекса и Гугла. Тот же смежный скилл. Лучшие получали офферы как раз в этих компаниях. Сейчас, вероятно, будет очередной виток поиска талантов. Лучшие промтисты (включаем сюда аналитику) будут в топе и чрезвычайно востребованы.
В общем, для борьбы с когнитивной капитуляцией я бы полагался на любознательных, критически мыслящих людей, имеющих задавать правильные вопросы на уровне героини Джуди Фостер из последнего True Detective, анализирующих аутпут на уровне Тьюринга. Конечно, не помешают знания Вассермана, глубина и цепкость соображалки Каспарова, широта мышления Тьюринга и кругозор да Винчи. :)
Если серьёзно, то это под силу любому здравомыслящему и образованному (имеб ввиду фундаментальное образование) человеку. Забавно, что как раз с ИИ становится очевидно, как их мало в этом мире...
Как мне нравится метафора "токены в голове заканчиваются", я, пожалуй, заберу ее себе. ИИ может оказывать давление, но его использование не плохо само по себе, ведь человек все же решает, в конечном итоге, капитулировать или нет. И еще: если токены в голове заканчиваются, самое время выпить чаю.
ИИ убедителен в своих ошибках по той причине, что это не его ошибки. ИИ все делает правильно: корректно расставляет и выбирает веса, коэффициенты.
Мозг человека создан эволюцией для решения задач в дикой природе. Как таковой, он обладает склонностью совершать ошибки (cognitive biases), которые неизбежно находят путь в корпус текстов для обучения ИИ. То есть люди используют свои мозги в искусственных контекстах (например, в программировании) - в тех сферах, для которых биологически предопределенный автоматизм решений и выводов неадекватен или ошибочен.
В итоге несовершенные для таких искусственных фреймов люди пишут несовершенные тексты. На них строятся ИИ-модели, генерирующие новый контент, который кажется "нормальным людям" вполне аргументированным или правильным. Мы наблюдаем своеобразное масштабирование убедительных человеческих заблуждений. Причем, математический аппарат безупречен, процессоры работают без сбоев, переставляют туда-сюда нолики и единички. А получается то, что получается.
То есть, для того, чтобы ИИ был интеллектом, нужно было бы создать программу-фильтр, очищающую корпус текстов для тренировки ИИ от ошибок, которые люди склонны совершать по своей природе. Поэтому, теоретически, ИИ должен быть хорош в математике, генерировать на тему математики меньше глупостей, чем по повседневным вопросам, касающимся большинства людей.
Пользователь отредактировал комментарий 01 июня 2026, 16:33
По поводу собственно программного кода и его генерации можно добавить, что программирование это уже не только и не столько о математической оптимизации, это инженерия, решающая проблемы реального мира, реальных людей, в коммерческих целях и в условиях ограничений. Один и тот же код может быть как приемлемым и неприемлемым в зависимости от контекста. Контекст определяется разного рода ограничениями, например, коммерческими.
К примеру, современные мессенджеры, которые потребляют гигабайты памяти и проценты процессорного времени просто для обмена небольшими(меньше килобайта), текстовыми сообщениями. С точки зрения computer science это безумие, но за этим есть бизнес-логика. Приложение - клиентское, работает на машине клиента, поэтому и за процессорное время и за гигабайты памяти платит потребитель, а не компания, которая платит программисту за создание программы-чата. Если бы это был бэкенд-программист, создающий программу для работы на серверах компании-работодателя, да еще и с десятками тысяч клиентов, то внимания к потреблению времени и памяти было бы гораздо больше, и тот же самый код оказался бы совершенно неприемлем, ведь в этом случае за процессоры и память платит компания. И такого рода контекстные отличия не учитываются LLM, так как они не доступны по коммерческим соображениям или по причинам безопасности или еще по каким-то таким неочевидным соображениям.
Спасибо за ваше рассуждение, потому что, признаюсь, именно из-за распространенности этого убеждения, отчасти, родилась эта статья. Во-первых, вы правы: частота фактов снижает галлюцинации. Именно поэтому модели реже ошибаются в таких фактах, как столицы стран или даты рождения известных учёных. Однако, чем, на мой взгляд, интересно исследование Адама Калая, оно как раз доказывает, что чистота данных не гарантирует отсутствие галлюцинаций. Это лишь одна из фундаментальных причин, но не единственная. Среди других стимулы оценивания, о которых я упоминаю. Авторы рассматривают и отвергают напрашивающееся решение «почистить корпус»: даже на безошибочных данных само предсказание создает давление к галлюцинациям. Также они доказывают, что стимулы оценивания делают галлюцинации устойчивыми. При закрытом оценивании угадывание оказывается доминирующей стратегией и продолжает приводить к галлюцинациям. В качестве выхода авторы предлагают различать контекст: когда угадывать уместно, а когда нет и показывают, что это снижает галлюцинации.
да, получается как-то много разных проблем с LLM: и корпус текстов должен быть качественным, и угадывание может быть неуместным, и контексты у пользователей мало того, что разные, так еще и меняются быстрее и чаще, чем модели обучаются. И, что хуже всего, за ошибки ИИ пользователям приходится платить из своего кармана. Нужен риск-менеджмент.
Можно предположить такое решение: фонд взаимопощи жертвам искусственного интеллекта, что-то вроде страховой компании предлагающей полисы страхования пользователей ИИ от галлюцинаций. Компании, предлагающие услуги ИИ можно обязать дополнительно отчислять в него средства.
Сразу скажу, я не специалист в области ИИ и взаимодействую с нейросетями в личных и рабочих вопросах как пользователь. Поэтому мне реально интересно, как это происходит у коллег на работе. Спасибо за статью.
Вообще, все рабочие процессы в целом работают по одному принципу - это некий конвейер последовательности операций, где у каждого сотрудника свой участок и своя доля ответственности, и где есть какие-то процедуры контроля качества на каждом шаге.
Как и в качестве кого (или чего) встроен ИИ в этот механизм в конкретной компании?
Например, калькулятор тоже делает "умственную работу". Мы привыкли ему доверять и не перепроверять. Хотя помню, в детстве, первый раз взяв в руки, мы удивлялись и перепроверяли его вычислениями на бумаге. То же самое было с кассирами, которые перепроверяли результаты кассовых аппаратов на деревянных счетах. Сейчас калькулятор - это просто подручное средство с понятной функцией, которое, мы уверены, не ошибается.
А вот нейросети как раз могут ошибаться в сложных вычислениях, а значит, не могут быть надежным средством как минимум для вычислений.
То есть, ИИ - это не совсем "средство", да и нейросеть постоянно пишет, что может ошибаться, и как бы снимает с себя и со своей компании ответственность.
Если агент - типа "сотрудник, склонный к ошибкам", тогда можно привести другую аналогию с "когнитивной капитуляцией". Наверное, у каждого в начале карьеры были коллеги, которым мы безоговорочно доверяли, да и просто не хватало знаний их проверить. Но если случалась ошибка, отвечали за нее сами, а если не могли исправить, опять обращались к коллегам.
Здесь же, "если результат работы агента не валидируется", что это: доверие к сгенерированному коду или непонимание его?
В любом случае, в общем процессе образуется "белое пятно" или "черная дыра", которые никем не контролируются. Что будет в случае ошибки: новый промпт, который все перепишет, и тогда новая "черная дыра", или вдумчивое исправление и на одну дыру меньше?
Особенно интересует взаимодействие промптов от разных сотрудников и разных агентов на разных участках в одном технологическом процессе, когда функционалы задевают друг друга. А также, как это все потом поддерживается? Разбираться в чужом коде - это часто медленнее, чем написать самому.
Все эти моменты как-то описаны в проектной документации, или общие подходы еще не выработаны?
Пользователь отредактировал комментарий 10 июня 2026, 22:31