Что будет, если AI ошибётся в вашей задаче, и сколько времени уйдёт, чтобы эту ошибку найти? Если начальство попросило «внедрить AI везде», начинать надо именно с этого вопроса.
Что будет, если AI ошибётся в вашей задаче, и сколько времени уйдёт, чтобы эту ошибку найти? Если начальство попросило «внедрить AI везде», начинать надо именно с этого вопроса.
В статье есть ссылки партнеров. Это значит, что если вы что-то покупаете с нашей помощью — вы также поддерживаете dev.by. (Вот другой способ).
При этом редакция и авторы независимы в выборе темы, концепции материала, фокуса описания, подхода к услугам или товарам. Прежде чем что-то советовать, мы много читаем и смотрим по теме, говорим с экспертами.
Редакция может выражать свое мнение и пробовать всё на себе.
Если рекомендательный материал обновляется, мы указываем, что и когда поменялось, в самом начале.
Когда успех меряют тем, во сколько задач удалось встроить AI, он оказывается повсюду. В том числе в договорах, расчётах для клиентов, разборе инцидентов и финансовых решениях, где одна ошибка легко стоит дороже всех сэкономленных минут.
Лучше всего нейросети работают там, где результат легко проверить, ошибку легко исправить, а сама задача повторяется изо дня в день. Чем дороже ошибка и чем труднее её заметить, тем меньше смысла отдавать работу AI.
Спешку можно понять: AI внедряют очень быстро. По опросу международной консалтинговой компании McKinsey, в 2023 году AI хотя бы в одном направлении работы применяли 55% опрошенных компаний, а в 2024-м уже 78%.
Только пользы от этого пока меньше, чем кажется. Другая международная консалтинговая компания, Boston Consulting Group (BCG), опросила 1000 руководителей из 59 стран. 74% компаний так и не смогли показать ощутимую отдачу от AI.
Похоже, AI внедряют быстрее, чем понимают, где он нужен. И успех начинают мерить тем, что проще всего посчитать: сколько куплено лицензий, сколько запросов ушло в модель, сколько процессов «покрыто AI». Для отчёта удобно. Но по этим цифрам не видно, стала ли работа быстрее, дешевле или надёжнее.
Коварнее всего то, что с AI легко поверить, будто работа пошла быстрее.
Возьмём разработчика, которому выдали AI-ассистента. Он стал закрывать больше задач, по метрикам всё отлично. Но весь этот новый код кто-то должен прочитать. И если AI оставил в нём неочевидную ошибку, проверяющий может искать её дольше, чем ушло бы на то, чтобы написать этот кусок самому.
Ощущение ускорения тоже подводит. Некоммерческая исследовательская организация METR провела рандомизированное испытание: 16 опытных разработчиков крупных проектов с открытым кодом решали 246 реальных задач из своих репозиториев. Можно ли пользоваться AI на конкретной задаче, решал жребий. В знакомом коде и с инструментами начала 2025 года разработчики с AI работали на 19% медленнее, хотя заранее ждали, что ускорятся на 24%. И даже после эксперимента были уверены, что AI их ускорил.
AI пишет текст, код и анализ за секунды, а человек читает и проверяет с той же скоростью, что и раньше. Поэтому узким местом часто становится внимание того, кто проверяет. И чем дороже час этого человека, тем внимательнее стоит считать.
Правило «AI везде» можно заменить тремя вопросами.
Если AI придумал пять заголовков и один вышел неудачным, вы просто возьмёте другой. Если он неправильно разложил входящие письма, это тоже быстро исправить.
Другое дело, если тот же AI подготовил юридическое заключение, пообещал клиенту лишнее или повлиял на крупный платёж. Такую ошибку уже не спишешь на неудачную генерацию.
Это отдельный вопрос: ошибка бывает серьёзной, но исправимой. AI написал код, а тесты его не пропустили, значит, код перепишут. Заказчику не понравился дизайн от AI, его переделают.
А вот ушедший платёж, опубликованный документ, у которого есть юридическая сила, или дом, купленный слишком дорого, вернуть куда сложнее.
Как это бывает, видно по Zillow Offers. Через эту программу американская компания Zillow быстро выкупала дома, чтобы потом перепродать.
Какую цену предложить за дом, подсказывала алгоритмическая модель оценки. Генеративного AI там не было, но урок тот же: на резко менявшемся рынке модель не справилась с прогнозом цен. В ноябре 2021 года Zillow объявила, что закрывает программу, а по итогам года сообщила, что потеряла на ней $881 млн.
Этот вопрос, пожалуй, задают реже всего. AI соберёт финансовую модель за пару секунд. Но если финансисту потом придётся вручную проверить каждую формулу и каждое допущение, выигрыш уже под вопросом. С кодом, аналитикой и юридическими текстами то же самое: чем незаметнее ошибка, тем дороже помощь AI.
В исследовании, которое учёные Гарвардской бизнес-школы и других университетов провели вместе с BCG, участвовали 758 консультантов BCG. Одну задачу исследователи специально подобрали так, чтобы AI с ней не справлялся. На ней консультанты с AI находили правильное решение на 19 процентных пунктов реже, чем те, кто работал без него. Авторы объясняют это так: модель уверенно выдавала правдоподобный, но ошибочный ответ, и люди ему верили. AI умеет ошибаться убедительно.
Если прогнать задачи через эти вопросы, они разложатся на три группы.
Сюда попадает повторяющаяся работа, где понятно, как выглядит правильный результат, ошибка стоит дёшево и её легко проверить. Разобрать входящие письма, вытащить данные из документов, раскидать заявки по нужным людям, сделать простой технический перевод. Такую работу AI может делать почти сам, если рядом есть автоматические проверки и понятно, что делать со случаями, которые не влезли в правила.
Но и здесь стоит оставить часть работы людям. В материале бизнес-школы Массачусетского технологического института (MIT Sloan) описан риск, который там называют «missing junior loop»: когда AI забирает работу начального уровня, новичкам постепенно становится негде набираться опыта. Со временем в компании может просто не оказаться людей, которые сумеют проверять работу AI.
Это задачи, где AI сильно ускоряет работу, но последнее слово за человеком: черновик маркетингового текста, мозговой штурм, краткий пересказ длинного отчёта, поиск информации, код, который потом проверят автотесты.
Здесь AI полезнее считать очень быстрым напарником: вы объясняете задачу, проверяете факты, выбираете лучший вариант и отвечаете за итог.
Сюда относится всё, где ошибка стоит дорого, исправить её трудно и заметить непросто: юридические заключения, крупные платежи, серьёзные решения по безопасности, окончательный медицинский диагноз. Решать за человека AI здесь не должен. А в регулируемых сферах (право, финансы, безопасность, медицина) можно ли вообще применять AI в конкретном случае, должны решать профильные специалисты с учётом требований своей области.
Хорошо это видно по истории канадской авиакомпании Air Canada. Чат-бот на её сайте сказал пассажиру, что льготный тариф для тех, кто летит из-за смерти близкого, можно оформить задним числом. На самом деле так было нельзя. В 2024 году трибунал по гражданским спорам Британской Колумбии решил, что за слова бота отвечает авиакомпания, и не принял её довод, будто бот сам несёт ответственность за свои ответы. Отвечать клиентам AI может, но за его ответы всё равно отвечает компания.
При этом совсем убирать AI из этой зоны не нужно. Он может искать странности в данных, собирать информацию, сортировать документы, готовить вопросы для специалиста.
Спорить с руководством о том, нужен ли AI, почти бесполезно. Лучше вместе посчитать, сколько на самом деле стоит конкретный процесс.
Скажем, AI готовит документ за пять минут вместо часа. Отлично. Но если эксперт потом 70 минут его проверяет, выигрыша нет.
Или, допустим, AI обрабатывает заявки на 40% быстрее, но ошибается так часто, что поддержку заваливают жалобами. Тогда считать надо не скорость, с которой AI выдаёт ответы, а во что обходится весь процесс.
Поэтому руководству стоит показывать другие цифры: сколько времени занимает задача, сколько стоит проверка, как часто бывают ошибки, сколько стоит их исправить и во что выливается один серьёзный сбой. Так рпретензия «почему ваша команда сопротивляется AI?» превращается в предметный разговор «где AI окупается?».
Три вопроса и три зоны решений работают и без дополнительной подготовки. Но если хочется разобраться глубже, выбирать стоит по задаче.
Co-Intelligence: Living and Working with AI — книга Итана Моллика, профессора Уортонской школы бизнеса и одного из авторов исследования с консультантами BCG, о котором шла речь выше. Моллик показывает, как работать с AI в роли коллеги, преподавателя и наставника, и подробно разбирает ту же мысль: заранее не угадаешь, в чём AI окажется силён, а в чём слаб. Считать окупаемость книга не учит, она о повседневной работе с генеративным AI.
Generative AI for Everyone — курс DeepLearning.AI на Coursera, его ведёт Эндрю Ын, один из основателей Coursera. В курсе есть метод, как разобрать рабочий процесс на отдельные задачи и найти, какие из них AI может сделать сам, а в каких только поможет человеку. Может пригодиться, если вы хотите разложить задачи команды по зонам из этой статьи. Курс начального уровня.
Power and Prediction: The Disruptive Economics of Artificial Intelligence — книга экономистов Университета Торонто Аджея Агравала, Джошуа Ганса и Ави Голдфарба. Они рассматривают AI как технологию прогноза: любое решение складывается из прогноза и суждения, и AI удешевляет только первое. Это хорошо объясняет, почему часть задач стоит оставить себе. Книга написана до появления ChatGPT, поэтому о генеративном AI в ней почти ничего нет.
AI Strategy and Governance — курс Уортонской школы бизнеса Пенсильванского университета на Coursera. В нём разбирают экономику AI, то, как собрать портфель AI-проектов, риски и правила управления. Может подойти руководителю, которому нужно говорить с начальством об AI на языке пользы и рисков. Часть курса посвящена предвзятости алгоритмов и объяснимости моделей, это шире темы статьи.
Найти границу окупаемости в своей команде можно без нового AI-продукта и даже без бюджета.
Соберитесь командой и выпишите 10–15 задач, которые у вас регулярно повторяются. Про каждую ответьте на три вопроса: во что обойдётся ошибка, можно ли её откатить и сколько стоит проверка.
Потом разложите задачи по трём зонам. Очень может быть, что часть того, что сейчас срочно автоматизируют ради красивого отчёта, автоматизировать вообще не стоит. Зато, скорее всего, найдутся скучные рутинные операции, где AI может дать куда более понятную экономию.
Если вы умеете говорить об AI языком цены ошибки, обратимости и стоимости проверки, AI перестаёт быть галочкой в отчёте и начинает экономить время там, где оно действительно приносит деньги.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.