Мэрия Нью-Йорка запустила чат-бота для бизнеса. ИИ врал и давал рандомные ответы
Мэрия Нью-Йорка запустила на официальном портале MyCity чат-бота для местного бизнеса. Сервис давал рандомные ответы, которые противоречили местному законодательству.
Мэрия Нью-Йорка запустила на официальном портале MyCity чат-бота для местного бизнеса. Сервис давал рандомные ответы, которые противоречили местному законодательству.
Чат-бот на основе искусственного интеллекта использовал платформу Azure AI. Аналитики The Makeup в результате проверки выяснили, что бот дает неверную информацию по многим вопросам, затрагивающим жилищную политику и права работников.
Например, на вопрос о возможности отказа от наличных расчетов в магазине бот ответил утвердительно, хотя закон города запретил практику полностью безналичных расчетов еще в 2020 году.
Система неверно информировала пользователей о правилах аренды и законности удержания чаевых работодателями. При повторных запросах на один и тот же вопрос чат-бот мог давать разные ответы. Бот работал на основе ИИ, разработанного Microsoft, который применяется во многих приложениях, в том числе Reddit и AT&T.
Чат-боты уничтожат Google? Почему пока рано говорить о победе ИИ
Чат-боты уничтожат Google? Почему пока рано говорить о победе ИИ
США разработали политику применения ИИ для правительства
США разработали политику применения ИИ для правительства
Amazon сделала крупнейшую инвестицию в ИИ-стартап Anthropic
Amazon сделала крупнейшую инвестицию в ИИ-стартап Anthropic
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Что заложили то и ответило🤷♂️Это же не поисковик и это не рандомные ответы, а случайные, но относительно некоторого веса слов
Тут смотря как сделать. Нормальные люди такие решения не доверяют просто ИИ, а искользуют RAG (retrieval-augmented generation). Это когда ИИ дают инструкцию, что он должен ответить на вопрос, но за любой конкретной информацией он должен сходить а базу. И ответы должны основываться на найденных документах со ссылками на них. Так можно свести отсебятину к нулю - в худшем случае просто нужный документ не найдется.
Возможно, какие-то находчивые ребята впарили чиновникам обертку над чатботом без всяких RAG по видом революционного ИИ решения. Причем там даже не самая мощная модель, раз Макрософт разрабатывал. Хотя странно, учитывая, что в Azure можно и GPT-4 поднять. Тут, или неточность в статье, или экономия на спичках. В соседней статье менеджеры считают, что заменят 40% персонала ИИ - наверное, похожие буклеты революционных ИИ решений сейчас рассматривают.
Я удивлён, что они удивлены.
Именно в такого рода результатах работы и есть суть ChatGPT. От осинки не родятся апельсинки.
А если им надо было находить типовые ответы на типовые вопросы, то тут айти давно умеет справляться с максимальным возможным качеством и без всякого ИИ.
Сначала хотел написать, что ответы не рандомные, а взвешенные.
Но потом подумал... а вдруг там в законодательстве бардак? То разрешили, то запретили, то опять разрешили но не совсем. И решения на разных уровнях, так что без 100 грамм и суда не разберёшься.