Чат-боту Amazon меньше недели, а он уже «галлюцинирует» и сливает координаты дата-центров компании
На прошлой неделе облачное подразделение Amazon представило ИИ-ассистента для корпоративных задач под названием Q. Пока он доступен ограниченному кругу пользователей в режиме превью, но уже вызывает ряд вопросов.
Через три дня после релиза было замечено, что он умеет сливать конфиденциальную информацию, например локацию дата-центров AWS, сведения о непубличных дисконтных программах и ещё не вышедшем функционале. Об этом из внутренних переписок сотрудников узнали журналисты технорассылки Platformer.
Инциденту был присвоен достаточно высокий уровень серьёзности, а инженеры занимались решением проблемы по ночам и на выходных.
Кроме того, бот «сильно галлюцинирует», то есть выдаёт некорректную или ложную информацию за факты. Также он может давать вредные советы, например юридические рекомендации или устаревшую информацию о безопасности, которая ставит под угрозу пользовательские аккаунты.
Между тем Amazon в комментарии Business Insider сказала, что никаких проблем с ботом по части безопасности не заметила, а утечки конфиденциальных данных опровергает.
Читать на dev.by