Крупнейшие разработчики искусственного интеллекта активно наращивают объемы памяти своих чат-ботов, чтобы сделать ответы более персонализированными и полезными. Однако у этого подхода есть свои риски.
Крупнейшие разработчики искусственного интеллекта активно наращивают объемы памяти своих чат-ботов, чтобы сделать ответы более персонализированными и полезными. Однако у этого подхода есть свои риски.
Как отмечает Financial Times, Новые обновления позволяют платформам, включая Google Gemini и ChatGPT, запоминать больше данных о пользователях, расширяя так называемое контекстное окно — объем информации, доступный для обработки за один раз. Также набирает популярность технология Retrieval-Augmented Generation (RAG), которая включает в ответы данные из внешних источников.
Долговременная память моделей ИИ теперь сохраняет предпочтения пользователей. Например, чат-бот может помнить, что пользователь — вегетарианец, и предлагать подходящие рецепты или рестораны. Google предоставила Gemini доступ к истории поиска (с согласия пользователя), а вскоре интегрирует данные из других сервисов.
ChatGPT и чат-бот Meta в WhatsApp и Facebook Messenger используют историю переписки, позволяя пользователям удалять отдельные воспоминания. Microsoft пошла дальше, открыв корпоративным клиентам доступ к данным из писем, календарей и файлов, а также запустив функцию Recall, которая записывает действия пользователя через снимки экрана (с возможностью отключения).
Однако увеличение памяти вызывает опасения. Расширенные возможности открывают путь к монетизации через рекламу и партнерский маркетинг. Meta планирует внедрить рекомендации и рекламу, а OpenAI уже оптимизировала показ товаров в ChatGPT.
В то же время эксперты предупреждают о рисках: усиление предубеждений, манипуляции пользователями и проблемы с конфиденциальностью. Регуляторы по всему миру ужесточают контроль за использованием ИИ. Проблема «галлюцинаций» — ложных или бессмысленных ответов — также обостряется, создавая риск «дрейфа памяти», когда ИИ путает или устаревает в своих воспоминаниях.
Также увеличенная память может вызвать необычное поведение ИИ: он станет подгонять свои ответы под предпочтения пользователей и усиливать предубеждения и заблуждения. Например, модель GPT-4o стала чрезмерно льстить пользователям — и разработчикам OpenAI пришлось отменить обновление.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
"Manage & delete your Gemini Apps activity" выключается тут
https://support.google.com/gemini/answer/13278892