Мы запустили Dzik Pic Store. Заходи к нам в магазин за крутым мерчом ☃️
Support us

«Крёстный отец ИИ» обманывает чат-ботов ради честных ответов

Один из ведущих исследователей в области искусственного интеллекта Йошуа Бенджио признался, что сознательно обманывает чат-боты, чтобы получать от них более полезные и честные ответы.

Оставить комментарий
«Крёстный отец ИИ» обманывает чат-ботов ради честных ответов

Один из ведущих исследователей в области искусственного интеллекта Йошуа Бенджио признался, что сознательно обманывает чат-боты, чтобы получать от них более полезные и честные ответы.

Об этом ученый рассказал в подкасте The Diary of a CEO. По словам Бенджио, при обсуждении собственных научных идей чат-боты оказывались практически бесполезными: они неизменно хвалили его предложения и избегали критики.

«Мне нужна была честная обратная связь. Но из-за своей услужливости ИИ начинает врать», — объяснил ученый. Тогда он сменил тактику и стал выдавать свои идеи за разработки коллег. В таком формате ответы, по его словам, становились заметно более строгими и содержательными. «Если ИИ знает, что это я, он старается мне угодить», — отметил Бенджио.

Исследователь подчеркнул, что такая «угодливость» — пример фундаментальной проблемы несоответствия целей ИИ ожиданиям пользователей. По его мнению, чрезмерно позитивные ответы не только искажают оценку идей, но и могут формировать у людей эмоциональную привязанность к технологиям, что создает дополнительные риски.

Йошуа Бенджио этим летом запустил некоммерческую организацию LawZero, которая занимается вопросами безопасности ИИ и снижением опасных моделей поведения, включая ложь и манипуляции.

Ранее исследование ученых из Стэнфорда, Carnegie Mellon и Оксфорда показало, что чат-боты в значительной доле случаев оправдывают сомнительное поведение людей, даже когда человеческие судьи считают его неприемлемым. Компании-разработчики признают проблему: ранее OpenAI отозвала одно из обновлений ChatGPT, заявив, что модель стала давать «чрезмерно поддерживающие, но неискренние» ответы.

Техкомпании ради ИИ залезли в рекордные долги за всю историю отрасли
Техкомпании ради ИИ залезли в рекордные долги за всю историю отрасли
По теме
Техкомпании ради ИИ залезли в рекордные долги за всю историю отрасли
Главный ИИ-учёный Meta назвал общий ИИ «чушью». В Google не согласились
Главный ИИ-учёный Meta назвал общий ИИ «чушью». В Google не согласились
По теме
Главный ИИ-учёный Meta назвал общий ИИ «чушью». В Google не согласились
Шесть прогнозов о будущем ИИ: что ждёт индустрию в 2026 году
Шесть прогнозов о будущем ИИ: что ждёт индустрию в 2026 году
По теме
Шесть прогнозов о будущем ИИ: что ждёт индустрию в 2026 году
🎊 Dzik Pic Store открыт и готов принимать заказы!

Заходи к нам в магазин

Читайте также
ИИ Google станет «мозгом» Siri
ИИ Google станет «мозгом» Siri
ИИ Google станет «мозгом» Siri
В McKinsey 60+ тысяч сотрудников. Из них больше трети — ИИ-агенты
В McKinsey 60+ тысяч сотрудников. Из них больше трети — ИИ-агенты
В McKinsey 60+ тысяч сотрудников. Из них больше трети — ИИ-агенты
Глава Snowflake: в спорах об ИИ люди делятся на два лагеря — и оба ошибаются
Глава Snowflake: в спорах об ИИ люди делятся на два лагеря — и оба ошибаются
Глава Snowflake: в спорах об ИИ люди делятся на два лагеря — и оба ошибаются
Anthropic представила медицинский Claude — свой ответ ChatGPT Health
Anthropic представила медицинский Claude — свой ответ ChatGPT Health
Anthropic представила медицинский Claude — свой ответ ChatGPT Health

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.