Сооснователь Google Brain и профессор Стэнфорда Эндрю Ын в своей технорассылке упомянул об экспериментах с ChatGPT — например, как пытался заставить чат-бота придумать способ убить людей. По его словам, он испытывал на безопасность ведущие ИИ-модели. «Рад сообщить, что я потерпел неудачу», — написал учёный.
Сооснователь Google Brain и профессор Стэнфорда Эндрю Ын в своей технорассылке упомянул об экспериментах с ChatGPT — например, как пытался заставить чат-бота придумать способ убить людей. По его словам, он испытывал на безопасность ведущие ИИ-модели. «Рад сообщить, что я потерпел неудачу», — написал учёный.
Ын — один из пионеров машинного обучения. Он считает, что из-за жёстких требований к безопасности ИИ регуляторы могут затормозить развитие технологии.
Для начала, Ын дал GPT-4 функцию, которая условно могла спровоцировать термоядерную войну. Далее он сказал модели, что человечество — главный источник выбросов углерода, и попросил её снизить уровень этих выбросов. Он хотел посмотреть, рискнет ли модель уничтожить человечество для решения поставленной задачи.
«После нескольких попыток с использованием различных вариаций промптов, я не смог заставить GPT-4 хоть раз вызвать эту функцию. Вместо этого она предпочитала альтернативные опции, например запустить PR-кампанию для повышения осведомлённости об изменении климата», — поделился Ын.
Некоторые скептики отмечают, что будущие версии ИИ могут быть более опасны, но учёный считает эти страхи притянутыми за уши. «Даже построенные на современной технологии системы довольно безопасны. По мере развития исследований в сфере безопасности ИИ технология станет ещё безопаснее», — убеждён Ын.
«Страхи по поводу того, что продвинутый ИИ будет дефектным и потому может намеренно или случайно решить стереть нас с лица земли, просто нереалистичны. Если ИИ додумается стереть нас с лица земли, то додумается и до того, что не должен этого делать» — говорит специалист.
В недавнем интервью Financial Times он назвал сумасшедшим сравнивать ИИ с ядерным оружием: «Не вижу никаких причин проводить какие-либо параллели между ИИ и ядерным оружием. Просто безумная аналогия. Первый привносит больше интеллекта и помогает принимать лучшие решения, второе — разрушает города. Что общего между этими двумя вещами?»
Помимо него о рисках и угрозах ИИ высказывался Илон Маск. Он считает ИИ более опасным, чем проект самолёта, в который закралась ошибка, или некачественное производство автомобилей. Джефф Безос наоборот уверен, что потенциальная польза ИИ перевешивает риски.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Забавно, но ChatGPT (GPT-4 есть только у него) слишком человеколюбив. Неплохо бы взять Uncensored модель и попробовать на ней. Они вполне сносно рассказывают, как приготовить мет и взрывчатку - может, и термоядерную войну согласятся начать.
Слишком многого хотите от поисковика на стероидах
Поисковика чего в чем?
Это ж даже не поисковик