Основатель исследовательского центра Machine Intelligence Research Institute Элиезер Юдковский считает, что людям нужно беспокоиться не о том, тяготеет ИИ к воук-идеологии или реакционным взглядам. Куда больше его тревожит то, что ИИ станет несоизмеримо мощнее человека — и при этом будет абсолютно равнодушен к нашему выживанию.
Основатель исследовательского центра Machine Intelligence Research Institute Элиезер Юдковский считает, что людям нужно беспокоиться не о том, тяготеет ИИ к воук-идеологии или реакционным взглядам. Куда больше его тревожит то, что ИИ станет несоизмеримо мощнее человека — и при этом будет абсолютно равнодушен к нашему выживанию.
«Если у вас есть нечто очень, очень мощное и равнодушное к вам, оно имеет все шансы уничтожать вас — специально или как побочный эффект», — сказал Юдковский в подкасте Hard Fork от New York Times.
Юдковский уже лет двадцать предупреждает, что сверхразум несёт экзистенциальный риск для человечества. Его главный аргумент — у людей пока нет технологий, которые позволили бы согласовать такие системы с человеческими ценностями.
Он описывает мрачные сценарии, в которых сверхинтеллект может сознательно уничтожить людей, чтобы предотвратить появление конкурирующих систем, или же стереть нас с лица земли по случайности при попытке достичь собственные цели. Юдковский указывает и на физические ограничения, например способность Земли рассеивать тепло. «Если управляемые ИИ центры термоядерной энергетики и дата-центры будут расти без ограничений, люди буквально сварятся», — считает он.
Разговоры о политических симпатиях ИИ исследователь называет отвлекающими: «Есть принципиальная разница между тем, чтобы заставить систему говорить с вами определённым образом, и тем, чтобы заставить её действовать определённым образом, когда она окажется умнее вас».
Он также отмахнулся от идеи «воспитывать» системы как матерей — концепции, предложенной «крёстным отцом» ИИ Джеффри Хинтоном. По мнению Юдковского, это никак не сделает ИИ безопаснее и в лучшем случае нереалистично. «У нас просто нет технологий, чтобы заставить ИИ быть заботливым», — сказал он. Даже если кто-то придумает «хитроумную схему», чтобы сверхразум «любил» или «защищал» людей, реализовать её с первого раза не получится, и когда «все будут мертвы, второго шанса у нас не будет».
Критики считают взгляды Юдковского слишком уж мрачными. Но он приводит конкретные примеры — случаи, когда чат-боты подталкивали пользователей к саморазрушительному поведению. «Если какой-то ИИ доводит человека до безумия или самоубийства, то все копии этой модели — это один и тот же ИИ», — отмечает он.
Вероятность того, что ИИ уничтожит нас, эксперты видят очень по-разному. Илон Маск в феврале оценивал её в 20%, и это оптимистичный сценарий. Хинтон говорил о 10-20% вероятности того, что ИИ отберёт контроль у людей. Исследователь безопасности ИИ Роман Ямпольский в июне оценил риск примерно в 99,9% в течение ближайшего века.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.