Копить на пенсию — значит делать ставку на то, что она наступит. Президент некоммерческого института Machine Intelligence Research Institute (MIRI) в Беркли Нейт Соарс изучает ИИ-риски более 12 лет и совсем не уверен, что технология даст нам до этого будущего дожить.
Копить на пенсию — значит делать ставку на то, что она наступит. Президент некоммерческого института Machine Intelligence Research Institute (MIRI) в Беркли Нейт Соарс изучает ИИ-риски более 12 лет и совсем не уверен, что технология даст нам до этого будущего дожить.
«Я сейчас не откладываю на пенсию. У меня есть пенсионный счёт со времён работы в Google, но я не пополнял его уже десять лет», — заявил Соарс в интервью The Atlantic.
Соарс — соавтор книги «If Anyone Builds It, Everyone Dies» («Если кто-то это построит, все погибнут»), работал инженером в Google и Microsoft. Его пессимизм превосходит прогнозы других известных скептиков. Если «крёстный отец ИИ» Джеффри Хинтон и исследователь из Anthropic Эван Хубингер оценивают вероятность гибели человечества от ИИ в ближайшее десятилетие примерно в 10%, то Соарс считает, что шанс катастрофического исхода в тех же временных рамках превышает 50%.
По его словам, достаточно развитая ИИ-система способна сформировать собственные цели, идущие вразрез с интересами человека, научиться обходить контроль, самостоятельно дообучаться и создать автоматизированную инфраструктуру, позволяющую обходиться без людей. После этого ИИ перестроит планету под свои задачи, что сделает её непригодной для жизни.
Соарс — не единственный, кто сомневается в целесообразности пенсионных накоплений. Но его мотивы кардинально отличаются от взглядов, например, Илона Маска.
В январе миллиардер призвал не переживать о заначках на старость на 10-20 лет вперёд по той причине, что благодаря развитию ИИ, робототехники и энергетики пенсионные сбережения станут просто не нужны. В концепции главы Tesla и SpaceX невероятный рост производительности приведёт к эпохе изобилия с безусловным высоким доходом, дешёвыми товарами, общедоступной медициной и образованием, где деньги в привычном понимании потеряют смысл.
Для Соарса же появление сверхразумного ИИ — это экзистенциальная угроза, а не путь к изобилию. Как и ряд других экспертов, он призывает правительства полностью остановить обучение универсальных ИИ-систем и перенаправить ресурсы на узкие прикладные задачи вроде исследований рака или безопасности беспилотных автомобилей.
Решение, по словам Соарса, в том, «чтобы просто не строить то, что всех убьёт». «Я делаю всё возможное, чтобы предотвратить такой исход. Не считаю, что его нельзя избежать».
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.