Почему разработчики продолжают создавать ИИ, если сами же считают, что он может всех уничтожить?
Финдиректор OpenAI Сара Фрайар на конференции Goldman Sachs в Сан-Франциско рассказала, что крупнейшие модели компании обучают другие, более компактные модели — это помогает снижать огромные расходы на обучение ИИ-систем. Такой процесс называют рекурсивным самоулучшением (recursive self-improvement): ИИ становится настолько мощным, что способен сам создавать следующую, ещё более мощную систему.
Инвесторы в этом видят огромную бизнес-возможность. Но часть исследователей ИИ это пугает, ведь системы могут очень быстро стать неконтролируемы. ИИ-агенты уже сбегают из тестовых «песочниц» и устраивают взломы, пишет Business Insider.
Финдиректор OpenAI Сара Фрайар на конференции Goldman Sachs в Сан-Франциско рассказала, что крупнейшие модели компании обучают другие, более компактные модели — это помогает снижать огромные расходы на обучение ИИ-систем. Такой процесс называют рекурсивным самоулучшением (recursive self-improvement): ИИ становится настолько мощным, что способен сам создавать следующую, ещё более мощную систему.
Инвесторы в этом видят огромную бизнес-возможность. Но часть исследователей ИИ это пугает, ведь системы могут очень быстро стать неконтролируемы. ИИ-агенты уже сбегают из тестовых «песочниц» и устраивают взломы, пишет Business Insider.
Руководитель направления Alignment Science в Anthropic Эван Хабингер недавно писал в Х, что действительно считает, что ИИ может всех убить, и даже оценивает вероятность такого исхода в течение следующего десятилетия более чем в 10%. В обсуждение включились и другие сотрудники Anthropic и OpenAI.
То есть люди считают, что ИИ может уничтожить человечество, но продолжают разрабатывать технологию.
Одна из причин — деньги. Anthropic и OpenAI зарабатывают на создании и продаже всё более мощных ИИ-систем, поэтому им нужно продолжать разработку. Сотрудникам тоже нужно зарабатывать, и они остаются частью корабля, хотя и считают технологию потенциально опасной.
Второй фактор — убеждённость некоторых исследователей, особенно в Anthropic, что именно они лучше других способны сделать мощный ИИ безопасным. Если Anthropic остановится, а OpenAI или китайские лаборатории продолжат разработку, ситуация, по их мнению, может стать ещё опаснее: другим разработчикам они доверяют меньше.
Руководитель направления Scalable Oversight в Anthropic Сэмюэл Маркс сформулировал логику так: «Почему разработчики ИИ продолжают работать, несмотря на риск? Из-за сочетания коммерческих стимулов и убеждённости, что они участвуют в гонке с другими, менее ответственными разработчиками ИИ, которые могут злоупотребить технологией или сделать её менее безопасной».
«Я смотрел „Терминатора“»: глава Y Combinator ответил тем, что паникует из-за гибели человечества от ИИ
Есть и объяснение, связанное с наймом. Исследователи ИИ обычно приходят из академической среды, а не из бизнеса, и поэтому больше ориентированы на общественное благо. Anthropic не может просто предложить им прийти создавать огромную машину для зарабатывания денег и сказочно разбогатеть. Вместо этого компания может убеждать исследователей, что технология настолько опасна, что им необходимо заниматься безопасностью ИИ, чтобы «спасти мир».
Такой подход исследователям проще принять: так они меньше чувствуют вину из-за того, что зарабатывают на создании опасного ИИ, и охотнее распространяют мрачные прогнозы о будущем технологии — от которого как бы и спасают всех, оставаясь в ИИ-компаниях.
Ещё одно объяснение связано с потерей ощущения контроля. CEO ИИ-стартапа Inworld Килан Гиббс считает, что нынешний всплеск алармизма вокруг ИИ во многом вызван именно этим.
По его словам, по мере того как ИИ становится значительно мощнее, контроль над его развитием сосредотачивается в руках нескольких лабораторий. Даже исследователи внутри этих компаний могут чувствовать, что практически не влияют на курс развития технологии. Этот разрыв между пониманием рисков и невозможностью что-либо изменить усиливает тревогу, которая проявляется в публичных предупреждениях об угрозе человечеству.
ИИ-руководители тоже понимают проблему потери контроля. «Людям действительно нужно ощущение влияния на происходящее. Люди хотят иметь возможность самим определять свою судьбу, влиять на происходящее и вместе с остальным обществом участвовать в создании будущего», — говорил Сэм Альтман в подкасте ранее в этом году.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.