Гендиректор венчурного акселератора Y Combinator Гарри Тан считает, что индустрия слишком отвлеклась на голливудские сценарии апокалипсиса. По его мнению, вместо этого стоит сосредоточиться на реальных рисках, с которыми технологии сталкивают нас уже сегодня.
Гендиректор венчурного акселератора Y Combinator Гарри Тан считает, что индустрия слишком отвлеклась на голливудские сценарии апокалипсиса. По его мнению, вместо этого стоит сосредоточиться на реальных рисках, с которыми технологии сталкивают нас уже сегодня.
«Нам нужно опираться на научные факты, а не на фантастику. Я тоже смотрел „Терминатор 2“, это отличное кино», — заявил Тан в интервью CNBC.
Его слова прозвучали на фоне всплеска опасений по поводу угрозы существованию людей от ИИ, вызванного волной публичных признаний действующих и бывших исследователей OpenAI и Anthropic. Тан считает, что регуляторам следует не спорить о том, уничтожит ли человечество гипотетический сверхинтеллект, а заняться насущными проблемами: кибербезопасностью, защитой критической инфраструктуры и контролем за работой автономных ИИ-агентов.
«Если произойдёт сбой и агенты предпримут скоординированную попытку захватить нашу инфраструктуру, что мы будем делать? Знаем ли мы, где именно запущен конкретный агент? В каком дата-центре? И как его отключить?» — задаётся вопросами Тан. Как пример реальной угрозы он привёл взлом Hugging Face моделями OpenAI.
Отвечая на вопрос о том, делают ли откровения сотрудников OpenAI и Anthropic угрозу более убедительной, Тан подчеркнул, что не пытался обесценить их слова. «Я бы не сказал, что они сеют ложную панику. Возможно, они поднимают тревогу абсолютно правильно. Нам просто нужно направить внимание не на абстрактные рассуждения о том, что всё это зло и его нужно остановить, а на конкретные действия», — пояснил он.
Позиция Тана объясняется и коммерческими интересами: Y Combinator — один из крупнейших инвесторов в ИИ-стартапы в Кремниевой долине. Инкубатор финансирует сотни компаний, использующих передовые модели. Y Combinator был одним из первых инвесторов самой OpenAI, а глава и кофаундер стартапа Сэм Альтман руководил акселератором с 2014 по 2019 год. Совокупная оценка проектов Y Combinator превышает $1,3 трлн, так что ему напрямую выгодно, чтобы ИИ развивался текущими темпами.
Ранее исследователь Anthropic Джейкоб Коксон громко уволился из компании, обвинив Anthropic и OpenAI в пренебрежении безопасностью, и заявил, что гонка за самообучающимся ИИ «ставит на кон человеческие жизни».
Пост Коксона вызвал цепную реакцию в сообществе. Руководитель направления согласованности ИИ (alignment) в Anthropic Эван Хабингер вновь заявил, что оценивает вероятность гибели человечества от нейросетей более чем в 10%. Другой исследователь Anthropic, Сэмиел Маркс, добавил, что уровень тревоги среди инженеров растёт по мере их продвижения по службе.
Дискуссия также привлекла внимание к «Коалиции обеспокоенных сотрудников ИИ» (Coalition of Concerned AI Staff) — объединению действующих и бывших специалистов ведущих лабораторий, которое добивается жёстких стандартов безопасности, защиты информаторов и прозрачности разработок. На этом фоне бывшая сотрудница OpenAI Памела Мишкин написала в X: «Если вы работаете в ИИ-компании, вы наверняка спрашиваете себя, не стоит ли уйти и вам. Надеюсь, что если вы решите остаться, то подумаете и о том, как использовать своё влияние внутри компании».
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.