ИИ не тот, чем кажется. Новая теория вызвала восторг и споры учёных

Нейросети часто называют «черными ящиками»: они способны решать сложные задачи, но даже их создатели не всегда могут объяснить, как именно модели приходят к ответам. Каммарата, который сейчас работает в ИИ-стартапе Goodfire, опубликовал большое исследовательское эссе, в котором предложил по-новому взглянуть на эту проблему.

В основе нейросетей лежат искусственные нейроны — элементы системы, которые реагируют на определенные признаки в данных. Например, один нейрон может активироваться при обнаружении конкретной формы на изображении.

Но исследователи давно замечали странную особенность: один и тот же нейрон иногда реагирует на совершенно разные объекты. Например, на кошачью морду и переднюю часть автомобиля.

Одно из объяснений заключается в том, что нейросети приходится использовать одни и те же нейроны для обработки нескольких не связанных между собой признаков. Из-за этого разобраться в их работе очень трудно.

OpenAI залезла в телефоны сотрудников, нашла исчезающие чаты в Signal и уволила

По теме

OpenAI залезла в телефоны сотрудников, нашла исчезающие чаты в Signal и уволила

Однако Каммарата считает, что в некоторых случаях никакой загадки нет. На примере с кошкой и автомобилем он показывает, что нейрон может реагировать не на сами объекты, а на общую для них деталь — V-образную форму. «Это не нейрон кошек и машин, а нейрон V-образной формы», — объясняет исследователь.

По его мнению, многие нейроны, которые раньше казались непонятными, на самом деле могут распознавать вполне конкретные признаки. Просто люди не всегда замечают, что объединяет изображения или другие данные, на которые они реагируют.

Если эта идея подтвердится, ученые смогут лучше понимать внутреннюю работу ИИ. Например, выяснять, почему модель допускает определенные ошибки или выдает опасные ответы. В перспективе это может помочь сделать нейросети безопаснее.

Работа вызвала большой интерес в ИИ-индустрии. Ее положительно оценил глава OpenAI Сэм Альтман, а один из исследователей компании назвал публикацию важным моментом в истории науки. Однако не все разделяют такой оптимизм.

«Это интересная работа, но я не думаю, что она существенно меняет общую картину того, насколько мы способны понимать работу нейросетей», — написал исследователь Google DeepMind Нил Нанда. По его мнению, проблема, при которой разные признаки оказываются закодированы в одних и тех же нейронах, никуда не исчезла.

Есть и другой вопрос: даже если ученые разберутся, за что отвечает каждый отдельный нейрон, это еще не значит, что они смогут объяснить поведение всей модели. Ведь результат зависит от взаимодействия огромного количества элементов.

Кроме того, выводы Каммараты пока не прошли независимую научную проверку. Поэтому говорить о том, что ученые наконец разгадали принцип работы нейросетей, еще рано.

Эксперты по кибербезу заговорили о «чёрном октябре». Что происходит с интернетом

По теме

Эксперты по кибербезу заговорили о «чёрном октябре». Что происходит с интернетом

Ключи безопасности HTTPS одного из центров оказались числами 4 и 56. Их взломали за секунду

По теме

Ключи безопасности HTTPS одного из центров оказались числами 4 и 56. Их взломали за секунду

Разработчик из Telegram предложил увольнять тех, кто пишет код вручную. А мессенджер готовится добавить ИИ-агентов — Claude, ChatGPT и других

По теме

Разработчик из Telegram предложил увольнять тех, кто пишет код вручную. А мессенджер готовится добавить ИИ-агентов — Claude, ChatGPT и других