ИИ-модели OpenAI внезапно начинают «думать» на китайском, и никто не знает почему

После запуска o1, первой «логической» модели ИИ от OpenAI, пользователи стали замечать странную особенность. Когда модели давали задание, например, посчитать количество букв «Р» в слове «strawberry», она начинала выполнять работу на другом языке, прежде чем дать ответ на английском.

Один из пользователей Reddit отметил, что o1 «случайно начал думать на китайском в середине процесса». Другой пользователь X задавался вопросом, почему o1 внезапно переключился на китайский, хотя в предыдущих пяти сообщениях диалога китайского языка не было.

Эксперты в области ИИ выдвигают несколько теорий, пытаясь объяснить это поведение. Некоторые предполагают, что это связано с большим количеством китайских символов в данных, на которых обучали модель.

Тед Сяо, исследователь из Google DeepMind, утверждает, что компании, включая OpenAI, используют сторонние китайские сервисы для маркировки данных, и это может быть причиной «лингвистического влияния китайского языка на рассуждения».

Однако другие эксперты не согласны с гипотезой о китайской маркировке, поскольку o1 может также переключаться на хинди, тайский или другие языки. Они считают, что модели могут просто использовать языки, которые считают наиболее эффективными для достижения цели.

Мэтью Гуздиал, исследователь ИИ из Университета Альберты, отметил, что «модель не знает, что такое язык, и что языки разные. Для нее это просто текст. Модели обрабатывают не слова, а токены, которые могут быть словами, слогами или даже отдельными символами».