На обработку и генерацию текстов на любых языках, кроме английского, генеративный ИИ сжигает существенно больше энергии. При этом качество ответов часто оказывается ниже. К такому выводу пришли исследователи из Мичиганского университета: они предупреждают, что эта двойная дискриминация усугубляет глобальное цифровое неравенство.
На обработку и генерацию текстов на любых языках, кроме английского, генеративный ИИ сжигает существенно больше энергии. При этом качество ответов часто оказывается ниже. К такому выводу пришли исследователи из Мичиганского университета: они предупреждают, что эта двойная дискриминация усугубляет глобальное цифровое неравенство.
Самый ощутимый разрыв наблюдается у языков с нелатинской графикой и небольшим объёмом обучающих данных в сети. На генерацию ответа не на английском модели могут тратить от 1,4 до 180 раз больше энергии. Для большинства западноевропейских языков аппетит ИИ возрастает примерно вдвое, а вот для хинди и бенгали, на которых говорят сотни миллионов человек, расход энергии подпрыгивает в 7,9 и 15,3 раза соответственно по сравнению с аналогичным промптом на английском.
«На языках, требующих больше энергии, модели, как правило, дают и менее точные ответы», — отмечает первый автор исследования Найхао Дэн из AI Lab Мичиганского университета. По расчётам авторов работы, около 5,2 млрд человек сегодня вынуждены опосредованно расходовать как минимум вдвое больше ресурсов просто потому, что общаются с нейросетями на родном языке.
Исследователи замерили энергопотребление трёх открытых моделей — Alibaba Qwen 3, Google Gemma 3 и Meta Llama 3.1 — с помощью фреймворка ML.Energy на задачах из датасета Belebele (охватывает 122 языка), а также на школьных математических задачах и открытых запросах. Перекос в пользу английского прослеживается у всех моделей, независимо от их размера или типа используемых процессоров.
Главная причина прожорливости — токенизация. Токен — это базовая единица данных для ИИ, которой может быть как целое слово, так и отдельный слог или символ. Языки со сложной письменностью разбиваются на гораздо большее количество токенов. Например, в письменности деванагари (хинди, непальский, маратхи) или бенгальском письме базовые знаки комбинируются с огласовками, образуя миллионы уникальных символов.
Раздутое число токенов быстро забивает память, из-за нейросеть обрабатывает данные более мелкими порциями, сжигая ещё больше энергии на каждый токен. Для пользователей и бизнеса это оборачивается прямыми финансовыми убытками, ведь доступ к API большинства моделей тарифицируется именно по количеству токенов.
Чтобы сгладить этот разрыв, исследователи предлагают разработчикам оптимизировать архитектуру под разные языки: например, автоматически перенаправлять запросы на специализированные языковые модели или аккуратно переводить промпты на английский перед подачей в основную модель. Руководитель лаборатории Рада Михалча подчёркивает, что создателям ИИ пора активно привлекать носителей языков и создавать качественные датасеты, иначе огромная часть населения планеты просто окажется за бортом новых технологий из-за высокой цены и низкого качества сервиса.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.