Нероссийские модели говорят по-русски лучше российских — страна очень отстаёт в ИИ-гонке

На русскоязычной версии платформы LLM Arena для сравнения и оценки ответов ИИ-моделей, GigaChat MAX занимает лишь 8 место, уступая разным версиям Claude, DeepSeek и ChatGPT. YandexGPT 4 Pro от «Яндекса» находится ещё ниже — на 18 месте. На англоязычной версии LLM Arena обе российские модели вообще отсутствуют в рейтинге, который включает более 170 штук.

GigaChat MAX разработана Сбербанком — крупнейшим российским банком, чьим контрольным пакетом владеет государство. Её последняя версия вышла в ноябре, и тогда создатели заявляли, что модель «близка по качеству к GPT-4o на русском и английском». Но эксперты говорят, что она отстаёт от американских и китайских аналогов на несколько месяцев. А война в Украине спровоцировала утечку ценных кадров из страны.

В «Яндексе» изданию сказали, что их последняя модель, выпущенная 25 февраля, не хуже самых передовых моделей по ряду параметров. В GigaChat MAX не ответили на запрос о комментарии.

«Не впечатляет»

Эксперт по кибербезопасности Королевского колледжа Лондона Лукаш Олейник называет GigaChat MAX «посредственной». По его словам, её результаты на бенчмарках «значительно ниже» передовых моделей, и никаких особых инноваций в ней нет. Старший научный сотрудник американского Центра анализа европейской политики и техдиректор аналитической компании Omelas Бен Дубов тоже считает, что никакими конкурентными преимуществами российская модель не обладает.

GigaChat MAX хорошо справляется с задачами по математике, но в тестах на знание русского языка она сильно уступает большинству западных и китайских LLM. По словам Дубова, топовые американские модели на год опережают её в тесте MMLU (Massive Multitask Language Understanding), который проверяет знания и способность моделей решать текстовые задачи. Причём он считается почти устаревшим — сейчас ведущие ИИ-модели оцениваются по ещё более сложным стандартам.

Развитие российского ИИ тормозит война в Украине

Владимир Путин не раз подчёркивал важность ИИ — он даже рекламировал GigaChat MAX на одной из конференций в декабре и заявлял о готовности России помогать другим странам в разработке ИИ.

Специалист по российским военным технологиям из Центра стратегических и международных исследований Сэмюэл Бендетт отмечает, что ИИ для России — это, прежде всего, вопрос статуса. Но в глобальном ИИ-рейтинге британского медиастартапа Tortoise Media, Россия — единственная из «великих держав» (к ним также отнесены США, Китай, Франция и Великобритания), которая не вошла в топ. Она заняла лишь 31 место.

Среди главных факторов, мешающих России развивать ИИ, Бендетт называет слабость частного сектора, где почти вся разработка финансируется государством, отсутствие техногигантов уровня Microsoft, Google, OpenAI, Huawei или Alibaba, а также международную изоляцию из-за войны в Украине, из-за которой России ограничен доступ к продвинутым технологиям, например к чипам для тренировки ИИ.

Дубов тоже считает, что военно-политическая деятельность России ослабляет её позиции в ИИ. 2014 год, когда Россия аннексировала Крым, стал ключевым в развитии ИИ на западе и в Китае. К примеру, в тот год произошли важные прорывы в глубоком обучении (были впервые описаны генеративно-состязательные нейросети, представлен метод sequence-to-sequence learning, ставший основой современных LLM), «крёстный отец ИИ» Ян ЛеКун возглавил разработку технологии в Facebook, что ускорило развитие нейросетей, Tesla представила первую версию автопилота, начался рост инвестиций в ИИ и расцвет китайского ИИ. А 2022 год, когда Россия начала полномасштабное вторжение в Украину, совпал с запуском ChatGPT, который вызвал бум генеративного ИИ. Дубов утверждает, что война ускорила массовый отток умов из России. Бендетт добавляет, что стране не хватает сотен тысяч ИТ-специалистов, хотя часть уехавших начинает возвращаться.

Путин в 2023 году пообещал увеличить число выпускников, специализирующихся на ИИ, до 15 тысяч человек в год к 2030 году. Для сравнения, в том же году в США в этой сфере выпустилось более 73 тысяч студентов.

Между тем аналитики полагают, что Россия может вести тайную разработку военных ИИ-моделей. В 2022 году в стране было объявлено о создании спецотдела по ИИ в Минобороны. Украинские эксперты считают, что Россия может тренировать свой ИИ на данных с фронта — например, на постах из каналов в Telegram, кадрах с дронов и спутников, данных из взломанных украинских военных систем. Такой ИИ может повысить точность ударов, ускорить принятие решений на фронте и предсказывать действия ВСУ. Впрочем, Украина тоже собирает огромные массивы данных для разработки технологий для противостояния агрессии.