Facebook выложила модель, которая делает прямой перевод между 100 языками
Facebook опубликовала исходный код многоязычного алгоритма машинного перевода M2M-100, который умеет переводить напрямую между любыми парами из ста знакомых ему языков. В других системах для этой задачи как промежуточный используется английский, пишет ZDNet.
К примеру, перевод текста с французского на китайский сначала будет выполнен с французского на английский и уже потом — с английского на китайский.
При прямом переводе в обход английского, по словам Facebook, смысловые потери меньше. Это обеспечивает более высокую точность перевода.
Разработчики утверждают, что при испытании на алгоритме BLEU их модель набирает на 10 баллов больше традиционных систем перевода с английским в качестве «посредника». Метрика BLEU применяется для оценки качества автоматического перевода по сравнению с человеческим по шкале от 0 до 100.
M2M-100 была обучена работать с 2200 языковых направлений. Для тренировки был собран датасет из 7,5 млрд пар предложений на ста языках. Facebook пообещала предоставить исследователям набор данных обучения и оценки модели.
Читать на dev.by