Компания VironIT выпустит приложение для смартфонов, которое переводит разговоры на лету. Достаточно установить приложение на смартфон. Ваш собеседник может разговаривать по обычному проводному телефону. Приложение делает перевод и синтез речи на 20+ языках.

Читать далее…

Представим ситуацию: вы отправляетесь в незнакомую страну, совершенно не зная языка. Не важно, на деловую встречу или в путешествие. Без знания местного языка вы чувствуете себя беспомощно и пытаетесь показать на пальцах, что вы хотите. Хорошо, если вы владеете английским, но и этот навык спасает не всегда.

Наша команда создала два приложения-переводчика, которые помогут перевести любую непонятную вывеску, просто наведя на нее камеру телефона и синхронно переводят речь. Теперь вы сможете самостоятельно изложить свои мысли. И вовсе не обязательно ждать, пока кто-то переведет надпись.

Как это работает?

Первое приложение представляет собой мобильный переводчик, который поддерживает более 110 языков, среди которых арабский, армянский, азербайджанский, белорусский, боснийский, болгарский, каталанский, китайский, хорватский, чешский, датский, голландский, английский, эсперанто, эстонский, финский, французский, грузинский, немецкий, греческий, иврит, хинди, исландский, ирландский, итальянский, японский, казахский, корейский, кыргызский, латынь, латышский, литовский, непальский, норвежский, польский, португальский, румынский, русский, шотландский, сербский, словацкий, словенский, сомалийский, испанский, шведский, украинский, и др.

Возможности приложения:

1. Перевод текста. Текст набирается вручную или через функцию распознавания голоса.

2. Перевод изображения. Пользователь делает фотографию текста. Затем алгоритм распознает текст и делает перевод.

3. Перевод веб-страницы. Пользователь открывает новое окно в браузере, вводит url и получает перевод.

4. Перевод файлов. Поддерживается более 8 популярных форматов (pdf, docx, txt, и др)

5. Перевод подкастов. Слушайте лекции зарубежных университетов или иностранные аудиокниги на своем родном языке

Приложение-переводчик — полезная вещь в путешествиях и на встречах, но доступ к сети есть не всегда. Поэтому в приложении предусмотрены 2 режима перевода — online и offline. Для использования offline режима мы реализовали загрузчик с докачкой и управлением языковыми пакетами.

Кроме того, пользователю доступны настройки, таких как сохранение переведенных текстов и изображений в истории и возможность отмечать добавления переводов в избранное.  

В приложении также есть чат-переводчик, который включает в себя 4 режима:

1. Карманный переводчик. Принцип работы переводчика следующий. Фразу на том или ином языке произносят в микрофон мобильного устройства. После этого она передается на сервер для обработки. Через короткое время из динамика смартфона или планшета звучит перевод.

2. Перевод с наушниками. Для начала работы пользователи открывают чат. Затем первый участник надевает беспроводную гарнитуру. Второй произносит фразу в микрофон телефона, и в гарнитуру передается перевод.

3. Два телефона. Bluetooth-чат между двумя собеседниками. Сообщения переводятся автоматически.

4. Конференция. Режим похож на «Два телефона», но чат создается на сервере и участвует более 2 людей одновременно. Этот режим позволяет вести разговор на разных языках текстом или голосом. Для этого один из участников создаёт чат и делится QR кодом, по которому можно подключиться с другими людьми.

Второе приложение представляет собой переводчик телефонных разговоров, способный «на лету» переводить чужой язык, и проговаривать перевод уже на родном владельцу устройства языке. Установка приложения должна быть только на том устройстве, с которого звонят. Можно звонить, как на мобильные, так и на городские телефоны

Кроме мобильных устройств, приложение можно установить на популярные смарт-колонки Amazon и Google. Произнесите «Hey Google, translate through ‘program’» — и колонка переведет вам фразу или слово. На схеме ниже представлен принцип работы приложения с использованием колонки.

В машинном переводе есть два подхода: правиловый и статистический. С помощью правилового подхода сложно добиться хорошего результата, т. к. язык — сложная и нерегулярная система. Поэтому современные переводчики работают на основе статистического подхода. Он включает в себя три этапа: сбор данных, обучение моделей и декодирование.

Чтобы создать такую систему используют NLP (Natural Language Processing), обработку естественных языков. Термин, с которым мы сталкиваемся каждый день в автоматических переводах, автозаменах в телефоне, чат-ботах, агрегаторах и т. д.

Причём тут нейросети

В разработке применили Go, JavaScript, Python, C/C++, Lua и ещё дюжину технологий.

Для перевода речи задействовали OpenNMT, полнофункциональную систему машинного перевода с открытым исходным кодом. Для глубинного обучения и научных расчётов OpenNMT использует свободную библиотеку Torch через язык Lua. Применение Torch позволяет задействовать возможности GPU для ускорения процесса обучения нейронной сети. Система расширений позволяет реализовывать на базе OpenNMT дополнительную функциональность.

Мы подготовили модели перевода, обучив нейронную сеть на основе эталонного набора переводов. Для обучения системе передавалось два файла — один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык.

Также использовали систему оптического распознавания текста OpenNMT, способную распознавать и переводить в формат LaTeX сложные математические формулы.

Стоит отметить, что технологии по-прежнему несовершенны, но их уровня достаточно, чтобы два человека могли общаться друг с другом на своем языке. Для этого им нужно говорить отчётливо и иногда повторять сказанное. В таком случае приложение переведет речь собеседника и тексты максимально чётко. Переводчик проходит бета-тестирование, после которого будет доступен широкой публике.

О компании

VironIT — это международная ИT-компания, которая является экспертом в области разработки игр, мобильных и веб-ориентированных приложений, а также  программных бизнес решений. Помимо этого компания предоставляет услуги по интеграции и модернизации программного обеспечения и оказывает сопровождение и поддержку разработанных приложений.

Cейчас VironIT ищет:

• Android разработчиков
• C# разработчиков
• JavaScript разработчиков
• С++ разработчиков
• Python разработчиков
• Копирайтера
• SMM- специалиста

Резюме отправляйте на [email protected]

Место солидарности беларусского ИТ-комьюнити

Далучайся!