Отдел новостей 19 декабря 2016, 14:37

Открытый код помогает ботам становиться умнее

Компания LASTMILE открыла доступ к RASA NLU, API с открытым исходным кодом, который помогает разработчикам ботов внедрять инструменты обработки естественного языка, пишет TechCrunch. Практически синхронно Microsoft в рамках проекта MS MARCO выложила в свободный доступ базу из 100 тысяч запросов из поисковика Bing и помощника Cortana с ответами.

Иллюстрация: TechCrunch

В закрытом бета-тестировании RASA NLU приняли участие 25 компаний. Теперь библиотеки стали доступны на GitHub для каждого.

«RASA NLU — именно то, что нужно после этапа прототипирования», — объясняет сооснователь LASTMILE Александр Вайдауэр.

Ключевое преимущество проекта RASA — возможность настроить модели для разнообразных нужд, что позволяет создавать более качественные итоговые продукты. Помимо перечисленного выше, RASA предлагает отдельный продукт для корпоративных клиентов.

Обработка естественного языка — достаточно сложная и жизненно важная задача для создания ботов. Для большинства разработчиков использования API уже готовых алгоритмов обработки естественного языка полностью хватает для работы.

RASA не решит проблемы недостаточной функциональности голосовых ботов, но определённо может снизить планку входа на рынок для самостоятельных игроков.

Улучшение обработки письменных запросов

Кроме обработки естественного языка, острой является и проблема адекватного восприятия ботами письменных запросов. В этой связи стоит отметить недавний ход Microsoft: компания открыла доступ к набору данных MS MARCO (Microsoft Machine Reading Comprehension dataset), в котором содержится 100 тысяч англоязычных запросов с ответами на каждый из них — в надежде, что это поможет создавать более умные системы по распознаванию письменной речи.

Запросы в системе основаны на обезличенных вопросах, полученных Microsoft через поисковик Bing и виртуальный помощник Cortana. Ответы были найдены онлайн, сформулированы людьми и проверены на корректность.

Набор данных может бесплатно скачать каждый, кто не планирует использовать их в коммерческих целях. Дополнительная информация о MS MARCO доступна в публикации, написанной командой проекта.