В апреле Amazon пообещала открыть свободный доступ к собранному краудсорсерами набору фрагментов речи для обучения алгоритмов по обработке естественного языка. Компания опубликовала исходный код датасета Topical Chat на GitHub, пишет VentureBeat.
Датасет, изначально готовившийся для участников конкурса Alexa Prize Socialbot Grand Challenge, включает более 235 тысяч высказываний и свыше 4,7 млн слов, на основе которых можно создавать высококачественные, воспроизводимые диалоговые системы поиска.
Датасет призван способствовать инновационных исследований в области нейросетевых вопросно-ответных систем. По словам Amazon, он решает многие проблемы, которые не закрывают другие аналогичные датасеты, например, переход между темами естественным для человека образом, выбор и расширение знаний, интеграция фактов и мнений в диалог.
Для датасета было отобрано 300 объектов (люди, места или предметы) по 8 категориям, наиболее часто встречающимся в диалогах с ботами, разработанными в рамках Alexa Prize. Объекты были сгруппированы на основе их совместного употребления в информационных источниках, и для каждого объекта в таком кластере собирались дополнительные источники. Данные были обработаны в парах сотрудниками Amazon Mechanical Turk, после чего генерируемые диалоги прошли ручную и автоматизированную проверку.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.