Amazon выпустит крупнейший разговорный датасет на 4 млн слов

Amazon собирается открыть публичный доступ к огромному количеству фрагментов речи для исследований по обработке естественного языка, пишет VentureBeat.

Собранный краудсорсерами датасет под названием Topical Chat планируется выпустить в этом сентябре. Этот набор бесед между людьми был разработан для участников ежегодного конкурса Alexa Prize Socialbot Grand Challenge. Им предоставляется расширенная версия датасета, которая включает новейшие добавления в корпусе и аннотации.

Датасет будет включать более 210 тысяч высказываний, или 4,1 млн слов. По словам Amazon, он станет крупнейшим набором диалогов и знаний, открытым для исследовательского сообщества.

Каждая из бесед или реплик с ответами привязана к знаниям, которые предоставлялись краудсорсерам, и ссылается к соответствующему набору объектов. Компания отмечает, что никакие из собранных краудсорсерами фрагментов речи не принадлежат пользователям голосового ассистента Amazon Alexa.

Датасета Topical Chat призван способствовать высококачественным исследованиям нейронных ответных систем (ботов) на основе знаний и решать проблемы обработки естественных бесед, которые не решают другие свободные датасеты. Это позволит исследователям сосредоточиться на том, как люди сменяют темы в разговоре, выборе знаний и интеграции фактов и мнений в диалог.