Facebook открыла исходный код NLP-фреймворка PyText

ИИ-подразделение Facebook опубликовало исходный код инструмента для обработки естественного языка PyText, который лежит в основе «умных» дисплеев Portal и виртуального помощника М в Facebook Messenger, сообщает TechCrunch.

PyText построен на базе фреймворка PyTorch и должен ускорить переход от экспериментов к развёртыванию для исследователей ИИ. По мнению компании, он особенно пригодится для задач классификации документов, разметки последовательностей, семантического парсинга и моделирования многозадачности.

Создатели фреймворка позаботились о том, чтобы он легко интегрировался в исследовательские и рабочие процессы, сделав акцент на отказоустойчивости и более высокой отзывчивости для работы в реальном времени. PyText лежит в основе моделей Facebook, которые ежедневно генерируют более миллиарда прогнозов.

Ещё одна характеристика фреймворка — модульность, которая позволяет ему не только создавать новые конвейеры с нуля, но и модифицировать существующие рабочие процессы. PyText совместим с фреймворками ONNX и Caffe2, а также поддерживает параллельное обучение нескольких моделей.

Исходный код PyText доступен на GitHub.