Google открыла код техники предобучения NLP-моделей BERT

Google опубликовала исходный код методики Bidirectional Encoder Representations from Transformers, которая позволяет тренировать модели обработки естественного языка (NLP) за 30 минут на одном облачном TPU (тензорный процессор Google) или за несколько часов — на одном GPU, пишет VentureBeat.

Релиз доступен на Github и содержит уже обученные языковые модели (на английском языке), а также сам код, построенный на основе фреймворка машинного обучения от Google TensorFlow. Помимо этого, методику можно найти на Colab — бесплатном облачном сервисе Google для разработчиков ИИ.

По словам исследователей Google AI, BERT уникальна тем, что она использует метод двунаправленной обработки, то есть учитывает предыдущий и последующий контекст слова, а также применима к немаркированным и неклассифицированным данным.

В тестах на понимание прочитанного по датасету Стэнфордского университета SQuAD, который базируется на вопросах по статьям Википедии, методика достигла точности в 93,2 процента и превзошла результаты людей (91,2 процента). В испытаниях на платформе General Language Understanding Evaluation, которая включает набор ресурсов для тренировки и анализа NLP-систем, точность BERT превысила 80 процентов.

Ранее Google открыла исходный код инструмента AdaNet для комбинирования алгоритмов МО и проекта ActiveQA, задача которого — повысить качество ответов ИИ-агентов.