🎁 Нам 18! Сделайте devby подарок на день рождения
Support us

Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Оставить комментарий
Добавь в Google
Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Google представила TensorFlow.Text — библиотеку для предобработки языковых моделей в TensorFlow, пишет VentureBeat. Опенсорсный фреймворк машинного обучения, созданный командой Google Brain, насчитывает свыше 41 млн скачиваний.

TensorFlow.Text можно установить с помощью PIP. Библиотека способна использовать токены для разбивки и анализа такой текстовой информации, как слова, числа и пунктуация.

Сейчас TensorFlow.Text может распознавать пробелы, скрипт unicode и заданные последовательности фрагментов слов, например суффиксов и префиксов, которые Google называет «wordpiece» и использует в технологиях вроде BERT.

Библиотека поддерживает нормализацию, n-граммы и многое другое. Токенизаторы TensorFlow.Text используют RaggedTensors — новый тип тензоров для распознавания текста.

Подробнее о библиотеке можно почитать на Medium и GitHub.

Читайте также
«Вы хоть понимаете свой код?»: разраб разрешил ИИ на собесах и удивился результатам
«Вы хоть понимаете свой код?»: разраб разрешил ИИ на собесах и удивился результатам
«Вы хоть понимаете свой код?»: разраб разрешил ИИ на собесах и удивился результатам
ИИ-агент заказал пользователю 72 яйца. А потом не смог объяснить зачем
ИИ-агент заказал пользователю 72 яйца. А потом не смог объяснить зачем
ИИ-агент заказал пользователю 72 яйца. А потом не смог объяснить зачем
«Все станут безработными»: сотрудник Anthropic предупредил о будущем человечества
«Все станут безработными»: сотрудник Anthropic предупредил о будущем человечества
«Все станут безработными»: сотрудник Anthropic предупредил о будущем человечества
9 комментариев
В беларусские суды внедрят ИИ
В беларусские суды внедрят ИИ
В беларусские суды внедрят ИИ
1 комментарий

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

Каментарыяў пакуль няма.