Microsoft опубликовала исходный код ключевого алгоритма поисковой системы Bing, который обеспечивает быстрый возврат результатов пользователям, пишет TechCrunch.
Компания рассчитывает, что разработчики будут применять технологию при создании аналогичных сервисов в других сферах, где пользователям приходится осуществлять поиск по массивным объёмам данных, например в торговле, а также в прочих корпоративных и потребительских сценариях.
Microsoft открыла библиотеку, которую разработала для лучшего использования всех собранных ею данных, а также ИИ-модели, построенные для Bing.
Алгоритм Space Partition Tree and Graph (SPTAG) в основе Python-библиотеки позволяет Microsoft за тысячные доли секунды осуществлять поиск среди миллиардов единиц информации.
Идея векторного поиска не нова, но Microsoft применила концепцию к моделям глубокого обучения. Разработчики взяли обученную модель и закодировали данные в векторы, каждый из которых представляет слово или пиксель. С помощи библиотеки SPTAG генерируют векторный индекс, а при вводе запросов модель переводит текст или изображение в вектор, и библиотека находит наиболее релевантные векторы в индексе.
Библиотека включает инструменты для построения и поиска в этих распределённых векторных индексах. Найти подробную информацию и примеры можно здесь.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.