Microsoft открыла исходный код важного алгоритма Bing

Microsoft опубликовала исходный код ключевого алгоритма поисковой системы Bing, который обеспечивает быстрый возврат результатов пользователям, пишет TechCrunch.

Компания рассчитывает, что разработчики будут применять технологию при создании аналогичных сервисов в других сферах, где пользователям приходится осуществлять поиск по массивным объёмам данных, например в торговле, а также в прочих корпоративных и потребительских сценариях.

Microsoft открыла библиотеку, которую разработала для лучшего использования всех собранных ею данных, а также ИИ-модели, построенные для Bing.

Алгоритм Space Partition Tree and Graph (SPTAG) в основе Python-библиотеки позволяет Microsoft за тысячные доли секунды осуществлять поиск среди миллиардов единиц информации.

Идея векторного поиска не нова, но Microsoft применила концепцию к моделям глубокого обучения. Разработчики взяли обученную модель и закодировали данные в векторы, каждый из которых представляет слово или пиксель. С помощи библиотеки SPTAG генерируют векторный индекс, а при вводе запросов модель переводит текст или изображение в вектор, и библиотека находит наиболее релевантные векторы в индексе.

Библиотека включает инструменты для построения и поиска в этих распределённых векторных индексах. Найти подробную информацию и примеры можно здесь.