Исследователи Meta в прошлый четверг представили языковую модель Toolformer на основе искусственного интеллекта, которая сама учится использовать внешние инструменты вроде поисковых движков, калькуляторов и прочих без ущерба собственно лингвистическим способностям.
Исследователи Meta в прошлый четверг представили языковую модель Toolformer на основе искусственного интеллекта, которая сама учится использовать внешние инструменты вроде поисковых движков, калькуляторов и прочих без ущерба собственно лингвистическим способностям.
Toolformer умеет использовать API внешних сервисов, которые позволяют им бесшовно взаимодействовать между собой. В ходе обучения исследователи скормили модели небольшой набор примеров того, как применяется каждый API, а потом предложили ей самой составить список потенциальных вызовов API для большого датасета для языкового моделирования. Модель обучалась самостоятельно, без тщательного контроля исследователей.
В процессе порождения текста в ответ на запрос человека Toolformer способен при необходимости вызывать нужные API. Кроме того, модель может сама решать, какой инструмент лучше использовать в данном контексте и каким образом — например, поисковики, календари, переводчики и фактические ссылки.
Например, большие языковые модели (LLM) не очень сильны в арифметике. Toolformer обходит это ограничение путём вызова калькулятора. А если пользователь захочет, чтобы Toolformer добавил событие в календарь, он обратится к API календаря.
Toolformer построен на базе предобученной модели GPT-J, которая насчитывает 6,7 млрд параметров. В экспериментальных задачах на использование сторонних инструментов Toolformer проявил себя намного лучше, чем GPT-3 с её 175 млрд параметров.
Аналогичными способностями обладает, например, новый Bing Chat от Microsoft, который умеет искать информацию в сети, и ChatGPT, которая среди всего прочего умеет выполнять математические операции. По словам исследователей Meta, Toolformer отличается от большинства современных разработок тем, что они требовали огромных объёмов размеченных людьми данных или ограничены кругом задач. Toolformer сам учится использовать разные инструменты в целом и не нуждается в обучении под каждую отдельную задачу.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.