В Google появились роботы-официанты для сотрудников

Благодаря нейросетям робот может не только выполнить конкретную задачу, например, «принеси яблоко», но и распознавать более абстрактные запросы вроде «я разлил воду, можешь помочь?» или «я только что тренировался, нужно восстановить силы».

Во время первых тестов языковые модели понимали запрос, но предлагали часто бесполезные решения. К примеру, на жалобу о пролитом напитке GPT-3 предлагала пропылесосить жидкость, а нейросеть FLAN просто извинялась. Результаты стали лучше, когда разработчики объединили модель PaLM с уже подготовленным для роботов ПО, распознающим задачу и действие. Новая система PaLM-SayCan сперва распознаёт запрос, а затем трансформирует его в набор наиболее подходящих в конкретном контексте задач.

Систему обучили на десятках тысяч примеров выполнения запросов, среди которых отдельно выделили успешно завершённые. Кроме того, роботы анализируют окружающее пространство кухни, находят знакомые предметы и продолжают обучаться на своём опыте. Первые результаты показали, что системе удаётся верно выбрать правильную последовательность действий в 84% случаев, а в 74% — успешно выполнить поставленную задачу.

Авторы проекта настроены позитивно: совмещение языковых моделей с интерфейсом роботов уже помогло сократить количество ошибок понимания запросов в 2 раза. В будущем такие системы сильно упростят взаимодействие людей с роботами: пользователи смогут их программировать, используя свою естественную речь.