Google разработала алгоритм VideoBERT для предсказания событий на видео

Google создала самообучающуюся систему VideoBERT, которая по фрагменту видеоролика учится прогнозировать, что будет происходить дальше, сообщает SiliconANGLE.

Обучение даже простых AI-алгоритмов требует огромных наборов размеченных данных, которые исследователям приходится собирать вручную, а в случае с видео нужно описывать каждый кадр. Вместо этого разработчики VideoBERT решили прибегнуть к свободно доступным видеоинструкциям: в них рассказчик обычно даёт пошаговое объяснение своих действий, и именно это повествование использовали в качестве замены покадровым описаниям. Команда собрала более миллиона видеоинструкций по кулинарии, ремонту авто и садоводству. Их «скормили» системе, которая должна была научиться прослеживать развитие некоторых повседневных для человека задач.

После обучения систему испытали на незнакомой ей подборке видео. К примеру, «посмотрев» фрагмент, на котором демонстрируются тарелка с мукой и какао, VideoBERT делала предположение, что ингредиенты отправятся в духовку, где после выпечки превратятся в кекс или брауни. Также с помощью модели исследователи смогли извлечь рецепт стейка из видео, в котором объяснялся процесс его приготовления.

Как отмечает SiliconANGLE, метод тренировки VideoBERT может найти применение в намного более серьёзных сферах, например повысить безопасность беспилотных авто, которые смогут предсказывать поведение других участников дорожного движения, или же дронов и роботов, которые работают вблизи от человека.