Инженер научил солнцезащитные очки распознавать жесты и управлять умным домом

Американский инженер Ник Билд создал смарт-очки, которые понимают, на какое из устройств умного дома смотрит пользователь, и распознают его жесты по отношению к этому объекту. К примеру, можно взмахом руки включить лампу или музыку на колонке, пишет N+1.

Энтузиаст взял за основу обычные солнцезащитные очки и закрепил на одной из дужек камеру для Raspberry Pi, которую через провод подключил к плате NVIDIA Jetson Nano. Эту плату Билд разместил в картонной коробке, которую можно повесить на шею.

Жестовое управление устройствами реализовано с помощью двух сверточных нейросетей: первая распознает объекты в кадре, а вторая —  жесты руки. Если алгоритмы получают комбинацию из известного объекта и жеста, очки через Wi-Fi посылают команду на устройство.

Билд обучил алгоритмы на двух самостоятельно собранных датасетах, каждый из которых содержал более 10 тысяч кадров. Пока система воспринимает только одну команду — взмах руки. Но инженер опубликовал код и обучающие данные на GitHub, чтобы дообучить модель для своих жестов мог любой желающий.