Американский инженер Ник Билд создал смарт-очки, которые понимают, на какое из устройств умного дома смотрит пользователь, и распознают его жесты по отношению к этому объекту. К примеру, можно взмахом руки включить лампу или музыку на колонке, пишет N+1.
Энтузиаст взял за основу обычные солнцезащитные очки и закрепил на одной из дужек камеру для Raspberry Pi, которую через провод подключил к плате NVIDIA Jetson Nano. Эту плату Билд разместил в картонной коробке, которую можно повесить на шею.
Жестовое управление устройствами реализовано с помощью двух сверточных нейросетей: первая распознает объекты в кадре, а вторая — жесты руки. Если алгоритмы получают комбинацию из известного объекта и жеста, очки через Wi-Fi посылают команду на устройство.
Билд обучил алгоритмы на двух самостоятельно собранных датасетах, каждый из которых содержал более 10 тысяч кадров. Пока система воспринимает только одну команду — взмах руки. Но инженер опубликовал код и обучающие данные на GitHub, чтобы дообучить модель для своих жестов мог любой желающий.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.