Дипфейки можно распознавать по отражению в глазах

Новый AI-инструмент разработали исследователи из Университета штата Нью-Йорк в Буффало. В тестах на портретных снимках точность распознавания дипфейков составила 94%.

Система анализирует роговицу глаз человека на фото: она имеет зеркальную поверхность и свет при попадании на неё отражается определённым образом.

На подлинных фото, снятых на камеру, отражение в глазах будет сходным, поскольку в действительности оба видят одно и то же. Нейросетям, генерирующим липовые картинки, обычно не удаётся правильно воссоздать эту деталь — к примеру, отражения могут не совпадать по форме или находиться не на том месте.

AI ищет такие несоответствия в отражениях света от глазных яблок и составляет своеобразный рейтинг схожести. Чем он ниже, тем выше вероятность, что изображение — фальшивка.

Новый метод показал высокую эффективность на картинках с сайта This Person Does Not Exist, создаваемых генеративно-состязательной нейросетью StyleGAN2. Но всё же он имеет ограничения. Например, откорректировать отражение на фейковой картинке можно вручную. Кроме того, система работает только на портретах людей и только если на них видны оба глаза. Точность может быть ниже, если лицо не обращено на камеру.

Пока инструмент может раскусить лишь не самые высокопробные дипфейки, но учёные планируют усовершенствовать его. Научная работа по теме опубликована на arXiv.org.

Поддержите редакцию 1,5% налога: бесплатно и за 5 минут

Как помочь, если вы в Польше