Новый инструмент Facebook распознаёт дипфейки и вычисляет источник

Такая технология может пригодиться Facebook, чтобы отслеживать распространителей дипфейков — как простой дезинформации, так и порнографических изображений — в её соцсетях. Разработка инструмента пока не завершена и к развёртыванию он ещё не готов.

Если сейчас системы выявления дипфейков работают только на картинках, модифицированных моделями, с которыми они «познакомились» в процессе обучения, то разработка Facebook и MSU распознаёт архитектурные особенности — или гиперпараметры — неизвестных моделей. Гиперпараметры настраиваются индивидуально для каждой модели и в совокупности оставляют уникальный «отпечаток» на видоизменённых изображениях, по которому можно вычислить их источник.

По словам исследователей, способность устанавливать характеристики неизвестных моделей важна, поскольку инструменты для создания дипфейков очень легко кастомизировать, и это позволяет злоумышленникам заметать следы и не быть пойманными.

«Предположим, злоумышленник сгенерировал множество разных дипфейков и загрузил их на разные платформы под видом разных пользователей. Если использовалась новая AI-модель, которую никто никогда не видел, то раньше мы могли очень мало понять о том, как был создан дипфейк», — говорят исследователи. Теперь же, посмотрев на картинки, загруженные на разные платформы, можно определить, что они были созданы одной и той же моделью. А получив доступ к компьютеру, на котором был сделан дипфейк, можно с уверенностью указать на автора, продолжают учёные.

По их словам, принцип разработки аналогичен тому, как по фотографии на основе анализа оптических дефектов определяется модель камеры, на которую она была снята: «Не каждый может создать свою камеру, но любой человек с достаточным опытом и обычным компьютером может построить модель для порождения дипфейков».

Помимо этого, алгоритм умеет распознавать, с помощью какой из уже известных моделей создан дипфейк и является ли изображение дипфейком в принципе. Исследователи говорят, что на стандартных бенчмарках он показывает выдающиеся результаты, хотя точные цифры не приводятся.