Признаки обмана
Даже Шерлок Холмс не смог бы на глаз отличить дипфейк от реального видео. поймать машину на лжи под силу только другой машине. Список таких разработок представили в свежем отчете* Роскомнадзор и Государственный радиочастотный центр. «Цифровой океан» рассказывает о них подробнее
1Пульсация вен
- Разработчик: Intel
- Готовность: разработка завершена в ноябре 2022 года, но ПО пока не открыто для коммерческого использования
Детектор FakeCatcher, разработанный Intel при поддержке Бингемтонского университета (штат Нью-Йорк), выявляет дипфейки, опираясь на цветовые пульсации подкожных вен лица. Детектор фиксирует незаметные глазу изменения тона, переводит их в цветовую карту и определяет, настоящий человек на видео или подделка. Для распознавания были разработаны новые подходы к обработке результатов медицинской фотоплетизмографии — регистрации изменений, возникающих при наполнении мелких сосудов кровью в зависимости от фазы кардиоцикла. FakeCatcher был протестирован на множестве видеороликов и показал точность работы 93–97 %.
В отличие от аналогов, которые требуют загрузки полного видео для анализа, что может занять несколько часов, FakeCatcher работает в режиме реального времени. Технология делает возможным анализ видео на подделку в видеочатах, модерацию видео в соцсетях и оперативную проверку материалов для новостных площадок.
Примечательно, что разработка Intel опирается на инструментарий, доступный бесплатно всем желающим. Это система распознавания лиц OpenFace, библиотека алгоритмов машинного зрения OpenCV и популярный фреймворк для создания нейронных сетей Keras.
2Артефакты изображения
- Разработчик: Sensity
- Готовность: работает
Компания Sensity разработала онлайнплатформу для автоматической идентификации дипфейков. Пользователь отправляет ссылку или загружает видеофайл, а искусственный интеллект проводит анализ. Система работает хотя и не в реальном времени, но очень быстро — проверка чаще всего занимает не более секунды.
Принцип работы платформы заключается в анализе кадров изображения на основе собственной базы, которая содержит несколько миллионов изображений, определенных как «сгенерированные». Система натренирована на поиск характерных артефактов, оставляемых генеративно-состязательными нейросетями. Сравнение картинки с заведомо поддельными позволяет определить характерные для дипфейков паттерны. Поскольку сейчас именно генеративносостязательные нейросети являются основным инструментом создания дипфейков, точность работы платформы Sensity достаточна для большинства случаев.
3Сомнительные кадры
- Разработчик: Zemana
- Готовность: работает
Открытый проект Deepware Scanner доступен как в вебверсии, так и в виде свободного кода на GitHub, а также имеет общедоступный API (Application Programming Interface — программный интерфейс приложения), позволяющий подключать его к любым сторонним приложениям. Это позволяет разработчикам привлечь для доработки инструмента максимальное количество участников.
Deepware Scanner представляет собой сверточную нейронную сеть (специальная нейросетевая архитектура, нацеленная на распознавание образов), основанную на классификаторе изображений Effi cientNet B7. Его особенность — низкая стоимость обучения моделей и простой процесс масштабирования, что позволило сделать проект свободным.
Для обучения нейросети Deepware Scanner использовался открытый датасет ImageNet, содержащий более 14 млн аннотированных изображений, и датасет Facebook (соцсеть признана в РФ экстремистской и запрещена) DFDC (Deepfake Detection Challenge), состоящий из 120 тыс. видео.
Алгоритм работы системы покадровый, скорость — один кадр в секунду, так что использовать ее в реальном времени не получится, однако для выявления дипфейков это необязательное требование. Нейросеть анализирует кадр, определяет зону, содержащую лицо человека, очищает ее от шума, затем производит оценку вероятности, что лицо сгенерировано. На выходе пользователь получает кадры, подтверждающие наличие дипфейка, а также оценочную степень уверенности нейросети.