Мультимодальный подход к выявлению deepfake-видео: архитектура системы deepcheck bot и методика ее экспериментальной оценки

Аннотация

В статье рассматривается задача автоматического выявления видеозаписей, в которых лицо или речь человека изменены с помощью генеративных нейронных сетей (deepfake). Показано, что распространенные покадровые детекторы теряют надежность при обработке сжатого видео из мессенджеров и социальных сетей и при встрече с ранее не известными способами генерации. Предложена архитектура мультимодальной системы DeepCheck Bot, которая объединяет три независимых канала анализа: поиск пространственных артефактов кадра сверточной нейронной сетью, оценку межкадровой динамики мимики и проверку согласованности движения губ с речевым сигналом. Описано правило слияния решений, корректно учитывающее отсутствие или низкое качество звуковой дорожки. Разработана методика экспериментальной оценки на открытых наборах данных FaceForensics++, Celeb-DF, DFDC и FakeAVCeleb, включающая междатасетное тестирование и полный факторный эксперимент 2³ для анализа влияния степени сжатия, числа анализируемых кадров и веса аудиоканала на качество обнаружения. Работа носит проектный характер: программный прототип и численные результаты испытаний являются предметом следующего этапа исследования.

Ключевые слова: deepfake, обнаружение подделок, мультимодальный анализ, аудиовизуальная синхронизация, сверточные нейронные сети, информационная безопасность, планирование эксперимента

References

1. Goodfellow I., Pouget-Abadie J., Mirza M. [et al.]. Generative Adversarial Nets // Advances in Neural Information Processing Systems. – 2014. – Vol. 27. – P. 2672–2680.
2. Kietzmann J., Lee L. W., McCarthy I. P., Kietzmann T. C. Deepfakes: Trick or Treat? // Business Horizons. – 2020. – Vol. 63, № 2. – P. 135–146. – DOI: 10.1016/j.bushor.2019.11.006.
3. Verdoliva L. Media Forensics and DeepFakes: An Overview // IEEE Journal of Selected Topics in Signal Processing. – 2020. – Vol. 14, № 5. – P. 910–932. – DOI: 10.1109/JSTSP.2020.3002101.
4. Tolosana R., Vera-Rodriguez R., Fierrez J. [et al.]. DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection // Information Fusion. – 2020. – Vol. 64. – P. 131–148. – DOI: 10.1016/j.inffus.2020.06.014.
5. Rössler A., Cozzolino D., Verdoliva L. [et al.]. FaceForensics++: Learning to Detect Manipulated Facial Images // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). – 2019. – P. 1–11. – DOI: 10.1109/ICCV.2019.00009.
6. Chollet F. Xception: Deep Learning with Depthwise Separable Convolutions // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 1251–1258.
7. Afchar D., Nozick V., Yamagishi J., Echizen I. MesoNet: a Compact Facial Video Forgery Detection Network // Proceedings of the IEEE International Workshop on Information Forensics and Security (WIFS). – 2018. – P. 1–7.
8. Nguyen H. H., Yamagishi J., Echizen I. Capsule-Forensics: Using Capsule Networks to Detect Forged Images and Videos // Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – 2019. – P. 2307–2311.
9. Sabir E., Cheng J., Jaiswal A. [et al.]. Recurrent Convolutional Strategies for Face Manipulation Detection in Videos // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – 2019. – P. 80–87.
10. Vaswani A., Shazeer N., Parmar N. [et al.]. Attention Is All You Need // Advances in Neural Information Processing Systems. – 2017. – Vol. 30. – P. 5998–6008.
11. Chung J. S., Zisserman A. Out of Time: Automated Lip Sync in the Wild // Computer Vision – ACCV 2016 Workshops. – Cham: Springer, 2017. – (Lecture Notes in Computer Science; Vol. 10117). – P. 251–263.
12. Haliassos A., Vougioukas K., Petridis S., Pantic M. Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). – 2021. – P. 5039–5049.
13. Khalid H., Tariq S., Kim M., Woo S. S. FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset [Электронный ресурс] // arXiv. – 2021. – URL: https://arxiv.org/abs/2108.05080 (дата обращения: 04.11.2026).
14. Zhang K., Zhang Z., Li Z., Qiao Y. Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks // IEEE Signal Processing Letters. – 2016. – Vol. 23, № 10. – P. 1499–1503.
15. Tan M., Le Q. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks // Proceedings of the 36th International Conference on Machine Learning (ICML). – 2019. – Vol. 97. – P. 6105–6114.
16. Selvaraju R. R., Cogswell M., Das A. [et al.]. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization // Proceedings of the IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 618–626.
17. Li Y., Yang X., Sun P., Qi H., Lyu S. Celeb-DF: A Large-Scale Challenging Dataset for DeepFake Forensics // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). – 2020. – P. 3207–3216.
18. Dolhansky B., Bitton J., Pflaum B. [et al.]. The DeepFake Detection Challenge (DFDC) Dataset [Электронный ресурс] // arXiv. – 2020. – URL: https://arxiv.org/abs/2006.07397 (дата обращения: 04.11.2026).
19. Montgomery D. C. Design and Analysis of Experiments. – 9th ed. – Hoboken: Wiley, 2017. – 640 p.

How to cite

Ербол Ж.К., Жолдасбек Н.Д. Мультимодальный подход к выявлению deepfake-видео: архитектура системы deepcheck bot и методика ее экспериментальной оценки // Central Asian Scientific Journal. – 2026. – №4(32), Т. 2. – С. 139–145.