Abstrak
Penyebaran teknologi deepfake yang semakin meluas menimbulkan tantangan serius dalam bidang keamanan digital, khususnya dalam mendeteksi manipulasi video yang sering kali sulit dibedakan dari konten asli. Penelitian ini bertujuan untuk mengembangkan sistem identifikasi video hasil generasi deepfake dengan pendekatan multimodal. Sistem yang dikembangkan dirancang untuk mendeteksi ketidaksesuaian antara sinyal audio dan visual pada video deepfake. Dalam proses pengembangannya, digunakan teknik deep learning untuk menyelaraskan fitur audio dan visual guna mengidentifikasi anomali yang ditimbulkan oleh manipulasi tersebut. Beberapa eksperimen dilakukan untuk menganalisis faktor-faktor yang memengaruhi kinerja model, meliputi konfigurasi parameter, ukuran dataset, teknik pra-pemrosesan, hingga struktur arsitektur yang digunakan. Berdasarkan hasil eksperimen, model deteksi deepfake yang dikembangkan menunjukkan performa yang baik, dengan akurasi mencapai 97% pada data pelatihan dan 87% pada data pengujian. Meskipun demikian, kemampuan generalisasi model masih perlu ditingkatkan agar dapat menghadapi variasi manipulasi yang lebih beragam pada berbagai kasus di dunia nyata.
......The growing use of deepfake technology has created serious challenges in digital security, especially in detecting video manipulation that can be hard to distinguish from real content. This study aims to develop a system for identifying deepfake videos using a multimodal approach. The system is designed to detect mismatches between audio and visual signals in deepfake-generated videos. Deep learning techniques are used to align audio and visual features in order to identify anomalies caused by manipulation. Several experiments were carried out to analyze the factors that affect the model?s performance, including parameter settings, dataset size, pre-processing techniques, and the overall architecture. The results show that the developed deepfake detection model performs well, achieving 97% accuracy on the training data and 87% on the testing data. However, the model?s ability to generalize still needs improvement to better handle a wider variety of manipulations in real-world situations.
