Pada masa pandemi COVID-19, banyak orang kehilangan pekerjaan karena perusahaan tidak mampu meraih keuntungan seperti pada kondisi normal dan terpaksa mengurangi jumlah pekerjanya. Kondisi ini bisa meningkatkan tingkat kejahatan terutama karena banyak orang tidak memiliki pendapatan. Salah satu metode efektif untuk mencegah terjadinya tindak kejahatan adalah dengan memasang sistem keamanan rumah (home security), dengan salah satu metode yang mudah dilakukan adalah memasang sistem pengawasan (surveillance). Penelitian ini bertujuan membuat sistem pengawasan yang memanfaatkan metode pelacakan wajah dan identifikasi wajah. Sistem ini menggabungkan 3 modul, yaitu pelacak Discriminative Single-Shot Segmentation (D3S), pendeteksi wajah MTCNN, dan pengenal wajah VGGFace2 untuk membuat sistem yang mampu melacak wajah orang yang tertangkap di kamera pengawasan. Sistem yang diusulkan juga memiliki fitur notifikasi untuk memberitahu jika ada orang asing yang terlalu lama berada di area pengawasan. Sistem ini akan mengevaluasi video bacaan dari Raspberry Pi dan PiCamera selaku alat penangkap citra. Sistem ini dievaluasi menggunakan metrik precision, recall, F-score untuk deteksi dan pelacakan, fps untuk evaluasi kecepatan komputasi, dan confusion matrix dengan akurasi untuk evaluasi identifikasi wajah. Dari hasil uji coba, sistem berjalan dengan kecepatan komputasi rata- rata sebesar 2.64 fps. Hasil pendeteksian dan pelacakan menunjukkan performa dengan nilai F-score 0.541 untuk dataset yang dikumpulkan sendiri. Akurasi identifikasi wajah memberikan hasil sebesar 50 persen.

---

During the COVID-19 pandemic, many people lost their jobs because companies were unable to make profits as normal conditions and were forced to reduce the number of workers. This condition could lead to increase of crime rate, especially because many people do not have any income. One way to prevent crime effectively is to install a safe home security system, in which a surveillance system is the most basic and effective. This study aims to create a surveillance system using face detection, face identification and face tracking method. This system combines 3 modules, namely Discriminative Single- Shot Segmentation (D3S) tracker, MTCNN face detector, and VGGFace2 face recognizer to create a system capable of tracking the faces of people caught on surveillance camera(s). The proposed system also have a notification feature to tell the house owner if a stranger have been staying in surveillance area for too long. This system will evaluate video readings from the Raspberry Pi as the camera capture tool. The system is evaluated using metrics such as precision, recall, F-score for detection and tracking, fps for computational speed evaluation, and confusion matrix with accuracy for evaluating the facial identification. From the test result, the system runs with a computation speed of 2.64 fps. The detection and tracking results show the performance with an F-score of 0.541. Facial identification accuracy gave a result of 50 percent.