Skripsi ini merupakan pengembangan dari teknologi video surveillance system atau sistem pengawasan video. Video surveillance system yang selama ini diterapkan untuk tujuan deteksi objek menggunakan suatu metode umum yaitu dual background model. Model tersebut bekerja dengan memisahkan latar depan dan latar belakang dari suatu video frame dan memposisikan target deteksi di latar depan sebagai output. Salah satu tujuan dari skripsi ini adalah melakukan pengembangan dari sistem tersebut agar dapat mengklasifikasikan objek yang terdeteksi menjadi abandoned, stolen, dan ghost region. Untuk mencapai tujuan tersebut, digunakan metode pemelajaran mesin Mask R – CNN yang dapat melakukan segmentasi objek berbasis pemaskeran. Selain dari Mask R – CNN, terdapat model pemelajaran mesin lain yang cukup umum digunakan untuk deteksi objek dan segmentasi objek yaitu model YOLACT. Penelitian ini menggunakan video situasi natural di tempat umum seperti stasiun atau jalanan yang akan diproses menggunakan dual background model dan kemudian disegmentasi menggunakan Mask R – CNN atau YOLACT. Hasil penelitian ini diharapkan bisa membuka wawasan tentang penggunaan model pemelajaran mesin dalam aplikasi object detection, sekaligus menganalisis model mana yang paling efektif dan efisien berupa hasil kuantitatif yaitu Frame Rate per Seccond ( FPS ), waktu segmentasi, serta Intersection Over Union ( IOU ).

---

This thesis is an advancement in video surveillance technology. The existing video surveillance system commonly employs a dual background model for object detection. This model functions by separating the foreground and background within a video frame and positions the detected target in the foreground as the output. One of the goals of this thesis is to enhance this system to classify detected objects into abandoned, stolen, and ghost regions. To achieve this, the Mask R-CNN machine learning method is used, which can perform object segmentation based on masking. Apart from Mask R-CNN, another commonly used machine learning model for object detection and segmentation is the YOLACT model. This research utilizes natural situation videos in public places like stations or streets, processed using the dual background model and then segmented using Mask R-CNN or YOLACT. The anticipated outcome of this study is to broaden insights into the use of machine learning models in object detection applications while analyzing which model is most effective and efficient for similar applications.