Abstract
Analisis video pengawasan seperti pelacakan multi objek dan pengenalan perilaku telah banyak dikembangkan. amun, penelitian yang secara khusus mengintegrasikan kedua aspek tersebut masih terbatas, terutama dalam konteks pengawasan yang membutuhkan deteksi aksi secara tepat dan pelacakan identitas individu yang konsisten. Oleh karena itu, dikembangkan sebuah sistem pelacak dan pengenal aksi manusia berbasis kerangka yang bertujuan untuk menjawab celah tersebut dengan merancang dan mengevaluasi sistem terintegrasi yang mampu melakukan pelacakan multi-manusia serta mengenali aksi-aksi berbahaya secara akurat dan waktu nyata. Penelitian ini berfokus pada pengembangan sistem realtime yang mengintegrasikan metode pengenal aksi berbasis skeleton dengan metode pelacakan BoT-SORT menggunakan pendekatan spatio-temporal. Deteksi manusia dilakukan menggunakan model YOLOv8 untuk melokalisasi individu dalam frame video, sedangkan estimasi pose dilakukan dengan pendekatan top-down menggunakan arsitektur HRNet untuk memperoleh data kerangka tubuh yang akurat. Integrasi ini memungkinkan sistem untuk mempertahankan konsistensi identitas individu sekaligus mengklasifikasikan aksi berdasarkan urutan gerakan tubuh dalam rentang waktu tertentu. Dalam pengembangan sistem juga diterapkan pemrosesan paralel agar pemrosesan informasi dapat dilakukan dengan cepat. Pengujian sistem ini menunjukkan hasil akurasi pengenalan aksi yang baik dan pelacakan individu yang konsisten dengan pertukaran identitas yang minim.
......Surveillance video analysis, such as multi-object tracking and behavior recognition, has been widely developed. However, research that specifically integrates both aspects remains limited, especially in surveillance contexts that require accurate action detection and consistent individual identity tracking. To address this gap, a skeleton-based human tracking and action recognition system was developed, aiming to design and evaluate an integrated system capable of tracking multiple individuals and accurately recognizing hazardous actions in realtime. This study focuses on the development of a real-time system that integrates skeleton-based action recognition with BoT-SORT tracking using a spatio-temporal approach. Human detection is performed using the YOLOv8 model to localize individuals within video frames, while pose estimation is conducted using a top-down approach with the HRNet architecture to obtain accurate body skeleton data. This integration enables the system to maintain consistent individual identities while classifying actions based on the sequence of body movements over time. Parallel processing is also implemented in the system to accelerate information processing. System testing shows high action recognition accuracy and consistent individual tracking with minimal identity switching.
