Human action recognition merupakan suatu proses yang bertujuan untuk mengidentifikasi aksi seorang manusia dalam suatu kerangka gambar atau video. Informasi ini nantinya dapat dimanfaatkan untuk berbagai kebutuhan seperti pemantauan keamanan, pemantauan kegiatan, dan lain-lain. Untuk menghasilkan identifikasi yang akurat, sistem human action recognition membutuhkan lingkungan dengan pencahayaan yang baik dan kontras yang tinggi. Namun, dalam beberapa kasus, pencahayaan yang didapatkan oleh sistem human action recognition tidak begitu baik, sehingga hal ini dapat mengganggu proses identifikasi. Penelitian ini bertujuan untuk merancang sistem human action recognition dengan menggunakan dataset video termal. Model human action recognition yang akan dibangun menggunakan algoritma PoseC3D dari MMAction2. PoseC3D merupakan salah satu metode pendekatan human action recognition berbasis kerangka manusia yang menggunakan 3D heatmap stack sebagai pengganti rangkaian graph sebagai representasi dasar kerangka manusia. Dataset video termal yang digunakan terdiri dari delapan (8) kelas aksi, yaitu aksi jalan, duduk, menyapu, memegang pistol, memegang senapan, berbaring, melempar, dan memegang pisau/senjata tajam. Selain itu, dilakukan juga penelitian pengaruh parameter detection score threshold dan rasio train test split dataset terhadap performa model. Dari hasil eksperimen, dapat dilihat bahwa model human action recognition yang dibangun memiliki performa yang tinggi, baik pada proses pelatihan maupun pengujian.
Human action recognition is a process that aims to identify the actions of a human in an image or video frame. This information can then be utilized for various needs such as security monitoring, activity monitoring, etc. To provide an accurate identification, human action recognition systems require an environment with good illumination and high contrast. However, in several cases, the illumination obtained by the human action recognition system is not so good, which can disrupt the identification process. This research aims to design a human action recognition system using a thermal video dataset. The human action recognition system will be developed using the PoseC3D algorithm from MMAction2. PoseC3D is one of the skeleton-based human action recognition approach methods that uses a 3D heatmap stack instead of a sequence of graphs as a basic representation of the human skeleton. The thermal video dataset consists of eight (8) action classes, i.e., walking, sitting, sweeping the floor, holding a gun, holding a rifle, lying down, throwing something, and holding a knife/sharp weapon. In addition, a study was conducted to determine the impact of the detection score threshold parameter and the the train test split dataset ratio on model performance. From the experiment results, it can be concluded that the human action recognition model built has a high performance, both in the training and testing processes. |
S-Muhammad Fadhil Al Hafiz.pdf :: Unduh