Terdapat banyak metode pembelajaran mesin menggunakan jaringan saraf tiruan untuk mendeteksi atau mengenali aksi manusia, salah satunya adalah metode pengenalan aksi manusia berdasarkan kerangka (Skeleton-base Action Recognition) PoseC3D dengan arsitektur pembelajaran 3D-CNN (3D Convolutional Neural Network). Pada metode PoseC3D, dilakukan pengenalan aksi manusia berdasarkan kerangka manusia dari data visual RGB dengan mengambil aksi dalam bentuk heatmap 2D dan kemudian dibentuk hingga menjadi heatmap 3D. Heatmap 3D tersebut dilakukan pembelajaran dengan arsitektur 3D-CNN untuk didapatkan keluaran berupa klasifikasi dari aksi manusia. Metode PoseC3D diajukan karena dikatakan mampu untuk melakukan pengenalan aksi manusia yang lebih baik dibandingkan dengan metode lain. Metode ini dikatakan lebih efektif dalam pembelajaran fitur spatiotemporal, lebih mampu menghadapi gangguan estimasi pose, hingga dapat melakukan pengenalan aksi manusia dalam skenario banyak manusia dalam satu bingkai. Oleh karena itu, penelitian ini melakukan percobaan dan pengujian sistem pengenalan aksi manusia dengan metode PoseC3D karena dikatakan mampu memberikan hasil yang baik. Penelitian melakukan percobaan dan pengujian metode sistem menggunakan himpunan data buatan yang berisi video seseorang yang sedang melakukan suatu aksi dengan aksi manusia berbahaya dan tidak berbahaya. Dalam himpunan data aksi manusia buatan ini terdapat delapan aksi manusia yang terdiri dari lima aksi manusia yang tidak berbahaya, yaitu berjalan, duduk, menyapu, berbaring, dan melempar serta terdapat tiga aksi manusia yang berbahaya, yaitu aksi menggunakan pistol, senjata laras panjang, dan pisau. Pada penelitian, dilakukan percobaan dengan melakukan pelatihan model menggunakan himpunan data aksi manusia tadi untuk mendapatkan keluaran berupa model pelatihan dengan akurasi model tersebut dan pada pengujian akan dilakukan pengujian model pelatihan yang diperoleh menggunakan data video yang diujikan untuk mengetahui ketepatan pengenalan aksi manusia. Dari keluaran yang diperoleh, akan dilakukan analisis keberhasilan dan keakuratan metode PoseC3D dengan himpunan data buatan dalam mengenali aksi manusia.
There are many machine learning methods using an artificial neural network to detect or recognize human action, one of them is Skeleton-based Action Recognition using the PoseC3D method with 3D-CNN (3D Convolutional Neural Network) learning architecture. The PoseC3D method does action recognition based on a human skeleton from the RGB visual data by extracting the human pose or action on a 2D heatmap and then transforming it into a 3D heatmap. The 3D heatmap is done by learning with 3D-CNN architecture to obtain output in the form of classification from human action. The PoseC3D method is said to be able to do human action recognition better rather than other methods where this method is said to be more effective in learning spatiotemporal features, can perform human action recognition with multiple people, and is more robust with pose estimation noise. Therefore, this study experiment and testing of human action recognition with the PoseC3D method which is said to be able to obtain an output with a good result. The study experiment and tested human action recognition with a custom dataset of the video containing several humans doing some action with dangerous and harmless actions. In this custom dataset containing human actions, there are eight human actions consisting of five harmless human actions, namely walking, sitting, sweeping, lying down, and throwing and there are three dangerous human actions, namely using a gun, rifle, and knife. In the research, an experiment was carried out by conducting model training using the custom human action dataset earlier to get the output in the form of a training model with the accuracy of the model and in testing the training model obtained using video data was tested to determine the accuracy of recognition of human actions. From the output obtained, an analysis of the success and accuracy of the PoseC3D method with custom datasets will be carried out in recognizing human actions. |
S-Rayhan Rizky Akbar Amanda.pdf :: Unduh