Hasil Pencarian  ::  Simpan CSV :: Kembali

Abstrak :
Kemampuan berkomunikasi menggunakan bahasa isyarat sangat penting bagi kaum tunarungu dan tunawicara. Rendahnya persentase rakyat Indonesia yang menguasai bahasa isyarat menjadi latar belakang pengembangan aplikasi penerjemah Sistem Isyarat Bahasa Indonesia (SIBI) menjadi teks. Sistem penerjemah bahasa isyarat menjadi teks dikembangkan menggunakan MediaPipe Hands dengan konfigurasi default dan Convolutional Neural Network (CNN) sebagai classifier hasil recognition MediaPipe. Sistem tersebut diimplementasikan menjadi aplikasi berbasis Android untuk menerjemahkan bahasa isyarat SIBI menjadi teks secara real-time. Dari hasil pengujian sistem penerjemah yang dikembangkan menggunakan 3.803 data landmark tangan dengan rasio training, validation, dan testing sebesar 70:15:15, diperoleh tingkat akurasi model training sebesar 98.57% dengan tingkat akurasi model testing sebesar 92.59%. Aplikasi penerjemah SIBI menjadi teks dapat dijalankan secara real-time dengan jumlah frame kamera yang dapat diproses sekitar 20 frame per detik. Pada pengujian aplikasi dalam menerjemahkan SIBI menjadi teks, diperoleh akurasi sebesar 96.92%. Perbedaan gestur tangan yang ditangkap oleh kamera ketika berbahasa isyarat menjadi kekurangan pada aplikasi yang menyebabkan teks yang diterjemahkan kadang tidak sesuai. Saran untuk pengembangan lebih lanjut yaitu meningkatkan performa model SIBI dan menambah jumlah bahasa isyarat yang dapat diterjemah. ......The ability to communicate with sign language becomes very important for disabilities who cannot hear or speak. The low percentage of Indonesian societies who are not able to understand Indonesian sign language becomes the background of the SIBI recognizer application development. SIBI recognizer system is developed using MediaPipe Hands with default configuration and Convolutional Neural Network (CNN) as the classifier of MediaPipe recognition result. The system is implemented to an Android based application project for real-time SIBI sign language to text recognition. The SIBI recognizer system model developed with 3.803 data of hand landmarks with training, validation, and testing ratio of 70:15:15 achieves the training accuracy of 98.57% and testing accuracy of 92.59%. The SIBI recognizer application can perform in real-time with average number of 20 frames per second. The application testing results in accuracy of 96.92%. The hand gesture difference caught by the camera when performing sign language becomes the drawback of the application, hence the translated text sometimes mismatched. Suggestions for the future development include improving SIBI model performance and increasing the number of sign languages to be translated.

Abstrak :
Hasil rekaman kamera ponsel rentan memiliki blur terutama jika ada objek bergerak seperti rekaman bahasa isyarat. Hal tersebut membuat usaha untuk melakukan interpretasi bahasa isyarat pada rekaman kamera ponsel menjadi terhambat karena terjadi blur pada bagian tangan peraga bahasa isyarat. Penelitian ini berusaha melakukan perbaikan hasil rekaman peragaan bahasa isyarat yang direkam dengan kamera ponsel menggunakan partial deblur dan DeblurGANv2. Partial Deblur adalah metode deblur yang dikembangkan dalam penelitian ini untuk menghindari melakukan deblur pada bingkai utuh melainkan hanya melakukan deblur pada bagian bingkai yang blur karena pergerakan objek (partial) demi mengurangi waktu deblur. Partial Deblur bekerja dengan mencari partial berdasarkan pergerakan dari dua buah bingkai berdekatan dalam satu sekuens bingkai yang sama. Partial yang telah didapatkan kemudian dilakukan deblur menggunakan DeblurGANv2 dengan pretrained model. Setelah Partial Deblur selesai dikembangkan, performanya dibandingkan dengan deblur bingkai utuh menggunakan DeblurGANv2. Performa yang dibandingkan adalah peningkatan skor blur, waktu yang dibutuhkan untuk deblur, dan analisis subjektif hasil deblur kedua metode. Hasil eksperimen menunjukkan bahwa Partial Deblur berhasil mendapatkan partial yang berisi bagian bingkai yang blur karena pergerakan objek dan peningkatan skor blur bingkai dari deblur bingkai menggunakan DeblurGANv2 hampir sama dengan peningkatan skor blur partial dari Partial Deblur. Selain itu, waktu rata-rata yang dibutuhkan Partial Deblur untuk memproses suatu sekuens hanya 1/8 kali dari pada menggunakan deblur bingkai dengan DeblurGANv2. Namun, hasil analisis subjektif terhadap hasil deblur menunjukkan bahwa DeblurGANv2 yang digunakan untuk melakukan deblur partial dalam metode partial deblur dan deblur bingkai belum berhasil memperbaiki bagian yang blur karena pergerakan objek. ......Video recordings of smartphone cameras are susceptible to blur, especially if exist a fast-moving object like sign language video recordings. Blurs in the area of hands of sign language demonstrator will result in inaccuracies when in the attempt of sign language interpretation using the developed smartphone app. This study tries to improve the results of the sign language demonstration recorded with a smartphone camera using Partial Deblurring and DeblurGANv2. Partial Deblurring is a deblurring method that was developed in this research to avoid doing deblur on the whole frame but only doing deblur parts of the frame that is blurry due to object movement (partial) in order to reduce time cost. Partial Deblurring works by finding partials based on the movement of two adjacent frames in the same frame sequence. Partials that have been obtained are then deblurred using DeblurGANv2 with a pretrained model. After Partial Deblurring has been developed, its performance is compared to full-frame deblurring using DeblurGANv2. The performance compared is the increase in the blur score (using variance of laplacian), time cost for deblur, and subjective analysis of the results of the deblur of the two methods. The experimental results show that Partial Deblurring managed to obtain partials that contain parts of the frame that is blurred due to object movement, and the increase of blur score in the area being deblurred is almost the same as that of full-frame deblurring. In addition, the average time required for Partial Deblurring to process a sequence of frames is only 1/8 times that of using full-frame deblurring. However, the results of the subjective analysis show that the DeblurGANv2 used to perform deblurring in the Partial Deblurring and full-frame deblurring methods has not succeeded in correcting the blurred parts where extreme movements happen.