SIBI (Sistem Isyarat Bahasa Indonesia) merupakan bahasa isyarat resmi yang digunakan oleh penyandang tunarungu di Indonesia untuk berkomunikasi sehari- hari baik dengan sesama penyandang tunarungu maupun orang non-tunarungu. Adanya aplikasi penerjemah gerakan Bahasa isyarat ke teks akan sangat membantu proses komunikasi antara tunarungu dan non-tunarungu. Salah satu fitur yang dibutuhkan untuk pengembangan model penerjemah SIBI adalah informasi kerangka manusia (skeleton). Penelitian ini bertujuan untuk mengembangkan metode ekstraksi fitur kerangka manusia dari citra video telepon pintar untuk melatih model pembelajaran mesin LSTM (Long Short-Term Memory) pengenal gerakan kata dasar SIBI. Metode ekstraksi fitur yang dikembangkan menggunakan Haar Cascade untuk identifikasi titik bahu, algoritma Lucas-Kanade untuk melacak titik tangan, dan menggunakan interpolasi antara titik bahu dan tangan untuk mengidentifikasi titik siku. Dari titik-titik skeleton tersebut, dihitung sudut antara bahu dan lengan atas, serta bahu dan lengan bawah. Hasil ekstraksi digunakan sebagai input untuk model pembelajaran mesin LSTM yang telah dikembangkan sebelumnya. Penelitian ini berhasil mengembangkan metode ekstraksi skeleton yang saat dimasukkan ke model LSTM menghasilkan model dengan akurasi terbaik hingga 84.64%. Model dengan akurasi terbaik tersebut adalah model LSTM 2 layer dan dilatih dengan parameter jumlah hidden unit 512, jumlah batch 100, dan iterasi training 1800 epoch.

---

SIBI (Indonesian Language Sign System) is the official sign language system used by deaf people in Indonesia to communicate with each other and with non-deaf people. An application that can translate the sign language movement from video to text would be very useful to help communication between deaf and non-deaf people. One of the features needed to develop a model to translate sign language gesture is the subject’s skeleton. This research aims to develop a method to extract skeleton feature from smartphone video image to be used to train an LSTM (Long Short-Term Memory) machine learning model to translate gestures of SIBI base words. The developed method used Haar Cascade to identify shoulder points, Lucas-Kanade Algorithm to track hand points, and interpolate elbow points based on the location of previously known shoulder and hand points. From those skeleton points, the angles between shoulder and upper arm, and the shoulder between upper and lower arm are computed. This extraction result is then fed into a previously- developed LSTM machine learning model as training data. This research successfully develops a skeleton extraction method that when fed into LSTM model resulted in a model that can achieve accuracy up to 84.64%. This best model is LSTM with 2 layers, and trained with 512 hidden units, 100 batch size, and 1800 training epoch.