Hasil Pencarian  ::  Simpan CSV :: Kembali

"Bahasa isyarat menjadi sarana utama bagi penyandang tunarungu untuk berkomunikasi. Kemampuan penyandang tunarungu untuk beradaptasi dengan lingkungannya ditentukan dari seberapa baik komunikasi dua arah dapat dilakukan dengan bahasa isyarat. Adanya smartphone sebagai teknologi yang umum digunakan masyarakat luas dapat menjadi sarana bagi masyarakat untuk berkomunikasi dengan penderita tunarungu. Penelitian ini berfokus pada pengembangan aplikasi yang mampu mengimplementasikan sistem penerjemah SIBI pada smartphone Android. Penelitian ini menggunakan hasil freeze model yang dikembangkan oleh peneliti sebelumnya yaitu MobileNetV2, CRF, dan LSTM. Ketiga model tersebut berjalan sebagai serangkaian proses dan digunakan untuk memproses data video gerakan isyarat. Keluaran dari sistem penerjemah ini adalah terjemahan isyarat dalam bentuk teks. Penelitian ini juga melakukan percobaan untuk meningkatkan kinerja MobileNetV2 dengan menerapkan parallel processing dengan dua hingga empat inference. Berdasarkan hasil percobaan, sistem penerjemah yang dikembangkan mampu menerjemahkan bahasa isyarat dengan akurasi kata 90,560%, akurasi kalimat 64%, dan waktu penerjemahan rata- rata 20 detik. Penggunaan parallel processing dapat meningkatkan kinerja MobileNetV2 sebesar 54%.

---

Sign language is the main media for deaf people to communicate. The ability of people with hearing impairment to adapt to their environment is determined by how well two-way communication can be done with sign language. The existence of a smartphone as a technology that is commonly used by the wider community can be a means for the community to communicate with people with hearing impairment. This research focuses on developing applications that is able to implement the SIBI translator system on Android smartphones. This study uses the results of the freeze model developed by previous researchers, which are MobileNetV2, CRF, and LSTM. The three models operate as a series of processes and are used to process sign language gesture video. The output of this translator system is sign language translation in text form. This study also conducted an experiment to improve the performance of MobileNetV2 by implementing parallel processing with two to four inferences. Based on the experimental results, the translator system developed was able to translate sign language with an word accuracy of 90.560%, sentence accuracy 64%, and an average translation time of 20 seconds. The use of parallel processing can improve the performance of MobileNetV2 by 54%."

"Keterbatasan mendengarkan suara tunarungu menyebabkan kemampuan berbahasa penyandang tunarungu tidak dapat berkembang sebagaimana mestinya. Untuk mengganti komunikasi lisan penyandang tunarungu menggunakan bahasa isyarat dalam berkomunikasi. SIBI (Sistem Isyarat Bahasa Indonesia) adalah salah satu sistem bahasa isyarat di Indonesia yang bekerja dengan merepresentasikan tata bahasa lisan Indonesia ke dalam isyarat gerakan. Perkembangan teknologi aplikasi mobile yang pesat merupakan sebuah peluang untuk dapat menyediakan aksesibilitas pada penyandang tunarungu. Oleh karena itu, penelitian ini membahas pengembangan aplikasi mobile untuk menerjemahkan teks Bahasa Indonesia menjadi gerakan isyarat SIBI. Penelitian ini membahas mengenai pengembangan aplikasi mobile berdasarkan penelitian Darmana (2019) tentang pembangkitan gerakan isyarat SIBI. Penelitian ini menerapkan metode desain user centered design (UCD) yang dilakukan dalam 2 kali iterasi yang berisi tahapan analisis kebutuhan pengguna, perancangan desain interaksi, pengembangan aplikasi, evaluasi, dan perbaikan aplikasi. Proses pengembangan desain dan implementasi aplikasi didasarkan kepada kebutuhan pengguna yang didapatkan melalui wawancara. Pada penelitian dilakukan 2 kali evaluasi pada aplikasi untuk mendapatkan umpan balik yang digunakan sebagai dasar perbaikan. Pada akhir penelitian juga dilakukan uji usability menggunakan SUS dan uji waktu eksekusi. Hasilnya, didapatkan bahwa aplikasi hasil berhasil memenuhi kebutuhan pengguna yang didapatkan, dan memiliki usability yang baik.

---

The limitation of listening causes the language skills of people with hearing impairment can not be developed as they should. To replace their verbal communication, people with hearing impairment use sign language to do communication. SIBI (Sistem Isyarat Bahasa Indonesia) is one of the sign language systems in Indonesia that works by representing Indonesian spoken grammar into hand gestures. On the other hand, the rapid development of mobile application technology is an opportunity to provide accessibility to people with hearing impairment. Therefore, this research discusses the development of a mobile application to translate Indonesian text into SIBI gestures. This study discusses the development of mobile applications based on Darmana (2019) research on the generation of SIBI gestures. This study applies the user centered design (UCD) design method which is carried out in 2 iterations that contains the stages of user needs analysis, interaction design, application development, evaluation, and application improvement. The development of application design and the application implementation is based on user needs obtained through interviews. In the study the 2 evaluations are used to get feedbacks that is used as a base for improvement. At the end of the study an SUS test and an execution time test were also conducted. It was found that the application successfully meet the user requirements and has a good usability.

"

"Kemampuan berkomunikasi menggunakan bahasa isyarat sangat penting bagi kaum tunarungu dan tunawicara. Rendahnya persentase rakyat Indonesia yang menguasai bahasa isyarat menjadi latar belakang pengembangan aplikasi penerjemah Sistem Isyarat Bahasa Indonesia (SIBI) menjadi teks. Sistem penerjemah bahasa isyarat menjadi teks dikembangkan menggunakan MediaPipe Hands dengan konfigurasi default dan Convolutional Neural Network (CNN) sebagai classifier hasil recognition MediaPipe. Sistem tersebut diimplementasikan menjadi aplikasi berbasis Android untuk menerjemahkan bahasa isyarat SIBI menjadi teks secara real-time. Dari hasil pengujian sistem penerjemah yang dikembangkan menggunakan 3.803 data landmark tangan dengan rasio training, validation, dan testing sebesar 70:15:15, diperoleh tingkat akurasi model training sebesar 98.57% dengan tingkat akurasi model testing sebesar 92.59%. Aplikasi penerjemah SIBI menjadi teks dapat dijalankan secara real-time dengan jumlah frame kamera yang dapat diproses sekitar 20 frame per detik. Pada pengujian aplikasi dalam menerjemahkan SIBI menjadi teks, diperoleh akurasi sebesar 96.92%. Perbedaan gestur tangan yang ditangkap oleh kamera ketika berbahasa isyarat menjadi kekurangan pada aplikasi yang menyebabkan teks yang diterjemahkan kadang tidak sesuai. Saran untuk pengembangan lebih lanjut yaitu meningkatkan performa model SIBI dan menambah jumlah bahasa isyarat yang dapat diterjemah.

---

The ability to communicate with sign language becomes very important for disabilities who cannot hear or speak. The low percentage of Indonesian societies who are not able to understand Indonesian sign language becomes the background of the SIBI recognizer application development. SIBI recognizer system is developed using MediaPipe Hands with default configuration and Convolutional Neural Network (CNN) as the classifier of MediaPipe recognition result. The system is implemented to an Android based application project for real-time SIBI sign language to text recognition. The SIBI recognizer system model developed with 3.803 data of hand landmarks with training, validation, and testing ratio of 70:15:15 achieves the training accuracy of 98.57% and testing accuracy of 92.59%. The SIBI recognizer application can perform in real-time with average number of 20 frames per second. The application testing results in accuracy of 96.92%. The hand gesture difference caught by the camera when performing sign language becomes the drawback of the application, hence the translated text sometimes mismatched. Suggestions for the future development include improving SIBI model performance and increasing the number of sign languages to be translated."

"ABSTRAKSIBI merupakan bahasa isyarat resmi bagi penyandang tunarungu di Indonesia. Dalam pembentukan isyarat, SIBI mengikuti aturan tata bahasa Indonesia. Untuk membentuk isyarat kata berimbuhan, maka isyarat imbuhan awalan, akhiran dan partikel ditambahkan ke isyarat kata dasar. Karena banyak isyarat SIBI merupakan isyarat kata berimbuhan dan belum ada penelitian tentang kata tersebut, maka penelitian ini fokus pada membangun sistem penerjemah kata berimbuhan SIBI ke teks. Gerakan isyarat ditangkap oleh kamera Kinect yang menghasilkan data color, depth dan skeleton. Data Kinect ini diolah menjadi fitur yang dipakai oleh model untuk mengenali gerakan. Sistem penerjemah memerlukan teknik ekstraksi fitur, yang dapat menghasilkan sebuah feature vector set dengan ukuran yang minimal. Penelitian ini berusaha untuk dapat memisahkan isyarat imbuhan dan kata dasar pada isyarat kata berimbuhan. Dengan kemampuan ini, sistem penerjemah menghasilkan 3 feature vector set: kata dasar, awalan dan akhiran. Tanpa pemisahan, feature vector set yang harus disediakan adalah sebanyak perkalian cartesian dari ketiga feature vector set tersebut. Perkalian ketiga set ini tentunya akan menghasilkan feature vector set total yang berukuran sangat besar. Model yang dicoba pada penelitian ini adalah Conditional Random Fields, Hidden Markov Model, Long Short-Term Memory Neural Networks LSTM dan Gated Recurrent Unit. Akurasi yang terbaik yang dicapai oleh untuk LSTM 2-layer 77.04 . Keunggulan dari LSTM terletak pada inputnya yang berupa sequence-of-frames dan setiap frame direpresentasi oleh fitur lengkap, bukan fitur hasil clustering. Model sequence-of-frames lebih cocok untuk SIBI, karena gerakan isyarat SIBI memiliki long-term temporal dependencies. Error hasil prediksi banyak terjadi pada kelompok awalan dan akhiran. Hal ini karena miripnya gerakan pada isyarat-isyarat imbuhan SIBI tersebut. LSTM 2-layer yang dipakai untuk mengenali kata dasar saja memberikan akurasi yang tertinggi 95.4 .

---

ABSTRACTSIBI is the official sign language system for the Indonesian language. The formation of SIBI gestures follow Indonesian grammar rules, including inflectional words. Inflectional words are root words with prefixes, infixes, and suffixes, or a mix of the three. Inflectional gestures are made from root word gestures, with prefix, suffix and particle gestures added in the order in which they appear, all of which is unique to SIBI. This research aims to find a suitable model that can quickly and reliably perform SIBI to text translation on inflectional word gestures. The hand movement of the signer is captured by a Kinect camera. The Kinect data was then processed to yield features for the models to use recognize the gestures. Extant research have been able to translate the alphabet, root words, and numbers from SIBI to text, but none has been able to translate SIBI inflectional word gestures. In order for the translation system to work as efficiently as possible, this research developed a new method that splits an inflectional word into three feature vector sets root, prefix, suffix . This ensures that a minimally descriptive feature sets are used. Without using this, the feature sets would otherwise be as big as the Cartesian product of the prefixes, suffixes and root words feature sets of the inflectional word gestures. Four types of machine learning models were tested Conditional Random Fields, Hidden Markov Model, Long Short Term Memory Net, dan Gated Recurrent Unit. The 2 layer LSTM, with an accuracy of 77.04 , has been proven to be the most suitable. This model 39 s performance is due to the fact that it can take entire sequences as input and doesn 39 t rely on pre clustered per frame data. The 2 layer LSTM performed the best, being 95.4 accurate with root words. The lower accuracy with inflectional words is due to difficulties in recognizing prefix and suffix gestures."

"Sebagai bentuk interaksi sosial, komunikasi menjadi salah satu hal yang tidak dapat dihindari. Komunikasi menjadi metode yang paling mudah untuk diterapkan oleh setiap orang untuk saling bertukar informasi. Informasi yang diperoleh akan sangat bergantung pada proses komunikasi yang berlangsung. Bagi teman tuli, komunikasi menjadi hal yang cukup sulit dilakukan apabila hendak berinteraksi dengan teman dengar. Begitu juga sebaliknya, teman dengar akan kesulitan apabila melakukan hal yang serupa. Terdapat salah satu aplikasi yang dapat mengatasi kesulitan interaksi bagi teman tuli, yaitu sistem aplikasi SIBI. Sistem aplikasi SIBI mampu membantu penggunanya untuk berkomunikasi kepada sesama pengguna dengan menerjemahkan bahasa isyarat SIBI menjadi teks bahasa Indonesia begitu juga sebaliknya. Namun ternyata sistem aplikasi ini dirasa belum cukup membantu penggunanya ditinjau dari sisi desain interaksinya. Melalui permasalahan tersebut, penelitian ini hadir untuk meningkatkan kualitas desain interaksi sistem aplikasi SIBI yang diharapkan kan berdampak pada meningkatnya kualitas komunikasi bagi teman tuli. Penulis merancang suatu alternatif desain untuk menjawab permasalahan yang ada dengan menerapkan user centered design. Hasil dari desain alternatif tersebut akan ditinjau ulang hingga akhirnya menghasilkan suatu rekomendasi desain sistem aplikasi SIBI yang merupakan hasil akhir dari penelitian ini.

---

As a one of many forms of social interaction, communication is something that cannot be replaced. Communication is the easiest method for everyone to use to take and give the information. The information that obtained will be very useful based on the ongoing communication process before. For deaf peoples, communication becomes a difficult thing to do when they want to interact with a normal people and also a normal people will find it difficult to do the same thing. There is one application that can solve the difficulties, named SIBI application system. SIBI application system able to help the users to communicate with other users by translating the SIBI language into Indonesian text and vice versa. However, it turns out that this application system is not helpful enough to use in an interaction design point of view. Through this problem, this research is to improve the quality of the interaction design of the SIBI application system which is expected to have an impact on the quality of communication for deaf friends. The author will design an alternative design to answer the existing problems by implementing a user-centered design. The results of the alternative designs will be reviewed to finally produce a recommendation for the SIBI application system design which is the final result of this research."

"

Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem bahasa isyarat yang diakui secara resmi oleh Departemen Pendidikan dan Kebudayaan Indonesia dan digunakan sebagai salah satu media komunikasi dalam proses pembelajaran di SLB (Sekolah Luar Biasa) bagi kaum tunarungu. Bagi kaum awam yang sama sekali tidak mengetahui gerakan isyarat SIBI tentunya akan mengalami kesulitan ketika harus berkomunikasi dengan kaum tunarungu. Berangkat dari hal tersebut, diperlukan suatu sistem penerjemah dari gerakan SIBI ke teks Bahasa Indonesia, ataupun sebaliknya dari teks Bahasa Indonesia ke gerakan SIBI. Penelitian ini merupakan tahapan awal dari sistem penerjemah dari teks Bahasa Indonesia ke bahasa isyarat yang memiliki fokus untuk melakukan proses pembangkitan gerakan isyarat dari suatu kalimat menjadi isyarat SIBI dalam bentuk animasi tiga dimensi gerakan tangan dan jari pada platform telepon pintar. Proses pembangkitan gerakan dimulai dari proses dekonstruksi kalimat menjadi komponen-komponen kata penyusunnya menggunakan look-up table kata berimbuhan, kata dasar, dan kamus slang. Komponen-komponen kata lalu direferensikan dengan animasi gerakannya. Data gerakan didapat melalui proses perekaman menggunakan sensor motion-capture perception neuron v2 yang mengacu pada kamus SIBI. Dalam proses penyusunan gerakan-gerakan SIBI, akan terdapat jeda antara gerakan awal menuju gerakan selanjutnya. Sehingga diperlukan beberapa gerakan transisi yang dibangkitkan menggunakan interpolasi cross-fading. Berdasarkan hasil evaluasi yang telah dilakukan, gerakan yang dibangkitkan dapat merepresentasikan gerakan SIBI yang benar dengan nilai akurasi terbesar 97.56%, dan 84% hasil pembangkitan dinyatakan Sangat Puas, 14% Puas, serta 2% Cukup.

---

Sign System for Bahasa Indonesia (SIBI) is the official sign language authorized by The Ministry of Education and Culture of Indonesia and being used as one of the communication media by School for Children with Special Needs (SLB) for people with hearing impairments in the process of learning. For people who have a lack of knowledge about SIBI gestures certainly will have difficulty to communicate with people with hearing impairments. Thus, a translation system from SIBI gestures to sentences in Bahasa Indonesia or vice versa is needed. This research is the initial stage of a translation system from sentences in Bahasa Indonesia to SIBI Gestures. The focus of this research is to generate sign gestures in the form of 3D Animation from a sentence input in text format and deployed on the smartphone device. The generation process started from deconstructing the input sentence into its word components using a look-up table that consists of affixes, root words, and a slang dictionary. Then, this word components referred to their gesture animations. The gesture data were recorded with motion-capture sensor Perception Neuron v2 and using the official SIBI Dictionary as reference. In the process of combining the SIBI gestures, a pause between the initial gesture and the next gesture has occurred. Thus, transition gestures also needed to be generated using the cross-fading interpolation. Based on evaluation results, generated gestures correctly represent smooth SIBI gestures with the largest accuracy score of 97.56% with a level of Very Satisfied 84%, Satisfied 14%, Fair 2%.

"

"Cyberbullying merupakan hal yang marak terjadi di dunia global, bahkan di Indone- sia. Menurut survei yang dilaksanakan oleh UNICEF terhadap 2.777 anak muda di Indonesia pada tahun 2019, 45 persen dari partisipan tersebut pernah mengalami cy- berbullying. Dari data tersebut, penulis ingin mencoba mengurangi jumlah tersebut dengan membuat suatu aplikasi untuk mendeteksi apakah sebuah kalimat yang ditulis mengandung unsur cyberbullying atau tidak sehingga pengguna aplikasi terse- but dapat menjaga ucapannya dalam mengirim pesan secara online. Aplikasi tersebut dibuat berbasis android sehingga mudah untuk diakses masyarakat Indonesia. Aplikasi tersebut juga dibuat berdasarkan bahasa pemrograman Kotlin, karena ba- hasa pemrograman tersebut merupakan bahasa yang modern, ringkas, mudah untuk dioperasikan, serta merupakan bahasa pemrograman yang lebih aman untuk digu- nakan dalam mendesain suatu aplikasi android dibandingkan dengan bahasa pem- rograman yang lainnya.

---

Cyberbullying is something that is happening massively in global, especially in In- donesia. According to a survey by UNICEF that is conducted to 2,777 young people in Indonesia in 2019, 45 percent of the participants had experienced cyberbullying. From this data, the author wants to try to reduce this number by creating an application to detect whether a sentence written contains elements of cyberbullying or not so that application users can protect their speech when they are sending messages online. The application is based on Android so that it is easy for Indonesian people to access. The application is also made based on Kotlin programming language, be- cause this programming language is a modern, concise, easy-to-operate language, and is a safer programming language to use in designing an Android application compared to other programming languange."

"Di awal tahun 2020, banjir beberapa kali menggenangi sebagian besar wilayah Jakarta dan sekitarnya. Ribuan warga harus mengungsi ke tempat lain karena air yang masuk dan menggenangi rumah mereka. Fenomena baru yang banyak terjadi pada saat banjir awal tahun ini adalah maraknya warga yang menggunakan media sosial untuk mencari berbagai jenis bantuan, mulai dari bantuan evakuasi atau pun bantuan seperti makanan dan medis. Fenomena tersebut melatarbelakangi adanya penelitian ini, yaitu untuk mengembangkan aplikasi berbasis Android bernama Res-Q yang dapat memfasilitasi para korban banjir mencari berbagai jenis bantuan. Melalui aplikasi Res-Q, para korban banjir dapat mengirimkan lokasi terbaru beserta dengan jenis bantuan yang diinginkan agar dapat diketahui oleh pihak tim penolong. Korban banjir yang masih dapat melakukan evakuasi mandiri juga dapat mencari posko bantuan dan penampungan terdekat beserta informasi seputar posko tersebut. Aplikasi Res-Q yang telah dikembangkan dievaluasi menggunakan pengujian task scenario dan kuesioner System Usability Scale (SUS). Skor yang didapatkan pada pengisian kuesioner SUS adalah 87 yang berarti aplikasi Res-Q termasuk acceptable dengan grade A. Sementara itu, dari pengujian task skenario didapatkan beberapa masukan terkait tampilan dan juga fungsionalitas beberapa fitur tertentu.

---

In the early 2020, Jakarta and its neighborhood suffered from floods several times. Thousands of people had to be evacuated since their dwellings were flooded. This sudden emergence of repeating floods incited the society to use social media platforms to seek for help such as food supply, evacuation, and medical support. The urge of people using the social media platforms to help fulfilling their needs is the main background why this research is conducted, which is developing an Android-based application called Res-Q. This application works for those people who seek for several kind of aids. By using the application, the user is able to send their location along with the kind of aids they need. The floods victim who is still capable to independently evacuate themselves is also possible to find the closest aid post along with its detailed information. Res-Q application that has been developed is evaluated by task scenario test and System Usability Scale (SUS) questionnaire. The research reveals that the final score earned in SUS questionnaire is 87, which shows how the Res-Q application is acceptable with the A grade. On the other hand, the task scenario test received several feedbacks in regards of its display and its functional features. "

"Bahasa yang dapat diakses anak tunarungu secara natural adalah bahasa isyarat. Pada usia kritis, anak perlu secara reguler medapat pemaparan bahasa yang dapat diakses atau anak akan mengalami kendala dalam berbahasa yang berujung pada kendala lain. Namun, banyak orang tua mendengar yang belum menyadari sepenuhnya metode yang baik dalam mengajarkan dan berkomunikasi dengan bahasa isyarat. Penelitian ini bertujuan memberikan solusi bagi para orang tua anak tunarungu mempelajari bahasa isyarat agar dapat mendidik dan berkomunikasi dengan anak melalui bahasa yang dapat diakses anak tunarungu. Pengembangan desain antarmuka solusi aplikasi ini menggunakan metode user-centered design. Pengumpulan masalah dan kebutuhan dilakukan dengan melakukan wawancara dengan orang tua anak tunarungu dan wawancara dengan psikolog. Setelah desain antarmuka dibuat dalam bentuk prototipe, dilakukan evaluasi kualitatif dengan usability testing dan kuantitatif dengan System Usability Scale (SUS). Berdasarkan hasil evaluasi yang diberikan pengguna, aplikasi pembelajaran bahasa isyarat untuk orang tua memiliki usability yang cukup baik dan memiliki skor SUS yang cukup tinggi.

---

The language that deaf children can naturally access is sign language. At the critical age, children need to start learning their accessible language otherwise children will have language deprivation that can leads to other cognitive problems. However, many hearing parents do not understand good methods on how to teach children and communicating with sign language. This research provides a solution for parents of deaf children to learn basic of language that is accessible for deaf children, sign language. The interface of this application was designed using user-centered design approach. Requirement gathering was done by conducting interviews with parents of deaf children and interview with a psychologist. After the prototype was made, the design evaluated qualitatively by conducting usability testing and quantitatively using System Usability Scale (SUS). Based on the evaluation results, sign language learning application for parents have overall good usability and have a fairly high SUS score."

"

Bahasa isyarat merupakan suatu tatanan gerakan yang mewakili suatu kosakata pada bahasa tertentu dan memiliki fungsi untuk membantu penyandang tunarungu dalam mengatasi masalah berkomunikasi. Namun tidak semua masyarakat umum menguasai bahasa isyarat. Dari permasalahan tersebut, sistem penerjemah bahasa isyarat diperlukan dalam membantu proses komunikasi penyandang tunarungu. Sistem penerjemah memerlukan sebuah video gerakan bahasa isyarat untuk kemudian dapat dikenali Dalam sebuah video utuh yang berisi satu sequence gerakan kalimat isyarat terdapat dua jenis gerakan yaitu gerakan isyarat (gesture) yang mengandung arti dan gerakan transisi (non gesture). Pada penelitian ini diusulkan metode untuk menngenali gesture dan non gesture pada kalimat SIBI (Sistem Isyarat Bahasa Indonesia) menggunakan Threshold Conditional Random Field (TCRF). Data yang digunakan adalah 2.255 video rekaman gerakan untuk 28 isyarat kalimat pada SIBI yang di peragakan oleh  tiga orang guru dan dua orang murid dari SLB Santi Rama Jakarta. Untuk merepresentasikan data, pada penelitian ini dibandingkan teknik ekstraksi fitur skeleton, image, gabungan (gabungan antara fitur skeleton dan fitur image) dan MobileNetV2. Untuk klasifikasi digunakan metode TCRF dengan variasi nilai threshold dari 1 sampai 4. Berdasarkan hasil eksperimen, masing-masing teknik ekstraksi fitur menghasilkan akurasi terbaik sebesar 72.5% untuk skeleton dengan threshold 2, 70.3% untuk image dengan threshold 2, 68.5% untuk gabungan dengan threshold 2 dan 93.2% untuk MobileNetV2 dengan threshold 1.5. Berdasarkan akurasi tersebut teknik ekstraksi fitur dengan model MobileNetV2 dapat merepresentasikan data lebih baik dibandingkan dengan ekstraksi skeleton, image, dan gabungan

---

Sign language is a series of movements that represent the vocabulary of a particular language and is designed to help the hearing-impaired communicate. However, not everyone is familiar with the sign language gestures, so a sign language translation system would aid communication by allowing more people to understand sign language gestures. A video that contains a sequence of sign sentences with two types of movements, namely sign movements (word-gestures) which have represent language constructs, and transitional movements (transitional-gesture). A method to identify both word-gestures and transitional-gestures in a variant of the Indonesian Sign Language System called Sistem Isyarat Bahasa Indonesia (hereafter referred to as SIBI) sentences based on the Threshold Conditional Random Field (TCRF) was implemented. The dataset on which the model is trained, consists of 2,255 videos containing recorded movements for 28 commonly used sentences in SIBI, performed by three teachers and two students of the Santi Rama School (Sekolah Luar Biasa), a school for hearing-impaired students. Several feature extraction techniques were tested, including skeleton, image, skeleton-image combination and MobileNetV2. The classification method uses TCRF with variations in TCRF threshold values between 1 to 4 to recognize word-gestures and transitional-gestures, then deleting frames with transitional-gestures label, and obtaining accuracy from LSTM that recognizes words from the per-frame word-gesture label. The best accuracies achieved by each method were 72.5% for skeleton technique with a TCRF threshold of 2; 70.3% for image technique with a TCRF threshold of 2; 68.5 % for skeleton-image combination, with a TCRF threshold of 2; and 93.2% for MobileNetV2 with threshold 1.5. Using MobileNetV2 as a feature extractor yields significantly better results than previous feature extraction methods.

"