Hasil Pencarian  ::  Simpan CSV :: Kembali

"Di era kemajuan teknologi yang pesat, pembelajaran daring semakin populer terutama setelah COVID-19. Namun, tunarungu sering menghadapi kesenjangan dalam memahami video pembelajaran. Salah satu solusi yang dapat membantu adalah dengan menyediakan subtitle dalam bahasa isyarat, khususnya Sistem Isyarat Bahasa Indonesia (SIBI). Untuk mengembangkan subtitle ini, diperlukan teks input dari video pembelajaran. Namun, teks input seringkali terlalu panjang dan mengandung banyak kata yang tidak ada dalam kamus bahasa isyarat SIBI. Metode yang ada sekarang pun menghasilkan animasi SIBI secara kata demi kata, yang mengakibatkan animasi bergerak cepat dan sulit diikuti oleh pengguna tunarungu. Penelitian ini membahas integrasi translasi teks dalam pengembangan subtitle animasi isyarat SIBI untuk aplikasi Moodle, menggunakan machine learning. Penelitian ini bertujuan untuk mengembangkan solusi yang lebih efektif dengan menerapkan terjemahan teks. Penelitian ini mengusulkan penggunaan dua model pretrained, yaitu mBART50 dan NLLB200 sebagai baseline model dan model yang akan di-finetuning. Eksperimen ini menggunakan dataset yang dikumpulkan dari 12 video pembelajaran. Kemudian data ini diproses, dianotasi oleh guru Sekolah Luar Biasa (SLB), dan digunakan untuk training, validation, serta testing dan dataset ini dinamakan SIBIVID-MP12. Eksperimen dilakukan dengan membandingkan model baseline dengan model yang sudah di-finetuning. Finetuning dilakukan dengan dan tanpa custom loss function yang merupakan inovasi pada penelitian ini. Custom loss function menambahkan SIBIDictLoss pada total loss model, sehingga akan memaksa model untuk hanya menggunakan kata yang ada pada kamus SIBI. Hasil eksperimen menunjukkan bahwa dengan adanya finetuning, model mBART50 dan NLLB200 mengalami peningkatan performa dibandingkan model baseline-nya tanpa finetuning dalam melakukan terjemahan teks Bahasa Indonesia ke dalam SIBI. Model NLLB200 FT+CL dengan varian batch size 4, penggunaan weighting varian kedua, ukuran weight 0,2, dan besaran penalti 0,1 menjadi varian dengan nilai evaluasi tertinggi dengan peningkatan nilai sacreBLEU sebesar 71%, nilai chrF++ sebesar 9,79%, nilai METEOR 22,92%, dan nilai ROUGE-L 14,55% dibandingkan dengan model baseline. Ini menunjukkan bahwa mengintegrasikan model terjemahan teks dapat meningkatkan inklusivitas dan aksesibilitas platform pembelajaran daring bagi komunitas tunarungu di Indonesia.

---

In the era of rapid technological advancement, online learning has become increasingly popular, particularly following the COVID-19 pandemic. However, the deaf community often faces challenges in comprehending educational videos. One potential solution is to provide subtitles in sign language, specifically the Indonesian Sign Language System (SIBI). Developing these subtitles requires text input from educational videos. However, the input text is often too lengthy and contains many words that do not exist in the SIBI dictionary. Current methods generate SIBI animations word by word, resulting in fastmoving animations that are difficult for deaf users to follow. This research discusses the integration of text translation in the development of SIBI animated subtitles for the Moodle application, using machine learning. The study aims to develop a more effective solution by implementing text translation. The research proposes the use of two pretrained models, mBART50 and NLLB200, as baseline models and models for fine-tuning. The experiment utilizes a dataset collected from 12 educational videos. This data is processed, annotated by Special Education (SLB) teachers, and used for training, validation, and testing, and is named SIBIVID-MP12. Experiments were conducted by comparing the baseline models with the fine-tuned models. Fine-tuning was performed with and without a custom loss function, which is an innovation in this study. The custom loss function adds SIBIDictLoss to the total model loss, thereby compelling the model to use only words present in the SIBI dictionary. The experimental results show that with fine-tuning, both mBART50 and NLLB200 models demonstrated improved performance compared to their baseline models in translating Indonesian text into SIBI. The NLLB200 FT+CL model, with a batch size variant of 4, the second weighting variant, a weight size of 0.2, and a penalty size of 0.1, achieved the highest evaluation scores, with an increase in sacreBLEU score by 71%, chrF++ score by 9.79%, METEOR score by 22.92%, and ROUGE-L score by 14.55% compared to the baseline model. This indicates that integrating text translation models can enhance the inclusivity and accessibility of online learning platforms for the deaf community in Indonesia."

"Tuli adalah keadaan dimana manusia memiliki kekurangan dalam pendengaran. Oleh karena itu, mereka berkomunikasi menggunakan bahasa isyarat. SIBI merupakan bahasa isyarat yang dibangun dari isyarat tangan, jari, dan bibir. Penelitian ini berfokus untuk membangun gerakan SIBI pada gerakan mulut. Pembangunan gerakan mulut dibuat dalam bentuk animasi 3D. Gerakan mulut pada animasi 3D dibangkitkan berdasarkan kata bahasa indonesia. Kata tersebut dipecah menjadi suku kata dan setiap suku kata akan ditampilkan gerakan gerakan mulutnya. Pembangkitan gerakan mulut menggunakan metode dynamic viseme dan perpindahan suku kata dalam gerakan diberikan gerakan transisi dengan menggunakan interpolasi linear. Hasil pembangkitan mulut animasi 3D ini diuji dengan menggunakan metode MOS dengan menggunakan metode survei pada pakar SIBI dan orang Tuli. Survei dilakukan dengan 4 survei yang berbeda dan menghasilkan nilai 4,025 pada survei 1, nilai 3,96 pada survei 2, nilai pada survei 3 adalah 4.422, dan nilai pada survei 4 adalah 4.282. Hasil dari survei kemudian dilakukan pengujian signifikansi dengan menggunakan t-test. Dari pengujian signifikansi diketahui bahwa terjadi perubahan signifikan pada survei 1 dan 2. Sedangkan pada survei 3 dan 4 tidak terjadi perubahan signifikan. Perubahan ini berupa penurunan dibandingkan dengan menggunakan fonem. Hasil dari penelitian ini menunjukan penggunaan suku kata masih kurang dibandingkan menggunakan fonem.

---

Deafness is a condition where humans do not have hearing deficiencies. Therefore, they communicate using sign language. SIBI is a sign language built from hand, finger, and lip signs. This research was started to build SIBI movement in mouth movement. Mouth movement development is made in the form of 3D animation. Mouth movements in 3D animation are generated based on Indonesian words. The word is broken down into syllables, and each syllable will become a movement of its mouth. The generation of mouth movements using the dynamic method of viseme and the displacement of the syllables is given a transition motion using linear interpolation. This 3D animated mouth generation was tested using the MOS method using a survey method for SIBI experts and deaf people. The survey was conducted with four different surveys and resulted in a score of 4,025 in survey 1, a value of 3.96 in survey 2, a value of 4,422 in survey 3, and a score of 4,282 in survey 4. The results of the survey were then tested for significance using the t-test. From the significance test, it is known that there is a significant change in surveys 1 and 2. While in surveys 3 and 4, there is no significant change. This change is a decrease compared to using a phoneme. The results of this study indicate that the use of syllables is still less than using phonemes."

"Keterbatasan mendengarkan suara tunarungu menyebabkan kemampuan berbahasa penyandang tunarungu tidak dapat berkembang sebagaimana mestinya. Untuk mengganti komunikasi lisan penyandang tunarungu menggunakan bahasa isyarat dalam berkomunikasi. SIBI (Sistem Isyarat Bahasa Indonesia) adalah salah satu sistem bahasa isyarat di Indonesia yang bekerja dengan merepresentasikan tata bahasa lisan Indonesia ke dalam isyarat gerakan. Perkembangan teknologi aplikasi mobile yang pesat merupakan sebuah peluang untuk dapat menyediakan aksesibilitas pada penyandang tunarungu. Oleh karena itu, penelitian ini membahas pengembangan aplikasi mobile untuk menerjemahkan teks Bahasa Indonesia menjadi gerakan isyarat SIBI. Penelitian ini membahas mengenai pengembangan aplikasi mobile berdasarkan penelitian Darmana (2019) tentang pembangkitan gerakan isyarat SIBI. Penelitian ini menerapkan metode desain user centered design (UCD) yang dilakukan dalam 2 kali iterasi yang berisi tahapan analisis kebutuhan pengguna, perancangan desain interaksi, pengembangan aplikasi, evaluasi, dan perbaikan aplikasi. Proses pengembangan desain dan implementasi aplikasi didasarkan kepada kebutuhan pengguna yang didapatkan melalui wawancara. Pada penelitian dilakukan 2 kali evaluasi pada aplikasi untuk mendapatkan umpan balik yang digunakan sebagai dasar perbaikan. Pada akhir penelitian juga dilakukan uji usability menggunakan SUS dan uji waktu eksekusi. Hasilnya, didapatkan bahwa aplikasi hasil berhasil memenuhi kebutuhan pengguna yang didapatkan, dan memiliki usability yang baik.

---

The limitation of listening causes the language skills of people with hearing impairment can not be developed as they should. To replace their verbal communication, people with hearing impairment use sign language to do communication. SIBI (Sistem Isyarat Bahasa Indonesia) is one of the sign language systems in Indonesia that works by representing Indonesian spoken grammar into hand gestures. On the other hand, the rapid development of mobile application technology is an opportunity to provide accessibility to people with hearing impairment. Therefore, this research discusses the development of a mobile application to translate Indonesian text into SIBI gestures. This study discusses the development of mobile applications based on Darmana (2019) research on the generation of SIBI gestures. This study applies the user centered design (UCD) design method which is carried out in 2 iterations that contains the stages of user needs analysis, interaction design, application development, evaluation, and application improvement. The development of application design and the application implementation is based on user needs obtained through interviews. In the study the 2 evaluations are used to get feedbacks that is used as a base for improvement. At the end of the study an SUS test and an execution time test were also conducted. It was found that the application successfully meet the user requirements and has a good usability.

"

"Mempelajari bahasa isyarat bukanlah sesuatu yang mudah. Untuk membantu mempelajari bahasa isyarat, muncul penelitian mesin translasi gerakan isyarat menjadi teks yang dapat dibaca. Untuk penggunaan secara luas, terdapat mesin translasi gerakan isyarat menjadi teks memanfaatkan telepon pintar. Hasil teks yang dihasilkan oleh mesin translasi bergantung terhadap masukkan rangkaian gerakan isyarat. Masukkan ini dapat diperoleh melalui rekaman kamera telepon pintar. Ketika gerakan isyarat bergerak lebih cepat dibandingkan penangkapan bingkai oleh kamera, hasil rekaman menjadi kabur. Rekaman yang kabur akan membuat mesin translasi tidak dapat melakukan prediksi dengan baik. Salah satu solusi untuk mengurangi kabur pada gambar adalah dengan melakukan deblurring. Penelitian ini akan menggunakan metode DeblurGAN-v2 untuk mengurangi tingkat kabur pada bingkai dan menguji hasilnya pada mesin translasi gerakan isyarat SIBI ke teks. Mesin translasi gerakan isyarat SIBI ke teks memperoleh hasil teks yang cukup baik pada data berlatar belakang hijau. Hasil Nugraha dan Rakun (2022) memperoleh 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), dan TC (Time Computation) menggunakan RetinaNet sebesar 0.038 detik per frame pada data berlatar belakang hijau. Hasil evaluasi juga menemukan kekurangan kualitas hasil prediksi dikarenakan masukkan bingkai yang kabur. Penelitian ini mencoba mengatasi masalah bingkai yang kabur dengan menggabungkan metode deblurring ke dalam sistem mesin translasi gerakan isyarat dan mengukur kinerja dengan WER, SAcc, dan TC. Terjadi penambahan TC akibat penambahan metode deblurring, dan untuk mengurangi TC, digunakan nilai ambang batas agar tidak semua bingkai di-deblur. Peneliti menemukan bahwa dengan menambahkan proses deblurring, terjadi peningkatan kinerja mesin translasi gerakan isyarat dari 2.37% WER dan 87.85% SAcc menjadi 1.95% WER dan 89.28% SAcc (tanpa ambang batas) dan 1.96% WER dan 89.28% SAcc (dengan ambang batas) pada data berlatar belakang hijau. Mesin translasi gerakan isyarat menjadi teks tanpa metode deblurring memerlukan TC 0.8036 detik per frame dan setelah menambahkan metode deblurring menjadi 0.8650 detik per frame (tanpa ambang batas) dan 0.8436 detik per frame (dengan ambang batas).

---

Learning sign language isn’t something easy to do. To help learning sign language, born machine sign language translation to text that can be read. For widely usage, there is a machine for translating gestures into text using a smartphone. Text result from machine translation depend on input sign language sequence frame. This input can be obtain from smartphone video recording. When sign language movement is faster than camera frame rate, recording result become blurry. Blurry record will make machine translation can’t make good prediction. One of the solution to reduce blur on the image is by doing deblurring. This research will use DeblurGAN-v2 as method to reduce image blurry rate on frame and test it on machine sign language SIBI translation to text. Machine sign language SIBI translation to text gain good text result on greenscreen background. Result Nugraha dan Rakun (2022) obtain 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), and TC (Time Computation) using RetinaNet at 0.038 seconds per frame on background greenscreen data. Evaluation result also found a lack of of predictive quality due to blurred frame input. This research attempts to overcome the blurred frame problem by combining deblurring method to inside machine sign language translation system and measure performance with WER, SAcc, and TC. There is an addition of TC due to the addition of the deblurring method and to reduce TC, a threshold value is used so not all frames are deblurred. The researcher found that by adding deblurring process, there was an improvement on machine sign language translation from 2.37% WER and 87.85% SAcc to 1.95% WER and 89.28% SAcc (without threshold) and 1.96% WER and 89.28% SAcc (with threshold) on background greenscreen data. Machine for translating gestures into text without deblurring method need TC 0.8036 seconds per frame and after adding deblurring method become 0.8650 seconds per frame (without threshold) and 0.8436 seconds per frame (with threshold)."

"Sebagai bentuk interaksi sosial, komunikasi menjadi salah satu hal yang tidak dapat dihindari. Komunikasi menjadi metode yang paling mudah untuk diterapkan oleh setiap orang untuk saling bertukar informasi. Informasi yang diperoleh akan sangat bergantung pada proses komunikasi yang berlangsung. Bagi teman tuli, komunikasi menjadi hal yang cukup sulit dilakukan apabila hendak berinteraksi dengan teman dengar. Begitu juga sebaliknya, teman dengar akan kesulitan apabila melakukan hal yang serupa. Terdapat salah satu aplikasi yang dapat mengatasi kesulitan interaksi bagi teman tuli, yaitu sistem aplikasi SIBI. Sistem aplikasi SIBI mampu membantu penggunanya untuk berkomunikasi kepada sesama pengguna dengan menerjemahkan bahasa isyarat SIBI menjadi teks bahasa Indonesia begitu juga sebaliknya. Namun ternyata sistem aplikasi ini dirasa belum cukup membantu penggunanya ditinjau dari sisi desain interaksinya. Melalui permasalahan tersebut, penelitian ini hadir untuk meningkatkan kualitas desain interaksi sistem aplikasi SIBI yang diharapkan kan berdampak pada meningkatnya kualitas komunikasi bagi teman tuli. Penulis merancang suatu alternatif desain untuk menjawab permasalahan yang ada dengan menerapkan user centered design. Hasil dari desain alternatif tersebut akan ditinjau ulang hingga akhirnya menghasilkan suatu rekomendasi desain sistem aplikasi SIBI yang merupakan hasil akhir dari penelitian ini.

---

As a one of many forms of social interaction, communication is something that cannot be replaced. Communication is the easiest method for everyone to use to take and give the information. The information that obtained will be very useful based on the ongoing communication process before. For deaf peoples, communication becomes a difficult thing to do when they want to interact with a normal people and also a normal people will find it difficult to do the same thing. There is one application that can solve the difficulties, named SIBI application system. SIBI application system able to help the users to communicate with other users by translating the SIBI language into Indonesian text and vice versa. However, it turns out that this application system is not helpful enough to use in an interaction design point of view. Through this problem, this research is to improve the quality of the interaction design of the SIBI application system which is expected to have an impact on the quality of communication for deaf friends. The author will design an alternative design to answer the existing problems by implementing a user-centered design. The results of the alternative designs will be reviewed to finally produce a recommendation for the SIBI application system design which is the final result of this research."

"Sesuai dengan ketentuan hukum, setiap warga negara berhak atas informasi dan kemudahan akses informasi, termasuk individu dengan disabilitas tunarungu. Bahasa isyarat menjadi sarana komunikasi utama bagi penyandang disabilitas tunarungu. Bahasa isyarat sering dijumpai pada komunitas tunarungu yang melibatkan penerjemah, teman, dan keluarga serta para penyandang tunarungu itu sendiri. Sistem Isyarat Bahasa Indonesia (SIBI) merupakan sistem bahasa isyarat yang dipakai dalam pemelajaran di sekolah luar biasa. Penelitian yang dilakukan penulis merupakan lanjutan dari penelitian sebelumnya yang bertujuan untuk mengintegrasikan plug-in modul pada Moodle dengan pembangkit teks subtitle dari video pemelajaran untuk diteruskan ke layanan pembangkit animasi 3D bahasa isyarat. plug-in yang dibuat secara umum dibangun dengan Moodle, Python, Redis, dan Unity. Aplikasi Moodle memiliki dua laman, yaitu laman utama yang berisi daftar subtitle menerima status pembentukan subtitle dari database di Python serta laman formulir mengirim HTTP Request yang berisi input berisi video untuk pembentukan subtitle ke aplikasi Python. Aplikasi Python akan menerima HTTP Request yang dikirim dari Moodle dan melakukan deretan perintah yang digunakan untuk penambahan subtitle dan menambahkan subtitle yang dijalankan secara asinkronus ke server Redis. Setelah itu, video dan subtitle akan dikirim melalui Redis untuk pengantrian penambahan animasi bahasa isyarat SIBI. Data tersebut dikirim secara asinkronus ke Unity untuk pembentukan animasi bahasa isyarat. Setelah pembuatan animasi bahasa isyarat selesai, video akan dikirim kembali ke Moodle dan statusnya akan ditambahkan ke database di aplikasi Python. Penulis melakukan percobaan untuk menguji performa masing-masing ASR dengan metrik evaluasi durasi dan Word Error Rate. Percobaan membuktikan jenis ASR Wav2Vec memiliki rata-rata Word Error Rate paling besar yaitu 42,64% dan membutuhkan waktu yang paling lama yaitu 32 menit 3 detik untuk membuat transkripsi audio, disusul jauh oleh Google (WER 1,43% dan durasi 2 menit 27 detik) dan Azure (WER 2,57% dan durasi 1 menit 16 detik). Menurut penulis, Wav2Vec memiliki performa yang buruk sehingga tidak bagus untuk digunakan di kasus umumnya, sehingga sebaiknya model ASR yang dipakai adalah Google dan Azure.

---

In accordance with legal provisions, every citizen has the right to information and ease of access to information, including individuals with hearing disabilities. Sign language is the primary communication method for those with hearing disabilities and is commonly encountered within the deaf community, involving interpreters, friends, family, and the hearing impaired themselves. Sistem Isyarat Bahasa Indonesia (SIBI) is the official sign language used in special educations in Indonesia. The research conducted by the author builds upon a previous study aiming to integrate a module plug-in on Moodle with text subtitle generation from learning videos to be transferred to a 3D sign language animation service. The plug-in was primarily developed using Moodle, Python, Redis, and Unity. The Moodle application contains two main pages: one with a list of subtitles receiving the subtitle creation status from a Python database and another with a form page for sending HTTP requests containing video input for subtitle creation to the Python application. The Python application receives the HTTP requests sent from Moodle and executes a series of commands used for adding subtitles and synchronously adding subtitles to the Redis server. Afterward, the video and subtitles are sent through Redis for queueing and adding SIBI sign language animations. This data is sent asynchronously to Unity for creating sign language animations. Once the sign language animation is complete, the video is sent back to Moodle, and its status is updated in the Python application database. The author conducted experiments to test the performance of each ASR using evaluation metrics such as duration and Word Error Rate. Experiments demonstrated that the Wav2Vec ASR model has the highest Word Error Rate (42,64%) and requires the longest time to create audio transcription (32 minutes 3 seconds), followed by Google (1,43% WER, 2 minutes and 27 seconds) and Azure (2,57% WER, 1 minute and 16 seconds), which performed better. According to the author, Wav2Vec is not suitable for general cases, so the ASR models preferred should be Google and Azure."

"

Bahasa isyarat merupakan suatu tatanan gerakan yang mewakili suatu kosakata pada bahasa tertentu dan memiliki fungsi untuk membantu penyandang tunarungu dalam mengatasi masalah berkomunikasi. Namun tidak semua masyarakat umum menguasai bahasa isyarat. Dari permasalahan tersebut, sistem penerjemah bahasa isyarat diperlukan dalam membantu proses komunikasi penyandang tunarungu. Sistem penerjemah memerlukan sebuah video gerakan bahasa isyarat untuk kemudian dapat dikenali Dalam sebuah video utuh yang berisi satu sequence gerakan kalimat isyarat terdapat dua jenis gerakan yaitu gerakan isyarat (gesture) yang mengandung arti dan gerakan transisi (non gesture). Pada penelitian ini diusulkan metode untuk menngenali gesture dan non gesture pada kalimat SIBI (Sistem Isyarat Bahasa Indonesia) menggunakan Threshold Conditional Random Field (TCRF). Data yang digunakan adalah 2.255 video rekaman gerakan untuk 28 isyarat kalimat pada SIBI yang di peragakan oleh  tiga orang guru dan dua orang murid dari SLB Santi Rama Jakarta. Untuk merepresentasikan data, pada penelitian ini dibandingkan teknik ekstraksi fitur skeleton, image, gabungan (gabungan antara fitur skeleton dan fitur image) dan MobileNetV2. Untuk klasifikasi digunakan metode TCRF dengan variasi nilai threshold dari 1 sampai 4. Berdasarkan hasil eksperimen, masing-masing teknik ekstraksi fitur menghasilkan akurasi terbaik sebesar 72.5% untuk skeleton dengan threshold 2, 70.3% untuk image dengan threshold 2, 68.5% untuk gabungan dengan threshold 2 dan 93.2% untuk MobileNetV2 dengan threshold 1.5. Berdasarkan akurasi tersebut teknik ekstraksi fitur dengan model MobileNetV2 dapat merepresentasikan data lebih baik dibandingkan dengan ekstraksi skeleton, image, dan gabungan

---

Sign language is a series of movements that represent the vocabulary of a particular language and is designed to help the hearing-impaired communicate. However, not everyone is familiar with the sign language gestures, so a sign language translation system would aid communication by allowing more people to understand sign language gestures. A video that contains a sequence of sign sentences with two types of movements, namely sign movements (word-gestures) which have represent language constructs, and transitional movements (transitional-gesture). A method to identify both word-gestures and transitional-gestures in a variant of the Indonesian Sign Language System called Sistem Isyarat Bahasa Indonesia (hereafter referred to as SIBI) sentences based on the Threshold Conditional Random Field (TCRF) was implemented. The dataset on which the model is trained, consists of 2,255 videos containing recorded movements for 28 commonly used sentences in SIBI, performed by three teachers and two students of the Santi Rama School (Sekolah Luar Biasa), a school for hearing-impaired students. Several feature extraction techniques were tested, including skeleton, image, skeleton-image combination and MobileNetV2. The classification method uses TCRF with variations in TCRF threshold values between 1 to 4 to recognize word-gestures and transitional-gestures, then deleting frames with transitional-gestures label, and obtaining accuracy from LSTM that recognizes words from the per-frame word-gesture label. The best accuracies achieved by each method were 72.5% for skeleton technique with a TCRF threshold of 2; 70.3% for image technique with a TCRF threshold of 2; 68.5 % for skeleton-image combination, with a TCRF threshold of 2; and 93.2% for MobileNetV2 with threshold 1.5. Using MobileNetV2 as a feature extractor yields significantly better results than previous feature extraction methods.

"

"SIBI merupakan bahasa isyarat resmi yang digunakan di Indonesia. Penggunaan SIBI seringkali ditemukan permasalahan karena banyaknya gerakan isyarat yang harus diingat. Penelitian ini bertujuan untuk mengenali gerakan isyarat SIBI dengan cara mengekstraksi fitur tangan dan wajah yang kemudian diklasifikasikan menggunakan Bidirectional Long ShortTerm Memory (BiLSTM). Ekstraksi fitur yang digunakan dalam penelitian ini adalah Deep Convolutional Neural Network (DeepCNN) seperti ResNet50 dan MobileNetV2, di mana kedua model tersebut digunakan sebagai pembanding. Penelitian ini juga membandingkan performa dan waktu komputasi antara kedua model tersebut yang diharapkan dapat diterapkan pada smartphone nantinya, dimana model tersebut akan diimplementasikan. Hasil penelitian menunjukkan bahwa penggunaan model ResNet50-BiLSTM memiliki kinerja yang lebih baik dibandingkan dengan MobileNetV2-BiLSTM yaitu 99,89%. Namun jika akan diaplikasikan pada arsitektur mobile, MobileNetV2-BiLSTM lebih unggul karena memiliki waktu komputasi yang lebih cepat dengan performa yang tidak jauh berbeda jika dibandingkan dengan ResNet50-BiLSTM.

---

SIBI is a sign language that is officially used in Indonesia. The use of SIBI is often found to be a problem because of the many gestures that have to be remembered. This study aims to recognize SIBI gestures by extracting hand and facial features which are then classified using Bidirectional Long ShortTerm Memory (BiLSTM). The feature extraction used in this research is Deep Convolutional Neural Network (DeepCNN) such as ResNet50 and MobileNetV2, where both models are used as a comparison. This study also compares the performance and computational time between the two models which is expected to be applied to smartphones later, where both models can now be implemented on smartphones. The results showed that the use of ResNet50-BiLSTM model have better performance than MobileNetV2-BiLSTM which is 99.89\%. However, if it will be applied to mobile architecture, MobileNetV2-BiLSTM is superior because it has a faster computational time with a performance that is not significantly different when compared to ResNet50-BiLSTM."

"

Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem bahasa isyarat yang diakui secara resmi oleh Departemen Pendidikan dan Kebudayaan Indonesia dan digunakan sebagai salah satu media komunikasi dalam proses pembelajaran di SLB (Sekolah Luar Biasa) bagi kaum tunarungu. Bagi kaum awam yang sama sekali tidak mengetahui gerakan isyarat SIBI tentunya akan mengalami kesulitan ketika harus berkomunikasi dengan kaum tunarungu. Berangkat dari hal tersebut, diperlukan suatu sistem penerjemah dari gerakan SIBI ke teks Bahasa Indonesia, ataupun sebaliknya dari teks Bahasa Indonesia ke gerakan SIBI. Penelitian ini merupakan tahapan awal dari sistem penerjemah dari teks Bahasa Indonesia ke bahasa isyarat yang memiliki fokus untuk melakukan proses pembangkitan gerakan isyarat dari suatu kalimat menjadi isyarat SIBI dalam bentuk animasi tiga dimensi gerakan tangan dan jari pada platform telepon pintar. Proses pembangkitan gerakan dimulai dari proses dekonstruksi kalimat menjadi komponen-komponen kata penyusunnya menggunakan look-up table kata berimbuhan, kata dasar, dan kamus slang. Komponen-komponen kata lalu direferensikan dengan animasi gerakannya. Data gerakan didapat melalui proses perekaman menggunakan sensor motion-capture perception neuron v2 yang mengacu pada kamus SIBI. Dalam proses penyusunan gerakan-gerakan SIBI, akan terdapat jeda antara gerakan awal menuju gerakan selanjutnya. Sehingga diperlukan beberapa gerakan transisi yang dibangkitkan menggunakan interpolasi cross-fading. Berdasarkan hasil evaluasi yang telah dilakukan, gerakan yang dibangkitkan dapat merepresentasikan gerakan SIBI yang benar dengan nilai akurasi terbesar 97.56%, dan 84% hasil pembangkitan dinyatakan Sangat Puas, 14% Puas, serta 2% Cukup.

---

Sign System for Bahasa Indonesia (SIBI) is the official sign language authorized by The Ministry of Education and Culture of Indonesia and being used as one of the communication media by School for Children with Special Needs (SLB) for people with hearing impairments in the process of learning. For people who have a lack of knowledge about SIBI gestures certainly will have difficulty to communicate with people with hearing impairments. Thus, a translation system from SIBI gestures to sentences in Bahasa Indonesia or vice versa is needed. This research is the initial stage of a translation system from sentences in Bahasa Indonesia to SIBI Gestures. The focus of this research is to generate sign gestures in the form of 3D Animation from a sentence input in text format and deployed on the smartphone device. The generation process started from deconstructing the input sentence into its word components using a look-up table that consists of affixes, root words, and a slang dictionary. Then, this word components referred to their gesture animations. The gesture data were recorded with motion-capture sensor Perception Neuron v2 and using the official SIBI Dictionary as reference. In the process of combining the SIBI gestures, a pause between the initial gesture and the next gesture has occurred. Thus, transition gestures also needed to be generated using the cross-fading interpolation. Based on evaluation results, generated gestures correctly represent smooth SIBI gestures with the largest accuracy score of 97.56% with a level of Very Satisfied 84%, Satisfied 14%, Fair 2%.

"

"ABSTRAKSIBI merupakan bahasa isyarat resmi bagi penyandang tunarungu di Indonesia. Dalam pembentukan isyarat, SIBI mengikuti aturan tata bahasa Indonesia. Untuk membentuk isyarat kata berimbuhan, maka isyarat imbuhan awalan, akhiran dan partikel ditambahkan ke isyarat kata dasar. Karena banyak isyarat SIBI merupakan isyarat kata berimbuhan dan belum ada penelitian tentang kata tersebut, maka penelitian ini fokus pada membangun sistem penerjemah kata berimbuhan SIBI ke teks. Gerakan isyarat ditangkap oleh kamera Kinect yang menghasilkan data color, depth dan skeleton. Data Kinect ini diolah menjadi fitur yang dipakai oleh model untuk mengenali gerakan. Sistem penerjemah memerlukan teknik ekstraksi fitur, yang dapat menghasilkan sebuah feature vector set dengan ukuran yang minimal. Penelitian ini berusaha untuk dapat memisahkan isyarat imbuhan dan kata dasar pada isyarat kata berimbuhan. Dengan kemampuan ini, sistem penerjemah menghasilkan 3 feature vector set: kata dasar, awalan dan akhiran. Tanpa pemisahan, feature vector set yang harus disediakan adalah sebanyak perkalian cartesian dari ketiga feature vector set tersebut. Perkalian ketiga set ini tentunya akan menghasilkan feature vector set total yang berukuran sangat besar. Model yang dicoba pada penelitian ini adalah Conditional Random Fields, Hidden Markov Model, Long Short-Term Memory Neural Networks LSTM dan Gated Recurrent Unit. Akurasi yang terbaik yang dicapai oleh untuk LSTM 2-layer 77.04 . Keunggulan dari LSTM terletak pada inputnya yang berupa sequence-of-frames dan setiap frame direpresentasi oleh fitur lengkap, bukan fitur hasil clustering. Model sequence-of-frames lebih cocok untuk SIBI, karena gerakan isyarat SIBI memiliki long-term temporal dependencies. Error hasil prediksi banyak terjadi pada kelompok awalan dan akhiran. Hal ini karena miripnya gerakan pada isyarat-isyarat imbuhan SIBI tersebut. LSTM 2-layer yang dipakai untuk mengenali kata dasar saja memberikan akurasi yang tertinggi 95.4 .

---

ABSTRACTSIBI is the official sign language system for the Indonesian language. The formation of SIBI gestures follow Indonesian grammar rules, including inflectional words. Inflectional words are root words with prefixes, infixes, and suffixes, or a mix of the three. Inflectional gestures are made from root word gestures, with prefix, suffix and particle gestures added in the order in which they appear, all of which is unique to SIBI. This research aims to find a suitable model that can quickly and reliably perform SIBI to text translation on inflectional word gestures. The hand movement of the signer is captured by a Kinect camera. The Kinect data was then processed to yield features for the models to use recognize the gestures. Extant research have been able to translate the alphabet, root words, and numbers from SIBI to text, but none has been able to translate SIBI inflectional word gestures. In order for the translation system to work as efficiently as possible, this research developed a new method that splits an inflectional word into three feature vector sets root, prefix, suffix . This ensures that a minimally descriptive feature sets are used. Without using this, the feature sets would otherwise be as big as the Cartesian product of the prefixes, suffixes and root words feature sets of the inflectional word gestures. Four types of machine learning models were tested Conditional Random Fields, Hidden Markov Model, Long Short Term Memory Net, dan Gated Recurrent Unit. The 2 layer LSTM, with an accuracy of 77.04 , has been proven to be the most suitable. This model 39 s performance is due to the fact that it can take entire sequences as input and doesn 39 t rely on pre clustered per frame data. The 2 layer LSTM performed the best, being 95.4 accurate with root words. The lower accuracy with inflectional words is due to difficulties in recognizing prefix and suffix gestures."