Hasil Pencarian  ::  Simpan CSV :: Kembali

"

Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem bahasa isyarat yang diakui secara resmi oleh Departemen Pendidikan dan Kebudayaan Indonesia dan digunakan sebagai salah satu media komunikasi dalam proses pembelajaran di SLB (Sekolah Luar Biasa) bagi kaum tunarungu. Bagi kaum awam yang sama sekali tidak mengetahui gerakan isyarat SIBI tentunya akan mengalami kesulitan ketika harus berkomunikasi dengan kaum tunarungu. Berangkat dari hal tersebut, diperlukan suatu sistem penerjemah dari gerakan SIBI ke teks Bahasa Indonesia, ataupun sebaliknya dari teks Bahasa Indonesia ke gerakan SIBI. Penelitian ini merupakan tahapan awal dari sistem penerjemah dari teks Bahasa Indonesia ke bahasa isyarat yang memiliki fokus untuk melakukan proses pembangkitan gerakan isyarat dari suatu kalimat menjadi isyarat SIBI dalam bentuk animasi tiga dimensi gerakan tangan dan jari pada platform telepon pintar. Proses pembangkitan gerakan dimulai dari proses dekonstruksi kalimat menjadi komponen-komponen kata penyusunnya menggunakan look-up table kata berimbuhan, kata dasar, dan kamus slang. Komponen-komponen kata lalu direferensikan dengan animasi gerakannya. Data gerakan didapat melalui proses perekaman menggunakan sensor motion-capture perception neuron v2 yang mengacu pada kamus SIBI. Dalam proses penyusunan gerakan-gerakan SIBI, akan terdapat jeda antara gerakan awal menuju gerakan selanjutnya. Sehingga diperlukan beberapa gerakan transisi yang dibangkitkan menggunakan interpolasi cross-fading. Berdasarkan hasil evaluasi yang telah dilakukan, gerakan yang dibangkitkan dapat merepresentasikan gerakan SIBI yang benar dengan nilai akurasi terbesar 97.56%, dan 84% hasil pembangkitan dinyatakan Sangat Puas, 14% Puas, serta 2% Cukup.

---

Sign System for Bahasa Indonesia (SIBI) is the official sign language authorized by The Ministry of Education and Culture of Indonesia and being used as one of the communication media by School for Children with Special Needs (SLB) for people with hearing impairments in the process of learning. For people who have a lack of knowledge about SIBI gestures certainly will have difficulty to communicate with people with hearing impairments. Thus, a translation system from SIBI gestures to sentences in Bahasa Indonesia or vice versa is needed. This research is the initial stage of a translation system from sentences in Bahasa Indonesia to SIBI Gestures. The focus of this research is to generate sign gestures in the form of 3D Animation from a sentence input in text format and deployed on the smartphone device. The generation process started from deconstructing the input sentence into its word components using a look-up table that consists of affixes, root words, and a slang dictionary. Then, this word components referred to their gesture animations. The gesture data were recorded with motion-capture sensor Perception Neuron v2 and using the official SIBI Dictionary as reference. In the process of combining the SIBI gestures, a pause between the initial gesture and the next gesture has occurred. Thus, transition gestures also needed to be generated using the cross-fading interpolation. Based on evaluation results, generated gestures correctly represent smooth SIBI gestures with the largest accuracy score of 97.56% with a level of Very Satisfied 84%, Satisfied 14%, Fair 2%.

"

"Bahasa Isyarat Indonesia (BISINDO) merupakan salah satu bahasa isyarat yang banyak digunakan kaum Tuli di Indonesia karena dianggap lebih alami sehingga lebih mudah digunakan. BISINDO digunakan kaum Tuli untuk berkomunikasi dengan orang lain dalam kegiatan sehari-harinya. Namun, pada kenyataannya, masih banyak orang yang belum mengerti bahasa isyarat. Hal tersebut menjadi kendala bagi orang Tuli untuk berkomunikasi dengan orang dengar dan sebaliknya. Perkembangan teknologi yang semakin maju memberikan suatu solusi untuk masalah tersebut. Pada penelitian ini akan dikembangkan model untuk mengenali gerakan isyarat BISINDO dengan menggunakan MobileNetV2 dan Long Short-Term Memory (LSTM). MobileNetV2 digunakan pada tahap feature extraction sedangkan LSTM digunakan pada tahap klasifikasi gerakan isyarat. Dataset yang digunakan pada penelitian ini berupa video 40 kalimat yang direkam dengan menggunakan kamera smartphone dan diperagakan oleh empat orang Tuli dari Laboratorium Riset Bahasa Isyarat FIB UI (LRBI FIB UI). Terdapat tahapan preprocessing untuk mendapatkan bagian tangan dan wajah yang merupakan fitur penting untuk membedakan gerakan isyarat. Penelitian ini menghasilkan model LSTM 1-layer bidirectional sebagai model terbaik dengan akurasi tertinggi sebesar 91,53%.......Indonesian Sign Language (BISINDO) is a sign language that is widely used by deaf people in Indonesia because it is a natural language and therefore it is easier to use. BISINDO is used by deaf people to communicate in their daily activities. However, in reality, there are many people who do not understand sign language. This becomes a problem for deaf people to communicate with hearing people and vice versa. Nowadays, the development of technology is more advanced give a solution to this problem. In this research, a model will be developed to recognize BISINDO gestures using MobileNetV2 and Long Short-Term Memory (LSTM). MobileNetV2 will be used in a feature extraction stage while LSTM will be used in the gesture classification stage. The dataset used in this study is a video recording of 40 sentences recorded using a smartphone camera and it was demonstrated by four deaf people from the research laboratory of sign language FIB UI (LRBI FIB UI). There is a preprocessing stage to get the hand and facial parts which are important features for distinguishing the gesture of sign language. Then, the result of this study is a model LSTM 1-Layer Bidirectional as the best model with the highest accuracy is 91,53%."

"Perkembangan teknologi saat ini sudah mampu menunjang kegiatan belajar mengajar secara daring. Salah satu metode yang digunakan untuk melakukan kegiatan tersebut adalah secara asinkronus. Umumnya, materi yang disampaikan secara asinkronus menggunakan video pemelajaran. Pengajar mengunggah video pemelajaran pada sebuah layanan Learning Management System (LMS) dan siswa menggunakan video tersebut sebagai bahan belajar. Siswa tunarungu mengalami kesulitan mengikuti kegiatan pemelajaran dengan media tersebut karena kurangnya fitur aksesibilitas pada LMS yang digunakan. Fasilkom UI sebelumnya sudah mengembangkan modul pengubah suara menjadi teks dengan Automatic Speech Recognition (ASR) dan pengubah teks menjadi animasi bahasa isyarat (Text-to-Gesture). LMS yang digunakan adalah Moodle. Pada penelitian ini, dikembangkan suatu layanan yang bisa mengintegrasikan modul ASR dengan aplikasi Text-to-Gesture. Penelitian ini mengembangkan sebuah Application Programming Interface (API) yang bisa menerima hasil ASR dan mengirimkannya ke aplikasi Text-to-Gesture. Animasi dibangkitkan dengan aplikasi Text-to-Gesture yang di saat bersamaan direkam dan kemudian diproses menggunakan FFmpeg. Hasil prosesnya kemudian dikirimkan kembali ke Moodle untuk disajikan sebagai bahan ajar. Pada penelitian ini disimpulkan pengembang dapat membuat sebuah API yang bisa menghubungkan modul ASR pada Moodle dengan aplikasi Text-to-Gesture. API yang dibuat juga bisa dihubungkan dengan aplikasi lain selain Moodle selama mengikuti format yang sama dengan modul ASR.......The current technology development has been able to support online learning activities. One of the methods used for such activities is asynchronous learning. Typically, asynchronous learning materials utilize instructional videos. Educators upload instructional videos to a Learning Management System (LMS), and students use these videos as learning materials. Deaf students face difficulties in following the learning activities with these media due to the lack of accessibility features in the LMS being used. Previously, Fasilkom UI has developed modules to convert speech into text using Automatic Speech Recognition (ASR) and to convert text into sign language animations (Text-to-Gesture). The LMS used in this research is Moodle. In this study, a service was developed to integrate the ASR module with the Text-to-Gesture application. An Application Programming Interface (API) was developed to receive ASR results and send them to the Text-to-Gesture application. The animations that are generated using the Text-to-Gesture application are recorded and then processed using FFmpeg. The processed results are then sent back to Moodle to be presented as teaching materials. This research concludes that developers can create an API to connect the ASR module in Moodle with the Text-to-Gesture application. The created API can also be connected to other applications as long as they follow the same format as the ASR module."