Hasil Pencarian  ::  Simpan CSV :: Kembali

"Di era kemajuan teknologi yang pesat, pembelajaran daring semakin populer terutama setelah COVID-19. Namun, tunarungu sering menghadapi kesenjangan dalam memahami video pembelajaran. Salah satu solusi yang dapat membantu adalah dengan menyediakan subtitle dalam bahasa isyarat, khususnya Sistem Isyarat Bahasa Indonesia (SIBI). Untuk mengembangkan subtitle ini, diperlukan teks input dari video pembelajaran. Namun, teks input seringkali terlalu panjang dan mengandung banyak kata yang tidak ada dalam kamus bahasa isyarat SIBI. Metode yang ada sekarang pun menghasilkan animasi SIBI secara kata demi kata, yang mengakibatkan animasi bergerak cepat dan sulit diikuti oleh pengguna tunarungu. Penelitian ini membahas integrasi translasi teks dalam pengembangan subtitle animasi isyarat SIBI untuk aplikasi Moodle, menggunakan machine learning. Penelitian ini bertujuan untuk mengembangkan solusi yang lebih efektif dengan menerapkan terjemahan teks. Penelitian ini mengusulkan penggunaan dua model pretrained, yaitu mBART50 dan NLLB200 sebagai baseline model dan model yang akan di-finetuning. Eksperimen ini menggunakan dataset yang dikumpulkan dari 12 video pembelajaran. Kemudian data ini diproses, dianotasi oleh guru Sekolah Luar Biasa (SLB), dan digunakan untuk training, validation, serta testing dan dataset ini dinamakan SIBIVID-MP12. Eksperimen dilakukan dengan membandingkan model baseline dengan model yang sudah di-finetuning. Finetuning dilakukan dengan dan tanpa custom loss function yang merupakan inovasi pada penelitian ini. Custom loss function menambahkan SIBIDictLoss pada total loss model, sehingga akan memaksa model untuk hanya menggunakan kata yang ada pada kamus SIBI. Hasil eksperimen menunjukkan bahwa dengan adanya finetuning, model mBART50 dan NLLB200 mengalami peningkatan performa dibandingkan model baseline-nya tanpa finetuning dalam melakukan terjemahan teks Bahasa Indonesia ke dalam SIBI. Model NLLB200 FT+CL dengan varian batch size 4, penggunaan weighting varian kedua, ukuran weight 0,2, dan besaran penalti 0,1 menjadi varian dengan nilai evaluasi tertinggi dengan peningkatan nilai sacreBLEU sebesar 71% , nilai chrF++ sebesar 9,79% , nilai METEOR 22,92% , dan nilai ROUGE-L 14,55% dibandingkan dengan model baseline. Ini menunjukkan bahwa mengintegrasikan model terjemahan teks dapat meningkatkan inklusivitas dan aksesibilitas platform pembelajaran daring bagi komunitas tunarungu di Indonesia.

---

In the era of rapid technological advancement, online learning has become increasingly popular, particularly following the COVID-19 pandemic. However, the deaf community often faces challenges in comprehending educational videos. One potential solution is to provide subtitles in sign language, specifically the Indonesian Sign Language System (SIBI). Developing these subtitles requires text input from educational videos. However, the input text is often too lengthy and contains many words that do not exist in the SIBI dictionary. Current methods generate SIBI animations word by word, resulting in fast-moving animations that are difficult for deaf users to follow. This research discusses the integration of text translation in the development of SIBI animated subtitles for the Moodle application, using machine learning. The study aims to develop a more effective solution by implementing text translation. The research proposes the use of two pretrained models, mBART50 and NLLB200, as baseline models and models for fine-tuning. The experiment utilizes a dataset collected from 12 educational videos. This data is processed, annotated by Special Education (SLB) teachers, and used for training, validation, and testing, and is named SIBIVID-MP12. Experiments were conducted by comparing the baseline models with the fine-tuned models. Fine-tuning was performed with and without a custom loss function, which is an innovation in this study. The custom loss function adds SIBIDictLoss to the total model loss, thereby compelling the model to use only words present in the SIBI dictionary. The experimental results show that with fine-tuning, both mBART50 and NLLB200 models demonstrated improved performance compared to their baseline models in translating Indonesian text into SIBI. The NLLB200 FT+CL model, with a batch size variant of 4, the second weighting variant, a weight size of 0.2, and a penalty size of 0.1, achieved the highest evaluation scores, with an increase in sacreBLEU score by 71%, chrF++ score by 9.79%, METEOR score by 22.92%, and ROUGE-L score by 14.55% compared to the baseline model. This indicates that integrating text translation models can enhance the inclusivity and accessibility of online learning platforms for the deaf community in Indonesia."

"Di era kemajuan teknologi yang pesat, pembelajaran daring semakin populer terutama setelah COVID-19. Namun, tunarungu sering menghadapi kesenjangan dalam memahami video pembelajaran. Salah satu solusi yang dapat membantu adalah dengan menyediakan subtitle dalam bahasa isyarat, khususnya Sistem Isyarat Bahasa Indonesia (SIBI). Untuk mengembangkan subtitle ini, diperlukan teks input dari video pembelajaran. Namun, teks input seringkali terlalu panjang dan mengandung banyak kata yang tidak ada dalam kamus bahasa isyarat SIBI. Metode yang ada sekarang pun menghasilkan animasi SIBI secara kata demi kata, yang mengakibatkan animasi bergerak cepat dan sulit diikuti oleh pengguna tunarungu. Penelitian ini membahas integrasi translasi teks dalam pengembangan subtitle animasi isyarat SIBI untuk aplikasi Moodle, menggunakan machine learning. Penelitian ini bertujuan untuk mengembangkan solusi yang lebih efektif dengan menerapkan terjemahan teks. Penelitian ini mengusulkan penggunaan dua model pretrained, yaitu mBART50 dan NLLB200 sebagai baseline model dan model yang akan di-finetuning. Eksperimen ini menggunakan dataset yang dikumpulkan dari 12 video pembelajaran. Kemudian data ini diproses, dianotasi oleh guru Sekolah Luar Biasa (SLB), dan digunakan untuk training, validation, serta testing dan dataset ini dinamakan SIBIVID-MP12. Eksperimen dilakukan dengan membandingkan model baseline dengan model yang sudah di-finetuning. Finetuning dilakukan dengan dan tanpa custom loss function yang merupakan inovasi pada penelitian ini. Custom loss function menambahkan SIBIDictLoss pada total loss model, sehingga akan memaksa model untuk hanya menggunakan kata yang ada pada kamus SIBI. Hasil eksperimen menunjukkan bahwa dengan adanya finetuning, model mBART50 dan NLLB200 mengalami peningkatan performa dibandingkan model baseline-nya tanpa finetuning dalam melakukan terjemahan teks Bahasa Indonesia ke dalam SIBI. Model NLLB200 FT+CL dengan varian batch size 4, penggunaan weighting varian kedua, ukuran weight 0,2, dan besaran penalti 0,1 menjadi varian dengan nilai evaluasi tertinggi dengan peningkatan nilai sacreBLEU sebesar 71%, nilai chrF++ sebesar 9,79%, nilai METEOR 22,92%, dan nilai ROUGE-L 14,55% dibandingkan dengan model baseline. Ini menunjukkan bahwa mengintegrasikan model terjemahan teks dapat meningkatkan inklusivitas dan aksesibilitas platform pembelajaran daring bagi komunitas tunarungu di Indonesia.

---

In the era of rapid technological advancement, online learning has become increasingly popular, particularly following the COVID-19 pandemic. However, the deaf community often faces challenges in comprehending educational videos. One potential solution is to provide subtitles in sign language, specifically the Indonesian Sign Language System (SIBI). Developing these subtitles requires text input from educational videos. However, the input text is often too lengthy and contains many words that do not exist in the SIBI dictionary. Current methods generate SIBI animations word by word, resulting in fastmoving animations that are difficult for deaf users to follow. This research discusses the integration of text translation in the development of SIBI animated subtitles for the Moodle application, using machine learning. The study aims to develop a more effective solution by implementing text translation. The research proposes the use of two pretrained models, mBART50 and NLLB200, as baseline models and models for fine-tuning. The experiment utilizes a dataset collected from 12 educational videos. This data is processed, annotated by Special Education (SLB) teachers, and used for training, validation, and testing, and is named SIBIVID-MP12. Experiments were conducted by comparing the baseline models with the fine-tuned models. Fine-tuning was performed with and without a custom loss function, which is an innovation in this study. The custom loss function adds SIBIDictLoss to the total model loss, thereby compelling the model to use only words present in the SIBI dictionary. The experimental results show that with fine-tuning, both mBART50 and NLLB200 models demonstrated improved performance compared to their baseline models in translating Indonesian text into SIBI. The NLLB200 FT+CL model, with a batch size variant of 4, the second weighting variant, a weight size of 0.2, and a penalty size of 0.1, achieved the highest evaluation scores, with an increase in sacreBLEU score by 71%, chrF++ score by 9.79%, METEOR score by 22.92%, and ROUGE-L score by 14.55% compared to the baseline model. This indicates that integrating text translation models can enhance the inclusivity and accessibility of online learning platforms for the deaf community in Indonesia."

"Sesuai dengan ketentuan hukum, setiap warga negara berhak atas informasi dan kemudahan akses informasi, termasuk individu dengan disabilitas tunarungu. Bahasa isyarat menjadi sarana komunikasi utama bagi penyandang disabilitas tunarungu. Bahasa isyarat sering dijumpai pada komunitas tunarungu yang melibatkan penerjemah, teman, dan keluarga serta para penyandang tunarungu itu sendiri. Sistem Isyarat Bahasa Indonesia (SIBI) merupakan sistem bahasa isyarat yang dipakai dalam pemelajaran di sekolah luar biasa. Penelitian yang dilakukan penulis merupakan lanjutan dari penelitian sebelumnya yang bertujuan untuk mengintegrasikan plug-in modul pada Moodle dengan pembangkit teks subtitle dari video pemelajaran untuk diteruskan ke layanan pembangkit animasi 3D bahasa isyarat. plug-in yang dibuat secara umum dibangun dengan Moodle, Python, Redis, dan Unity. Aplikasi Moodle memiliki dua laman, yaitu laman utama yang berisi daftar subtitle menerima status pembentukan subtitle dari database di Python serta laman formulir mengirim HTTP Request yang berisi input berisi video untuk pembentukan subtitle ke aplikasi Python. Aplikasi Python akan menerima HTTP Request yang dikirim dari Moodle dan melakukan deretan perintah yang digunakan untuk penambahan subtitle dan menambahkan subtitle yang dijalankan secara asinkronus ke server Redis. Setelah itu, video dan subtitle akan dikirim melalui Redis untuk pengantrian penambahan animasi bahasa isyarat SIBI. Data tersebut dikirim secara asinkronus ke Unity untuk pembentukan animasi bahasa isyarat. Setelah pembuatan animasi bahasa isyarat selesai, video akan dikirim kembali ke Moodle dan statusnya akan ditambahkan ke database di aplikasi Python. Penulis melakukan percobaan untuk menguji performa masing-masing ASR dengan metrik evaluasi durasi dan Word Error Rate. Percobaan membuktikan jenis ASR Wav2Vec memiliki rata-rata Word Error Rate paling besar yaitu 42,64% dan membutuhkan waktu yang paling lama yaitu 32 menit 3 detik untuk membuat transkripsi audio, disusul jauh oleh Google (WER 1,43% dan durasi 2 menit 27 detik) dan Azure (WER 2,57% dan durasi 1 menit 16 detik). Menurut penulis, Wav2Vec memiliki performa yang buruk sehingga tidak bagus untuk digunakan di kasus umumnya, sehingga sebaiknya model ASR yang dipakai adalah Google dan Azure.

---

In accordance with legal provisions, every citizen has the right to information and ease of access to information, including individuals with hearing disabilities. Sign language is the primary communication method for those with hearing disabilities and is commonly encountered within the deaf community, involving interpreters, friends, family, and the hearing impaired themselves. Sistem Isyarat Bahasa Indonesia (SIBI) is the official sign language used in special educations in Indonesia. The research conducted by the author builds upon a previous study aiming to integrate a module plug-in on Moodle with text subtitle generation from learning videos to be transferred to a 3D sign language animation service. The plug-in was primarily developed using Moodle, Python, Redis, and Unity. The Moodle application contains two main pages: one with a list of subtitles receiving the subtitle creation status from a Python database and another with a form page for sending HTTP requests containing video input for subtitle creation to the Python application. The Python application receives the HTTP requests sent from Moodle and executes a series of commands used for adding subtitles and synchronously adding subtitles to the Redis server. Afterward, the video and subtitles are sent through Redis for queueing and adding SIBI sign language animations. This data is sent asynchronously to Unity for creating sign language animations. Once the sign language animation is complete, the video is sent back to Moodle, and its status is updated in the Python application database. The author conducted experiments to test the performance of each ASR using evaluation metrics such as duration and Word Error Rate. Experiments demonstrated that the Wav2Vec ASR model has the highest Word Error Rate (42,64%) and requires the longest time to create audio transcription (32 minutes 3 seconds), followed by Google (1,43% WER, 2 minutes and 27 seconds) and Azure (2,57% WER, 1 minute and 16 seconds), which performed better. According to the author, Wav2Vec is not suitable for general cases, so the ASR models preferred should be Google and Azure."

"Perbedaan media komunikasi yang digunakan antara komunitas tuli dengan masyarakat normal menjadi pembatas dalam menjalin komunikasi antar keduanya. Untuk mengatasi hal ini, diperlukan suatu alat penerjemah yang dapat menerjemahkan bahasa isyarat Indonesia (Bisindo) yang biasa digunakan oleh komunitas tuli di Indonesia ke bahasa lisan dan sebaliknya. Penelitian ini akan berkontribusi pada pembentukan alat penerjemah tersebut dengan menerjemahkan kalimat dalam format Bisindo menjadi kalimat bahasa Indonesia secara satu arah. Penerjemahan dilakukan dengan dua metode berbeda, yaitu penerjemahan berbasis statistik menggunakan model neural machine translation (NMT) dan penerjemahan berbasis aturan. Khusus untuk penerjemahan berbasis aturan, penelitian ini hanya akan berfokus pada sebuah tahapan saja yaitu penambahan preposisi. Selain itu, penelitian ini juga memaparkan metode pembentukan dataset yang menyerupai karakteristik Bisindo dari dataset Indonesia menggunakan aturan-aturan sederhana untuk mengatasi minimnya ketersediaan dataset tersebut. Model NMT terbaik pada eksperimen ini memperoleh peningkatan nilai SacreBLEU sekitar 56%, serta penurunan nilai WER sekitar 7% dari nilai awal yang diperoleh pada dataset testing secara langsung. Di sisi lain, penerjemahan berbasis aturan memperoleh peningkatan nilai SacreBLEU sekitar 1.1% serta penurunan nilai WER sekitar 9.7% dari nilai awal. Sebagai tambahan, model tersebut memperoleh nilai precision sebesar 0.436 dan nilai recall sebesar 0.340 pada performanya dalam menambahkan preposisi secara spesifik.

---

The difference of communication methods used by the deaf community and the society becomes a boundary that limits the communication between the two. In order to tackle this issue, we need a tool that can translate sign language (especially bahasa isyarat Indonesia or Bisindo which is commonly used by the deaf community in Indonesia) to oral language and vice versa. This experiment will contribute to such tool by building a tool to translate sentences in Bisindo format to Bahasa Indonesia in one direction. Translation is done using two different methods: statistic-based translation using neural machine translation (NMT) models and rule-based translation. Specific to the rule-based approach, we will only focus on one step of the translation process which is adding prepositions. Aside of that, we also propose a method in building Bisindo-like dataset from Bahasa Indonesia dataset in order to handle the low availability of it. The best NMT model in this experiment achieved an improvement around 56% in SacreBLEU and a decrease around 7% in WER compared to the initial metrics value that we got directly from the testing dataset. On the other side, rule-based translation achieved an improvement around 1.1% in SacreBLEU and a decrease around 9.7% in WER compared to the initial metrics value. In addition, the model achieved 0.436 precision score and 0.340 recall score specific to its performance in adding preposition."

"Mempelajari bahasa isyarat bukanlah sesuatu yang mudah. Untuk membantu mempelajari bahasa isyarat, muncul penelitian mesin translasi gerakan isyarat menjadi teks yang dapat dibaca. Untuk penggunaan secara luas, terdapat mesin translasi gerakan isyarat menjadi teks memanfaatkan telepon pintar. Hasil teks yang dihasilkan oleh mesin translasi bergantung terhadap masukkan rangkaian gerakan isyarat. Masukkan ini dapat diperoleh melalui rekaman kamera telepon pintar. Ketika gerakan isyarat bergerak lebih cepat dibandingkan penangkapan bingkai oleh kamera, hasil rekaman menjadi kabur. Rekaman yang kabur akan membuat mesin translasi tidak dapat melakukan prediksi dengan baik. Salah satu solusi untuk mengurangi kabur pada gambar adalah dengan melakukan deblurring. Penelitian ini akan menggunakan metode DeblurGAN-v2 untuk mengurangi tingkat kabur pada bingkai dan menguji hasilnya pada mesin translasi gerakan isyarat SIBI ke teks. Mesin translasi gerakan isyarat SIBI ke teks memperoleh hasil teks yang cukup baik pada data berlatar belakang hijau. Hasil Nugraha dan Rakun (2022) memperoleh 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), dan TC (Time Computation) menggunakan RetinaNet sebesar 0.038 detik per frame pada data berlatar belakang hijau. Hasil evaluasi juga menemukan kekurangan kualitas hasil prediksi dikarenakan masukkan bingkai yang kabur. Penelitian ini mencoba mengatasi masalah bingkai yang kabur dengan menggabungkan metode deblurring ke dalam sistem mesin translasi gerakan isyarat dan mengukur kinerja dengan WER, SAcc, dan TC. Terjadi penambahan TC akibat penambahan metode deblurring, dan untuk mengurangi TC, digunakan nilai ambang batas agar tidak semua bingkai di-deblur. Peneliti menemukan bahwa dengan menambahkan proses deblurring, terjadi peningkatan kinerja mesin translasi gerakan isyarat dari 2.37% WER dan 87.85% SAcc menjadi 1.95% WER dan 89.28% SAcc (tanpa ambang batas) dan 1.96% WER dan 89.28% SAcc (dengan ambang batas) pada data berlatar belakang hijau. Mesin translasi gerakan isyarat menjadi teks tanpa metode deblurring memerlukan TC 0.8036 detik per frame dan setelah menambahkan metode deblurring menjadi 0.8650 detik per frame (tanpa ambang batas) dan 0.8436 detik per frame (dengan ambang batas).

---

Learning sign language isn’t something easy to do. To help learning sign language, born machine sign language translation to text that can be read. For widely usage, there is a machine for translating gestures into text using a smartphone. Text result from machine translation depend on input sign language sequence frame. This input can be obtain from smartphone video recording. When sign language movement is faster than camera frame rate, recording result become blurry. Blurry record will make machine translation can’t make good prediction. One of the solution to reduce blur on the image is by doing deblurring. This research will use DeblurGAN-v2 as method to reduce image blurry rate on frame and test it on machine sign language SIBI translation to text. Machine sign language SIBI translation to text gain good text result on greenscreen background. Result Nugraha dan Rakun (2022) obtain 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), and TC (Time Computation) using RetinaNet at 0.038 seconds per frame on background greenscreen data. Evaluation result also found a lack of of predictive quality due to blurred frame input. This research attempts to overcome the blurred frame problem by combining deblurring method to inside machine sign language translation system and measure performance with WER, SAcc, and TC. There is an addition of TC due to the addition of the deblurring method and to reduce TC, a threshold value is used so not all frames are deblurred. The researcher found that by adding deblurring process, there was an improvement on machine sign language translation from 2.37% WER and 87.85% SAcc to 1.95% WER and 89.28% SAcc (without threshold) and 1.96% WER and 89.28% SAcc (with threshold) on background greenscreen data. Machine for translating gestures into text without deblurring method need TC 0.8036 seconds per frame and after adding deblurring method become 0.8650 seconds per frame (without threshold) and 0.8436 seconds per frame (with threshold)."

"Skripsi ini membahas mengenai penggunaan model segmentasi semantik UNet sebagai alternatif metode segmentasi wajah dan tangan gerakan isyarat SIBI (Sistem Isyarat Bahasa Indonesia) pada latar belakang kompleks. Penelitian dilakukan terhadap dataset gerakan isyarat SIBI milik Lab MLCV Fakultas Ilmu Komputer Universitas Indonesia. Dalam penelitian ini, dilakukan percobaan dengan tiga jenis konfigurasi UNet, yaitu UNet 4- level tanpa Batch Normalization, UNet 5-level tanpa Batch Normalization, dan UNet 4- level dengan Batch Normalization. Hasil segmentasi dari UNet konfigurasi terbaik kemudian dilakukan tahap pengenalan selanjutnya, yaitu ekstraksi fitur dengan MobileNetV2, penghapusan gerakan transisi dengan TCRF, dan gesture recognition dengan 2-layer biLSTM untuk mendapatkan hasil translasi serta evaluasi akhir. Selain itu, performa sistem dengan menggunakan metode segmentasi UNet dibandingkan dengan performa sistem dengan menggunakan metode segmentasi RetinaNet+Skin Color Segmentation. Hasil dari penelitian didapatkan bahwa konfigurasi UNet 4-level dengan Batch Normalization menghasilkan segmentasi yang sedikit lebih baik dibandingkan konfigurasi lainnya, yaitu dengan nilai IOU 0,9178% pada dataset berlatar belakang kompleks. Performa UNet terlihat baik pada saat kedua tangan berada di depan badan, dan menurun ketika tangan berada di posisi yang berdekatan dengan area kulit lainnya (lengan, leher, wajah). Didapatkan juga bahwa sistem pengenalan isyarat SIBI ke teks bahasa Indonesia dengan menggunakan metode segmentasi UNet berhasil memiliki performa yang lebih baik dibandingkan menggunakan metode segmentasi RetinaNet+Skin Color Segmentation, dengan nilai WER 2,703% dan SAcc 82,424% pada latar belakang kompleks. Didapatkan juga waktu komputasi UNet yang lebih cepat dibandingkan RetinaNet dengan waktu segmentasi 0,19643 detik per frame pada CPU NVIDIA DGX A100

---

This thesis discusses the use of the UNet semantic segmentation model as an alternative to hand and face segmentation methods for SIBI (Indonesian Signing System) on complex backgrounds. This research was conducted on SIBI gesture dataset by MLCV Lab (Faculty of Computer Science, Universitas Indonesia). In this study, experiments were conducted with three types of UNet configurations, namely 4-level UNet without Batch Normalization, 5-level UNet without Batch Normalization, and 4-level UNet with Batch Normalization. Segmentation results from the best UNet configuration is then carried out in the next stage of the system, namely feature extraction with MobileNetV2, epenthesis removal with TCRF, and gesture recognition with 2-layer biLSTM to obtain translation results and the final evaluations. In addition, system performance using the UNet segmentation method is compared to system performance using the RetinaNet+Skin Color Segmentation method. The results of the study showed that the 4-level UNet configuration with Batch Normalization produces slightly better segmentation than the other configurations, with an IOU of 0.9178% on a dataset with a complex background. Based on the sample results, UNet performance is good when both hands are on the front of the body, and it decreases when the hands are in close proximity to other skin areas (arms, neck, face). It was also found that the SIBI gesture recognition system to Indonesian text using the UNet segmentation method managed to have better performance than using the RetinaNet+Skin Color Segmentation, with a WER value of 2.703% and a SAcc of 82.424% on a complex background. It was also found that UNet processing time was faster than RetinaNet with a segmentation rate of 0.19643 seconds per frame on the NVIDIA DGX A100 CPU."

"Perkembangan teknologi saat ini sudah mampu menunjang kegiatan belajar mengajar secara daring. Salah satu metode yang digunakan untuk melakukan kegiatan tersebut adalah secara asinkronus. Umumnya, materi yang disampaikan secara asinkronus menggunakan video pemelajaran. Pengajar mengunggah video pemelajaran pada sebuah layanan Learning Management System (LMS) dan siswa menggunakan video tersebut sebagai bahan belajar. Siswa tunarungu mengalami kesulitan mengikuti kegiatan pemelajaran dengan media tersebut karena kurangnya fitur aksesibilitas pada LMS yang digunakan. Fasilkom UI sebelumnya sudah mengembangkan modul pengubah suara menjadi teks dengan Automatic Speech Recognition (ASR) dan pengubah teks menjadi animasi bahasa isyarat (Text-to-Gesture). LMS yang digunakan adalah Moodle. Pada penelitian ini, dikembangkan suatu layanan yang bisa mengintegrasikan modul ASR dengan aplikasi Text-to-Gesture. Penelitian ini mengembangkan sebuah Application Programming Interface (API) yang bisa menerima hasil ASR dan mengirimkannya ke aplikasi Text-to-Gesture. Animasi dibangkitkan dengan aplikasi Text-to-Gesture yang di saat bersamaan direkam dan kemudian diproses menggunakan FFmpeg. Hasil prosesnya kemudian dikirimkan kembali ke Moodle untuk disajikan sebagai bahan ajar. Pada penelitian ini disimpulkan pengembang dapat membuat sebuah API yang bisa menghubungkan modul ASR pada Moodle dengan aplikasi Text-to-Gesture. API yang dibuat juga bisa dihubungkan dengan aplikasi lain selain Moodle selama mengikuti format yang sama dengan modul ASR.

---

The current technology development has been able to support online learning activities. One of the methods used for such activities is asynchronous learning. Typically, asynchronous learning materials utilize instructional videos. Educators upload instructional videos to a Learning Management System (LMS), and students use these videos as learning materials. Deaf students face difficulties in following the learning activities with these media due to the lack of accessibility features in the LMS being used. Previously, Fasilkom UI has developed modules to convert speech into text using Automatic Speech Recognition (ASR) and to convert text into sign language animations (Text-to-Gesture). The LMS used in this research is Moodle. In this study, a service was developed to integrate the ASR module with the Text-to-Gesture application. An Application Programming Interface (API) was developed to receive ASR results and send them to the Text-to-Gesture application. The animations that are generated using the Text-to-Gesture application are recorded and then processed using FFmpeg. The processed results are then sent back to Moodle to be presented as teaching materials. This research concludes that developers can create an API to connect the ASR module in Moodle with the Text-to-Gesture application. The created API can also be connected to other applications as long as they follow the same format as the ASR module."

"SIBI merupakan bahasa isyarat resmi yang digunakan di Indonesia. Penggunaan SIBI seringkali ditemukan permasalahan karena banyaknya gerakan isyarat yang harus diingat. Penelitian ini bertujuan untuk mengenali gerakan isyarat SIBI dengan cara mengekstraksi fitur tangan dan wajah yang kemudian diklasifikasikan menggunakan Bidirectional Long ShortTerm Memory (BiLSTM). Ekstraksi fitur yang digunakan dalam penelitian ini adalah Deep Convolutional Neural Network (DeepCNN) seperti ResNet50 dan MobileNetV2, di mana kedua model tersebut digunakan sebagai pembanding. Penelitian ini juga membandingkan performa dan waktu komputasi antara kedua model tersebut yang diharapkan dapat diterapkan pada smartphone nantinya, dimana model tersebut akan diimplementasikan. Hasil penelitian menunjukkan bahwa penggunaan model ResNet50-BiLSTM memiliki kinerja yang lebih baik dibandingkan dengan MobileNetV2-BiLSTM yaitu 99,89%. Namun jika akan diaplikasikan pada arsitektur mobile, MobileNetV2-BiLSTM lebih unggul karena memiliki waktu komputasi yang lebih cepat dengan performa yang tidak jauh berbeda jika dibandingkan dengan ResNet50-BiLSTM.

---

SIBI is a sign language that is officially used in Indonesia. The use of SIBI is often found to be a problem because of the many gestures that have to be remembered. This study aims to recognize SIBI gestures by extracting hand and facial features which are then classified using Bidirectional Long ShortTerm Memory (BiLSTM). The feature extraction used in this research is Deep Convolutional Neural Network (DeepCNN) such as ResNet50 and MobileNetV2, where both models are used as a comparison. This study also compares the performance and computational time between the two models which is expected to be applied to smartphones later, where both models can now be implemented on smartphones. The results showed that the use of ResNet50-BiLSTM model have better performance than MobileNetV2-BiLSTM which is 99.89\%. However, if it will be applied to mobile architecture, MobileNetV2-BiLSTM is superior because it has a faster computational time with a performance that is not significantly different when compared to ResNet50-BiLSTM."

"Perkembangan teknologi membawa banyak inovasi pada berbagai bidang, salah satunya dalam bidang penerjemahan sastra dan bahasa. Dengan munculnya mesin-mesin penerjemah berbasis Neural Machine Translate (NMT) membantu dan mempercepat penerjemahan kumpulan karya dan teks dalam berbagai bahasa, tetapi tidak diketahui apakah terjemahan mesin tersebut sudah tepat dan lebih unggul dibandingkan dengan terjemahan manusia. Penelitian ini mengkaji secara semantis dan sintaktis hasil terjemahan mesin berbasis NMT yaitu Baidu Translate, Youdao Translate dan Google Translate dibandingkan dengan terjemahan penerjemah pada buku Dizigui. Metode yang digunakan adalah metode penelitian kualitatif dengan melakukan penelusuran terhadap suku kata, frasa, klausa dan kalimat kemudian dikomparasikan hasil terjemahan tersebut dengan hasil terjemahan penerjemah dalam buku Dizigui. Hasil penelitian menemukan bahwa terjemahan manusia memiliki keunggulan dibandingkan dengan terjemahan mesin penerjemah. Hal membedakan terjemahan  mesin dan manusia terdapat pada cara mesin memaknai karakter, interpretasi mesin terhadap komposisi sintaktis dan pengetahuan konsep budaya pada setiap karakter kutipan teks.

---

Technology developments have brought many innovations in various fields, one of which is in the field of literary and language translation. With the advance of machine translation based on Neural Machine Translate (NMT) it helps and accelerates the translation of collections of works and texts in various languages, but it’s unknown whether machine translation is correct and superior to human translation. This study examines semantically and syntactically the results of NMT-based machine translations Baidu Translate, Youdao Translate and Google Translate compared to translator’s translations in Dizigui book. The method used is a qualitative research method by searching syllables, phrases, clauses and sentences then compared the results of the translation with the results of the translator's translation in Dizigui's book. The results of the study found that human translation has an advantage over machine translation. What distinguishes machine and human translation lies in the way the machine interprets the characters, the machine's interpretation of the syntactic composition and knowledge of the cultural concept in each character of the text quote."

"Bahasa isyarat menjadi sarana utama bagi penyandang tunarungu untuk berkomunikasi. Kemampuan penyandang tunarungu untuk beradaptasi dengan lingkungannya ditentukan dari seberapa baik komunikasi dua arah dapat dilakukan dengan bahasa isyarat. Adanya smartphone sebagai teknologi yang umum digunakan masyarakat luas dapat menjadi sarana bagi masyarakat untuk berkomunikasi dengan penderita tunarungu. Penelitian ini berfokus pada pengembangan aplikasi yang mampu mengimplementasikan sistem penerjemah SIBI pada smartphone Android. Penelitian ini menggunakan hasil freeze model yang dikembangkan oleh peneliti sebelumnya yaitu MobileNetV2, CRF, dan LSTM. Ketiga model tersebut berjalan sebagai serangkaian proses dan digunakan untuk memproses data video gerakan isyarat. Keluaran dari sistem penerjemah ini adalah terjemahan isyarat dalam bentuk teks. Penelitian ini juga melakukan percobaan untuk meningkatkan kinerja MobileNetV2 dengan menerapkan parallel processing dengan dua hingga empat inference. Berdasarkan hasil percobaan, sistem penerjemah yang dikembangkan mampu menerjemahkan bahasa isyarat dengan akurasi kata 90,560%, akurasi kalimat 64%, dan waktu penerjemahan rata- rata 20 detik. Penggunaan parallel processing dapat meningkatkan kinerja MobileNetV2 sebesar 54%.

---

Sign language is the main media for deaf people to communicate. The ability of people with hearing impairment to adapt to their environment is determined by how well two-way communication can be done with sign language. The existence of a smartphone as a technology that is commonly used by the wider community can be a means for the community to communicate with people with hearing impairment. This research focuses on developing applications that is able to implement the SIBI translator system on Android smartphones. This study uses the results of the freeze model developed by previous researchers, which are MobileNetV2, CRF, and LSTM. The three models operate as a series of processes and are used to process sign language gesture video. The output of this translator system is sign language translation in text form. This study also conducted an experiment to improve the performance of MobileNetV2 by implementing parallel processing with two to four inferences. Based on the experimental results, the translator system developed was able to translate sign language with an word accuracy of 90.560%, sentence accuracy 64%, and an average translation time of 20 seconds. The use of parallel processing can improve the performance of MobileNetV2 by 54%."