UI - Skripsi Membership :: Kembali

UI - Skripsi Membership :: Kembali

Real-time Model Bahasa Isyarat Indonesia (BISINDO) Recognition dengan Metode Long Short-Term Memory (LSTM) dan Streamlit = Real-Time Model of Indonesian Sign Language (BISINDO) Recognition using Long Short-Term Memory (LSTM) Method and Streamlit

Muhammad Rafii Zain; Fitri Yuli Zulkifli, supervisor; Catur Apriono, examiner; Naufan Raharya, examiner (Fakultas Teknik Universitas Indonesia, 2022)

 Abstrak

Bahasa Isyarat Indonesia atau BISINDO adalah bahasa yang sering ditemukan di kalangan Teman Tuli maupun Teman Inklusi dibentuk oleh Teman Tuli dan muncul secara alami berdasarkan pengamatan Teman Tuli yang menyebabkan BISINDO sendiri memiliki variasi atau dialek di berbagai daerah dan BISINDO disampaikan dengan gerakan dua tangan. BISINDO sendiri dapat digunakan sebagai dataset pada metode deep learning seperti LSTM. Di mana pada BISINDO terdapat gerakan dinamis yang membuatnya sulit untuk dilakukan dengan metode CNN. Dengan LSTM dan menggabungkan nya dengan library dari MediaPipe dan Streamlit kita dapat membuat model deep learning yang dapat mendeteksi gerakan secara real-time, akurasi yang baik dan dapat diakses melalui browser. Pada penelitian dibuat rancangan dan pengujian untuk mendeteksi BISINDO secara real-time dengan metode LSTM di bantu dengan library MediaPipe Holistic untuk mendeteksi landmark dari wajah, pose, dan tangan serta Streamlit untuk dapat membuat model diakses melalui browser. Metrik evaluasi yang digunakan pada penelitian ini adalah data dari akurasi, validasi akurasi, loss, validasi loss, confusion matrix, dan classification report untuk mendapatkan data presisi, recall, akurasi, dan f1-score. Pada training model dengan 130 epochs didapat loss 6.19%, akurasi 98.23%, validasi loss 4.58%, dan validasi akurasi 100% serta pengujian model secara real-time yang berhasil dilakukan dengan Visual Studio Code dan browser dengan Streamlit.

Indonesian Sign Language or BISINDO is a language that is often found among Deaf Friends and Inclusion Friends formed by Deaf Friends and appears naturally based on the observations of Deaf Friends which causes BISINDO itself to have variations or dialects in various regions. BISINDO is conveyed with two hand gestures. BISINDO itself can be used as a dataset in deep learning methods such as LSTM. Whereas in BISINDO there is a dynamic movement which makes it difficult to do with the CNN method. With LSTM and combining it with libraries from MediaPipe and Streamlit, we can create deep learning models that can detect motion in real-time, have good accuracy, and can be accessed via a browser. In this research, a design and test were made to detect BISINDO in real-time with the LSTM method assisted by the MediaPipe Holistic library to detect landmarks from faces, poses, and hands and Streamlit to be able to make models accessible via a browser. The evaluation metrics used in this study are data from accuracy, accuracy validation, losses, validation losses, confusion matrices, and classification reports to obtain data on precision, gain, accuracy, and f1-score. The training model with 130 epochs obtained 6.19% loss, 98.23% accuracy, 4.58% loss validation, and 100% accuracy validation and real-time model testing which was successfully carried out with Visual Studio Code and a browser with Streamlit.

 File Digital: 1

Shelf
 S-Muhammad Rafii Zain.pdf :: Unduh

LOGIN required

 Metadata

Jenis Koleksi : UI - Skripsi Membership
No. Panggil : S-pdf
Entri utama-Nama orang :
Entri tambahan-Nama orang :
Entri tambahan-Nama badan :
Program Studi :
Subjek :
Penerbitan : Depok: Fakultas Teknik Universitas Indonesia, 2022
Bahasa : ind
Sumber Pengatalogan : LibUI ind rda
Tipe Konten : text
Tipe Media : computer
Tipe Carrier : online resource (rdcarrier)
Deskripsi Fisik : xv, 55 pages : illustration + appendix
Naskah Ringkas :
Lembaga Pemilik : Universitas Indonesia
Lokasi : perpustakaan UI
  • Ketersediaan
  • Ulasan
  • Sampul
No. Panggil No. Barkod Ketersediaan
S-pdf 14-23-49456714 TERSEDIA
Ulasan:
Tidak ada ulasan pada koleksi ini: 9999920516387
Cover