Rancang Bangun Sistem Pengenalan Bahasa Isyarat Menggunakan Algoritma YOLOv5 dan SSD = Development of Sign Language Recognition System Using YOLOv5 and SSD Algorithms
Bryan Dario Lesmana;
Mia Rizkinia, supervisor; Yan Maraden, examiner; I Gde Dharma Nugraha, examiner
(Fakultas Teknik Universitas Indonesia, 2022)
|
|
Bahasa Isyarat adalah bahasa yang digunakan kebanyakan oleh kaum tuna rungu dan tuna wicara yang tidak bisa berkomunikasi secara audio, hal ini menimbulkan kesenjangan dalam berkomunikasi terlebih dalam kemampuan tuna rungu dan tuna wicara dalam melaksanakan kehidupannya sehari – hari khususnya saat ingin melamar kerja. Penelitian ini dilakukan untuk mempermudah komunikasi antara pengguna bahasa isyarat dengan mereka yang tidak memahami bahasa isyarat, dimana dengan adanya sistem ini maka translasi bahasa isyarat ke Bahasa Indonesia akan dilakukan secara automatis dan ini akan membantu bagaimana kaum tuna wicara dan tuna rungu berkomunikasi dengan mereka yang tidak memahami bahasa isyarat sehingga ini akan berdampak dimana para pengguna bahasa isyarat bisa memiliki kesempatan yang sama dengan semua orang dalam proses pelamaran kerja dan mendapatkan pekerjaan yang layak. Sistem pengenalan bahasa isyarat ini bekerja dengan menerima bahasa isyarat yang disampaikan oleh seseorang secara real-time dan kemudian mengenalinya sebagai arti kata dari bahasa isyarat tersebut ke Bahasa Indonesia. Pada penelitian ini OpenCV digunakan sebagai metode pengambilan gambar dalam waktu nyata, serta algoritma YOLOv5 yang dibandingkan dengan SSD yang digunakan untuk memroses gambar tersebut serta menandakan yang mana objek yang dianggap sebagai bahasa isyarat dan mendeteksi artinya. Proses training dilakukan dengan dataset yang terdiri dari 463 citra training yang kemudian diaugmentasi sehingga berjumlah 1389 citra training. Model yang dihasilkan dari setiap algoritma yang digunakan dalam penelitian diuji menggunakan dataset testing lalu akan diuji dalam tahap real-time testing dan parameter yang digunakan untuk evaluasi kedua hasil model adalah akurasi atau (confidence score) sistem, precision, recall, dan F1 Score untuk masing – masing model dimana nilai perbandingan untuk nilai confidence score model YOLOv5 dan SSD adalah 100% : 87.66%. Sedangkan perbandingan nilai F1 Score untuk model YOLOv5 dan SSD adalah 1 : 0.9342. Penelitian ini juga menunjukkan bahwa Learning Rate dari Model SSD lebih tinggi dibanding Model YOLOv5 yaitu 0.08 : 0.009. Pada penelitian ini ditunjukkan bahwa algoritma YOLOv5 akan memiliki hasil presisi yang lebih baik dibandingkan algoritma SSD. Sign Language is the method used mostly by deaf and mute people which are unable to communicate by audio . This difference in the way of communicating between each other creates a gap in communicating between the deaf and mute with normal people. This research is done with the intent to further make the communication between sign language user those that do not understand sign language by automatically translating the meaning of each sign language to Bahasa Indonesia. By doing this, this will ensure to help the mute and deaf people so that they will have the same opportunity to apply for a job just like those without disability. Sign language recognition works by detecting object in real time using camera and then recognize the sign made and show the meaning of that particular sign. This is made possible using OpenCV to take images in real time and the model SSD and YOLOv5 to process those images and label them using rectangular show which object on the picture is the sign language that needs to be recognized based on the available dataset which is the sign language that have already been taken before the test. The training process of this research is done using 463 training images which then augmented and becomes 1389 training images. The models created from training using both algorithms will be tested using testing images and then further tested using real-time testing and the parameter used for evaluation of those models are the confidence score of the system accuracy, precision, recall, and F1 Score which from this research shows that the comparison of confidence score of the system accuracy betweenYOLOv5 model and SSD model is 100% : 87.66%. On the other hand, the comparison of the F1 Score between YOLOv5 model and SSD model is 1 : 0,9342. This research shows that YOLOv5 model have better learning rate compared to SSD which is 0.08 : 0.009. The result from this research shows that YOLOv5 algorithm will have better score of precision compared to SSD algorithm. |
 S-Bryan Dario Lesmana.pdf :: Unduh
|
| No. Panggil : | S-pdf |
| Entri utama-Nama orang : | |
| Entri tambahan-Nama orang : | |
| Entri tambahan-Nama badan : | |
| Subjek : | |
| Penerbitan : | Depok: Fakultas Teknik Universitas Indonesia, 2022 |
| Program Studi : |
| Bahasa : | ind |
| Sumber Pengatalogan : | LibUI ind rda |
| Tipe Konten : | text |
| Tipe Media : | computer |
| Tipe Carrier : | online resource |
| Deskripsi Fisik : | xi, 63 pages : illustration |
| Naskah Ringkas : | |
| Lembaga Pemilik : | Universitas Indonesia |
| Lokasi : | Perpustakaan UI |
| No. Panggil | No. Barkod | Ketersediaan |
|---|---|---|
| S-pdf | 14-22-07845182 | TERSEDIA |
| Ulasan: |
| Tidak ada ulasan pada koleksi ini: 20523395 |
