Bahasa isyarat umumnya dilakukan oleh tuna rungu dan tuna wicara yang menimbulkan kesenjangan dalam berkomunikasi khususnya saat melamar pekerjaan. Ada hambatan komunikasi yang dirasakan saat proses pencarian kerja dimana pada tahun 2020 menyebutkan bahwa penyandang disabilitas yang bekerja sebanyak 7,67 juta orang (5,98% dari total pekerja di Indonesia) dibandingkan dengan jumlah pekerja dengan disabilitas di Indonesia mencapai 720.748 orang (0,53% dari total pekerja di Indonesia) pada tahun 2022 menurut BPS (Badan Pusat Statistik). Penurunan persentase dalam lapangan kerja sebagian besar disebabkan oleh praktik perekrutan yang diskriminatif oleh banyak perusahaan. Jadi, dibutuhkan sistem deteksi bahasa isyarat yang dapat mempermudah dalam penerjemahan bahasa isyarat supaya kesempatan pengguna bahasa isyarat sama dengan semua orang dalam proses pelamaran kerja dan mendapatkan pekerjaan yang layak. Skenario pengambilan data adalah dengan 2 skenario, yaitu data non augmented dan augmented. Proses training dengan dataset yang terdiri atas 348 citra training yang lalu diaugmentasi sehingga berjumlah 1.044 citra training. Hasil pengujian dengan real-time testing dilakukan dengan evaluasi model menggunakan parameter akurasi sistem (confidence score), precision, recall, dan F1 Score untuk setiap model dimana nilai confidence score model Faster R-CNN dan RetinaNet adalah 96,67% : 93,33%. Selain itu, perbandingan nilai F1 Score untuk model Faster R-CNN dan RetinaNet adalah 0,98 : 0,97, tingkat akurasi mAP Faster R-CNN dan RetinaNet yang non augmented adalah 95,3% : 90,6%, sedangkan mAP Faster R-CNN dan RetinaNet yang augmented adalah 92,1% : 88,2%. Melalui hasil tersebut diperoleh bahwa kedua model memiliki presisi yang lebih rendah saat sudah diaugmentasi. Maka dari itu, algoritma Faster R-CNN memiliki hasil presisi lebih akurat dibandingkan algoritma RetinaNet.

---

Sign language is generally used by the deaf and speech impaired which causes errors in communication, especially when applying for jobs. There are communication barriers that are felt during the job search process where in 2020 it is stated that 7,67 million people with disabilities work (5,98% of total workers in Indonesia) compared to the number of workers with disabilities in Indonesia reaching 720,748 people (0,53% of total workers in Indonesia) in 2022 according to BPS (Badan Pusat Statistik). The percentage decline in employment is largely due to discriminatory hiring practices by many companies. So, a sign language detection system is needed that can make it easier to translate sign language so that sign language users have the same opportunities as everyone else in the job application process and getting a decent job. The data collection scenario is with 2 scenarios, namely non-augmented and augmented data. The training process uses a dataset consisting of 348 training images which are then augmented so that the total is 1.044 training images. Test results using real-time testing were carried out by evaluating the model using system accuracy parameters (confidence score), precision, recall, and F1 Score for each model where the Confidence Score value for the Faster R-CNN and RetinaNet models was 96,67% : 93,33%. In addition, the comparison of the F1 Score values​​for the Faster R-CNN and RetinaNet models is 0,98 : 0,97, the accuracy level of the non-augmented mAP Faster R-CNN and RetinaNet is 95,3% : 90,6%, while the mAP Faster R-CNN and augmented RetinaNet are 92,1% : 88,2%. From these results, it was found that the two models had lower precision when they were augmented. Therefore, the Faster R-CNN algorithm has more accurate precision results than the RetinaNet algorithm.