Perkembangan Human Computer Interaction (HCI) dalam dunia medis dapat membantu pasien untuk berkomunikasi dengan keluarga atau perawat agar kebutuhan mereka dapat terpenuhi dengan baik. Pada penelitian ini akan digunakan salah satu aplikasi HCI yaitu pengenalan isyarat tangan melalui web camera sebagai sistem penyampaian pesan. Akuisisi citra dilakukan pada 12 subjek dengan berbagai jenis kelamin dan usia yang memperagakan lima isyarat tangan. Isyarat tangan yang diperagakan berdasarkan pada kebutuhan dasar pasien: makan, minum, ingin ke toilet, butuh bantuan, dan butuh obat-obatan. Citra yang telah dikumpulkan lalu dilakukan pengolahan seperti labelling kelas hingga akhirnya dilatih menggunakan algoritma Single Shot Detector (SSD) MobileNet V2. SSD MobileNet V2 dipilih karena memiliki kemampuan deteksi yang baik dan komputasi yang cukup ringan sehingga cocok diaplikasikan untuk real-time. Pada penelitian ini, didapatkan mean Accuracy Precision (mAP) sebesar 44.7% serta dapat mendeteksi dan mengenali 85 dari 100 citra dengan baik ketika dijalankan pada komputer personal. Hasil mAP yang didapatkan lebih baik dari penelitian sebelumnya. Frame Rate per Second (FPS) yang dihasilkan saat diaplikasikan real-time sebesar ±2 FPS. Model hasil pelatihan kemudian juga diaplikasikan pada Raspberry Pi Model 3 dan 4 untuk mengetahui perbandingannya.

---

The development of Human Computer Interaction (HCI) in medical side can help dissabled patient to communicate well with their relatives and medical helpers. This can help to maintain their needs to be well-fullfilled. In this research study, one of HCI aplication has been used. It is hand gesture recognition using web camera as a notification system. Image acquisition has been done on 12 subjects with various gender and ages. They demonstrated the five gestures: need to eat, need to drink, need to go to the toilet, need help and need medicines. These gestures are based on human’s basic daily needs. The collected images were processed like labelling the images and tarined using Single Shot Detector (SSD) MobileNet V2 algorithm.We chosed SSD because it has good ability in object detection and needs low computation. Therefore, it is suitable to be applied on real-time detection. In this study, we yielded mean Accuracy Precision (mAP) 44.7% and 85 out of 100 images were well-detected when they were run on personal computer (PC). The result provided in this study is considered better than previous study. Frame rate per second (FPS) provided in this study was ±2 FPS. The trained model also was run on Raspberry Pi 3 and 4 to compare their results.