Para penyandang tunarungu berkomunikasi menggunakan bahasa isyarat resmi di Indonesia, yaitu SIBI (Sistem Isyarat Bahasa Indonesia). Dengan menggunakan aplikasi penerjemah Bahasa isyarat ke teks akan membantu komunikasi antara tunarungu maupun non-tunarungu. Dengan menggunakan pre-trained model CPM (EdvardHua, 2018) akan mendapatkan informasi berupa titik-titik skeleton seperti titik tangan, bahu, dan siku. Informasi titik skeleton itu akan digunakan untuk memprediksi kata. Namun, proses tersebut perlu berjalan secara real-time, yaitu ketika pengguna membuka kamera maka akan langsung mendapatkan respon. Untuk mencapai itu diperlukan mobile deep learning framework, sehingga proses inference bisa menjadi lebih cepat dengan bantuan runtime GPU. Penelitian ini berfokus menjalankan inference menggunakan mobile deep learning framework untuk implementasi modul ekstraksi skeleton secara real-time pada Android. Pada penelitian ini digunakan Tensorflow mobile (runtime hanya CPU), MACE, dan SNPE. Dilakukan pengukuran dari sisi latency, penggunaan energi, penggunaan memori, penggunaan daya, dan perubahan suhu. Hasil pengukuran menunjukkan bahwa penggunaan MACE dan SNPE dengan runtime GPU menghasilkan latency yang lebih kecil dibandingkan penggunaan CPU. Penggunaan CPU menyebabkan thermal throttling, sehingga terjadi penurunan kinerja. Dengan runtime GPU menghasilkan penggunaan energi, memori, dan daya yang lebih sedikit dibandingkan CPU. Kenaikan suhu ketika menggunakan runtime GPU lebih kecil dibandingkan CPU.
People with hearing impairments use the official sign language in Indonesia, namely SIBI (Sistem Isyarat Bahasa Indonesia). Using a sign language-to-text translator application will help the communication between people with hearing impairments and people without hearing impairment. By using the pre-trained CPM model (EdvardHua, 2018), the information in the form of skeleton points such as the points of the hands, shoulders, and elbows will be obtained. The skeleton point information will be used to predict its translation words. However, the translation process needs to be run in real- time, which is when users open their cameras then they will immediately receive a respond. To achieve that goal, we need a mobile deep learning framework, with the result that the inference process is faster with the help of the GPU runtime. This research focuses on running inferences using a mobile deep learning framework to implement real-time skeleton extraction module in Android. This research uses Tensorflow mobile (runtime only for CPU), MACE, and SNPE. Measurements of the latency, energy usage, memory usage, power usage, and temperature change were taken. The measurement results show that the use of MACE and SNPE with GPU runtime is in lower latency than with the use of CPU. Measurement with CPU usage causes thermal throttling, resulting in decreased performance. Measurement with GPU runtime results in lower usage of energy, memory and power compared to the measurement with CPU. The temperature increase when using the GPU runtime is lower than when using the CPU. |
S-Rama Widragama Putra.pdf :: Unduh