Digitalisasi proses pengisian data Kartu Tanda Penduduk (KTP) memerlukan prosesotomatisasi dan otentikasi, yang dapat dilakukan dengan proses pembacaan teks pada gambarKTP oleh komputer secara otomatis serta mengevaluasi kemiripan wajah pada foto KTP danswafoto pendaftar. Proses pembacaan data pada KTP secara otomatis disebut juga secagai prosesOptical Character Recognition (OCR), sedangkan pengevaluasian kemiripan wajah dapatdilakukan dengan model Siamese Network. Baik Siamese Network maupun model untuk OCRmerupakan model yang pada dasarnya digunakan untuk mengolah gambar. Oleh karena itudigunakan Convolutional Neural Network (CNN) sebagai model dasar pada penelitian ini. Padaproses OCR dan evaluasi kemiripan wajah dibutuhkan model yang mampu mendeteksi lokasi teksdan wajah yang akan diekstrak dari gambar, model tersebut merupakan model text detection danface detection. Model text detection dan face detection merupakan aplikasi dari model objectdetection. Pada model object detection terbaru, dikembangkan model modifikasi CNN yangmampu mendeteksi obek yang berukuran sangat kecil dan sangat besar, model tersebut dinamakanBidirectional Feature Pyramid Network (BiFPN). Setelah mengekstrak lokasi teks, langkah dariproses OCR selanjutnya adalah mengenali setiap karakter dalam teks (text recognition), yangdapat dilakukan dengan model Bidirectional Long Short-Term Memory (BiLSTM). Sedangkandari wajah yang diekstrak selanjutnya ditentukan apakah berasal dari orang yang sama atau tidakoleh model Siamese Network. Pada penelitian ini akan dibangun arsitektur CNN Effiception, yangdigabungkan menjadi CNN-BiFPN untuk proses object detection, CNN-BiLSTM, untuk prosestext recognition, dan CNN dalam bentuk Siamese Network untuk mengevaluasi kemiripan wajah
Digitization of ID card applications requires automation and an authentication process,which can be done by computerized ID card information reading and face's similarity evaluatingon ID card's photo and applicant selfie. The computerized ID card information reading is namedOptical Character Recognition (OCR). While the face's similarity authentication is done by theSiamese Network model. Both the Siamese Network and OCR model basically used to processimages. Therefore, the Convolutional Neural Network (CNN) became the base model for thisstudy. Each of OCR and face's similarity authentication required a model that can detect thelocation of text and face to be extracted from the image. They are text detection and face detectionmodel, which are the applications of object detection. The latest object detection model,EfficientDet, used CNN modification that capable to detect a tiny and huge object at the sametime, is called Bidirectional Feature Pyramid Network (BiFPN). After extracting the location ofthe text, the next step of the OCR process is to recognize each character in the text (textrecognition), which can be done with the Bidirectional Long Short-Term Memory (BiLSTM).Meanwhile, the extracted face, from the selfie and ID card's photo, then be determined either fromthe same person or not, by the Siamese Network. The product of this study is the CNNarchitecture, Effiception, which is combined into CNN-BiFPN for object detection process, CNNBiLSTM,for text recognition process, and its modification into Siamese Network architecture toevaluate the face's similarity |
S-Mega Fransiska.pdf :: Unduh