Digitalisasi proses pengisian data Kartu Tanda Penduduk (KTP) memerlukan prosesotomatisasi dan otentikasi, yang dapat dilakukan dengan proses pembacaan teks pada gambarKTP oleh komputer secara otomatis serta mengevaluasi kemiripan wajah pada foto KTP danswafoto pendaftar. Proses pembacaan data pada KTP secara otomatis disebut juga secagai prosesOptical Character Recognition (OCR), sedangkan pengevaluasian kemiripan wajah dapatdilakukan dengan model Siamese Network. Baik Siamese Network maupun model untuk OCRmerupakan model yang pada dasarnya digunakan untuk mengolah gambar. Oleh karena itudigunakan Convolutional Neural Network (CNN) sebagai model dasar pada penelitian ini. Padaproses OCR dan evaluasi kemiripan wajah dibutuhkan model yang mampu mendeteksi lokasi teksdan wajah yang akan diekstrak dari gambar, model tersebut merupakan model text detection danface detection. Model text detection dan face detection merupakan aplikasi dari model objectdetection. Pada model object detection terbaru, dikembangkan model modifikasi CNN yangmampu mendeteksi obek yang berukuran sangat kecil dan sangat besar, model tersebut dinamakanBidirectional Feature Pyramid Network (BiFPN). Setelah mengekstrak lokasi teks, langkah dariproses OCR selanjutnya adalah mengenali setiap karakter dalam teks (text recognition), yangdapat dilakukan dengan model Bidirectional Long Short-Term Memory (BiLSTM). Sedangkandari wajah yang diekstrak selanjutnya ditentukan apakah berasal dari orang yang sama atau tidakoleh model Siamese Network. Pada penelitian ini akan dibangun arsitektur CNN Effiception, yangdigabungkan menjadi CNN-BiFPN untuk proses object detection, CNN-BiLSTM, untuk prosestext recognition, dan CNN dalam bentuk Siamese Network untuk mengevaluasi kemiripan wajah

---

Digitization of ID card applications requires automation and an authentication process,

which can be done by computerized ID card information reading and face's similarity evaluating

on ID card's photo and applicant selfie. The computerized ID card information reading is named

Optical Character Recognition (OCR). While the face's similarity authentication is done by the

Siamese Network model. Both the Siamese Network and OCR model basically used to process

images. Therefore, the Convolutional Neural Network (CNN) became the base model for this

study. Each of OCR and face's similarity authentication required a model that can detect the

location of text and face to be extracted from the image. They are text detection and face detection

model, which are the applications of object detection. The latest object detection model,

EfficientDet, used CNN modification that capable to detect a tiny and huge object at the same

time, is called Bidirectional Feature Pyramid Network (BiFPN). After extracting the location of

the text, the next step of the OCR process is to recognize each character in the text (text

recognition), which can be done with the Bidirectional Long Short-Term Memory (BiLSTM).

Meanwhile, the extracted face, from the selfie and ID card's photo, then be determined either from

the same person or not, by the Siamese Network. The product of this study is the CNN

architecture, Effiception, which is combined into CNN-BiFPN for object detection process, CNNBiLSTM,

for text recognition process, and its modification into Siamese Network architecture to

evaluate the face's similarity