Pada awal pandemi COVID-19, keputusan medis pada pasien ditentukan oleh dokter berdasarkan banyak tes medis (misalnya, tes reaksi berantai polimerase, tes suhu, CTScan atau X-ray). Metode transfer learning telah digunakan dalam beberapa penelitian dan berfokus hanya pada satu biomarker (misalnya, hanya CT-Scan atau X-Ray saja) untuk mendiagnosis pneumonia. Dalam studi terbaru, modalitas tunggal memiliki keakuratan klasifikasi sendiri dan setiap biomarker yang berbeda dapat memberikan informasi pelengkap untuk mendiagnosis COVID-19 pneumonia. Tujuan pada penelitian ini adalah membangun model multimodal yaitu dengan menggabungkan dua masukan (input) menjadi satu keluaran (output) pada tahapan pembuatan model. Dua model transfer learning yang berbeda telah digunakan pada masing-masing masukan dengan dataset open-source 2849 gambar CT-Scan dan 2849 gambar X-ray untuk mengklasifikasikan gambar CT-Scan dan gambar X-ray menjadi dua kelas: normal dan COVID-19 pneumonia. Model transfer learning yang digunakan adalah model DenseNet121, model MobileNet, model Xception, model InceptionV3, model ResNet50 dan model VGG16 untuk proses ekstraksi fitur. Alhasil, akurasi klasifikasi terbaik didapatkan sebesar 99,87% saat penggabungan jaringan ResNet50 dan VGG16. Kemudian, akurasi klasifikasi terbaik didapatkan sebesar 98,00% saat menggunakan modalitas tunggal model ResNet50 dengan data CT-Scan dan akurasi klasifikasi sebesar 98,93% untuk model VGG16 dengan data X-Ray. Metode penggabungan multimodal learning menunjukkan akurasi klasifikasi yang lebih baik dibandingkan dengan metode yang menggunakan hanya satu modalitas saja.
Due to COVID-19 Pandemic, medical decisions on patients were made by doctors based on many medical tests (e.g., polymerase chain reaction test, temperature test, CT-Scan or X-ray). Transfer learning methods have been used in several studies and focus on only one biomarker (eg, CT-Scan or X-Ray only) for diagnosing pneumonia. In recent studies, a single modality has its own classification accuracy and each different biomarker can provide complementary information for diagnosing COVID-19 pneumonia. The purpose of this research is to build a multimodal model by combining two inputs (inputs) into one output (output) at the modeling stage. Two different transfer learning models were used at each input with an open-source dataset of 2849 CT-Scan images and 2849 X-ray images to classify CT-Scan images and X-ray images into two classes: normal and COVID-19 pneumonia. . The transfer learning model used is the DenseNet121 model, the MobileNet model, the Xception model, the InceptionV3 model, the ResNet50 model and the VGG16 model for the feature extraction process. As a result, the best classification accuracy was obtained at 99.87% when merging the ResNet50 and VGG16 networks. Then, the best classification accuracy was obtained at 98.00% when using a single modality ResNet50 model with CT-Scan data and a classification accuracy of 98.93% for the VGG16 model with X-Ray data. The multimodal learning combination method shows better classification accuracy than the method that uses only one modality. |
T-Naufal Hilmizen.pdf :: Unduh