Kegiatan monitoring adalah salah satu hal penting dalam proses perawatan pohon kelapa sawit. Penyakit Ganoderma merupakan salah satu penyakit pada pohon kelapa sawit yang proses penyebarannya cepat. Saat ini kegiatan monitoring kesehatan kelapa sawit masih dilakukan secara manual (konvensional) yaitu dengan melihat secara langsung satu persatu pohon kelapa sawit. Proses ini membutuhkan waktu yang lama serta tenaga yang tidak sedikit. Teknik deteksi menggunakan potongan sampel daun dapat memungkinkan terjadi perubahan biologis pada daun dan proses pengambilan data sampel yang rumit. Pendeteksian menggunakan sampel citra dari drone lebih mudah dilakukan, namun belum dapat menghasilkan informasi terkait vegetasi tanaman. Berdasarkan permasalahan tersebut, pada penelitian ini dilakukan deteksi dan klasifikasi kesehatan pohon kelapa sawit menggunakan sampel citra pohon tampak atas. Pengambil data citra menggunakan drone DJI Air 2S yang dilengkapi dengan kamera multispektral enam kanal (red, green, blue, orange, cyan, dan near infrared) untuk mendapatkan informasi yang lebih lengkap terkait vegetasi tanaman, sehingga prosesnya jauh lebih mudah dan cepat. Data citra yang diperoleh dilakukan pemodelan YOLO dan middle level fusion CNN untuk mendapatkan hasil lokasi pohon dan status kesehatannya. Pengambilan data citra dilakukan di PT Perkebunan Nusantara III (PERSERO) kelapa sawit Cikasungka, Wilayah Distrik Jawa Barat Banten pada pohon kelapa sawit sehat dan pohon kelapa sawit terinfeksi penyakit Ganoderma. Dalam penelitian ini, pemodelan YOLO menggunakan citra RGB mampu mendeteksi banyaknya objek pohon terdeteksi dengan baik (convidence score > 0,75) sebanyak 1426 pohon (703 pohon sehat dan 723 pohon tidak sehat) dengan mAP (mean Average Precision) sebesar 0,911. Pada pemodelan CNN menggunakan metode middle fusion dengan citra multispektral mampu mengklasifikasi kesehatan pohon kelapa sawit lebih baik dibandingkan hanya menggunakan citra RGB maupun citra OCN dengan performa akurasi sebesar 89,72 %.