Salah satu permasalahan utama yang sedang dihadapi oleh Kementrian Kelautan dan Perikanan Republik Indonesia (KKP) adalah maraknya kejadian Illegal, Unreported, and Unregulated (IUU) fishing yang terjadi pada perairan Indonesia. Kejadian ini menimbulkan banyak kerugian bagi Indonesia, terutama dalam aspek sosial, ekologi, dan ekonomi. Untuk mengatasi masalah ini, terutama unreported fishing, dirancanglah sebuah sistem yang dapat digunakan untuk memonitor penangkapan ikan, sekaligus melakukan deteksi dan klasifikasi terhadap jenis ikan hasil tangkapan di atas kapal. Sistem dirancang menggunakan konsep object detection dan instance segmentation, dua bidang dari machine learning, menggunakan model YOLOv5 dan varian-variannya yang merupakan salah satu model dari keluarga YOLO (You Only Look Once) yang paling baik dari segi kecepatan dan akurasi. Dengan adanya sistem tersebut, diharapkan bahwa hasil tangkapan kapal di perairan Indonesia dapat bersifat lebih legal, teratur, dan sesuai dengan yang dilaporkan kepada KKP. Sistem terbaik dari penelitian ini dihasilkan menggunakan model instance segmentation yang mendapatkan nilai mAP50 0,834, mAP50-95 0,544, F1-score 0,848, dan kecepatan inferensi 232,6 fps untuk partisi validation, dan mAP50 0,797, mAP50-95 0,531, F1-score 0,802, dan kecepatan inferensi 250,0 fps untuk partisi testing pada hasil bounding box, serta nilai mAP50 0,739, mAP50-95 0,36, F1-score 0,789, dan kecepatan inferensi 232,6 fps untuk partisi validation, dan mAP50 0,711, mAP50-95 0,335, F1-score 0,746, dan kecepatan inferensi 250,0 fps untuk partisi testing pada hasil segmentation mask. Selain itu, model tersebut juga mendapatkan akurasi 60% pada tahapan perbandingan dengan model object detection.