Salah satu permasalahan utama yang sedang dihadapi oleh Kementrian Kelautan dan Perikanan Republik Indonesia (KKP) adalah maraknya kejadian Illegal, Unreported, and Unregulated (IUU) fishing yang terjadi pada perairan Indonesia. Kejadian ini menimbulkan banyak kerugian bagi Indonesia, terutama dalam aspek sosial, ekologi, dan ekonomi. Untuk mengatasi masalah ini, terutama unreported fishing, dirancanglah sebuah sistem yang dapat digunakan untuk memonitor penangkapan ikan, sekaligus melakukan deteksi dan klasifikasi terhadap jenis ikan hasil tangkapan di atas kapal. Sistem dirancang menggunakan konsep object detection dan instance segmentation, dua bidang dari machine learning, menggunakan model YOLOv5 dan varian-variannya yang merupakan salah satu model dari keluarga YOLO (You Only Look Once) yang paling baik dari segi kecepatan dan akurasi. Dengan adanya sistem tersebut, diharapkan bahwa hasil tangkapan kapal di perairan Indonesia dapat bersifat lebih legal, teratur, dan sesuai dengan yang dilaporkan kepada KKP. Sistem terbaik dari penelitian ini dihasilkan menggunakan model instance segmentation yang mendapatkan nilai mAP50 0,834, mAP50-95 0,544, F1-score 0,848, dan kecepatan inferensi 232,6 fps untuk partisi validation, dan mAP50 0,797, mAP50-95 0,531, F1-score 0,802, dan kecepatan inferensi 250,0 fps untuk partisi testing pada hasil bounding box, serta nilai mAP50 0,739, mAP50-95 0,36, F1-score 0,789, dan kecepatan inferensi 232,6 fps untuk partisi validation, dan mAP50 0,711, mAP50-95 0,335, F1-score 0,746, dan kecepatan inferensi 250,0 fps untuk partisi testing pada hasil segmentation mask. Selain itu, model tersebut juga mendapatkan akurasi 60% pada tahapan perbandingan dengan model object detection. ......One of the main problems the Indonesian Ministry of Marine Affairs and Fisheries (KKP) is currently facing is the abundance of Illegal, Unreported, and Unregulated (IUU) fishing instances happening in Indonesian waters. This phenomenon creates a lot of problems for Indonesia, mainly in the social, ecological, and economical aspects. To overcome these problems, mainly unreported fishing, a system that can be used to not only monitor the fishing process, but also to detect and classify the types of fish that are caught by that boat was created. This system is based on object detection and instance segmentation, both fields of machine learning, using the YOLOv5 model and its variants, which are some of the fastest and most accurate models from the YOLO (You Only Look Once) family. With this system, it is hoped that fish caught in Indonesian waters can be more legitimate, regulated, and reported correctly to the KKP. The best system from this research is created using an instance segmentation model with mAP50 0.834, mAP50-95 0.544, F1-score 0.848, and inference speed 232.6 fps for validation scores, and mAP50 0.797, mAP50- 95 0.531, F1-score 0.802, and inference speed 250.0 fps for testing scores on the bounding box results, as well as mAP50 0.739, mAP50-95 0.36, F1-score 0.789, and inference speed 232.6 fps for validation scores, and mAP50 0.711, mAP50-95 0.335, F1-score 0.746, and inference speed 250.0 fps on the segmentation mask results. The model also achieved an accuracy of 60% in the comparison phase against the object detection model.
Dalam kehidupan kita sehari-hari umumnya banyak barang yang kita butuhkan dan gunakan dalam rumah tangga kita. Mulai dari bahan pangan, minuman, barang untuk membersihkan rumah, barang untuk mencuci pakaian, kudapan, dan lain sebagainya, Pada masyarakat kini banyak barang keperluan sehari-hari tersebut kita beli dan jumpai di berbagai tempat mulai dari warung di dekat rumah, supermarket, toko sembako, dan lain sebagainya. Akhir-akhir ini jumlah supermarket dan minimarket mulai menjamur. Pada tahun 2021 jumlah minimarket di Indonesia mencapai 38.323 gerai yang merupakan peningkatan sebanyak 21,7% dibandingkan pada tahun 2017 yakni hanya sebanyak 31.488 gerai saja. Dengan jumlah gerai yang semakin banyak, banyak masyarakat yang semakin banyak menggunakan jasanya untuk mendapatkan barang-barang kebutuhan sehari-hari mereka. Apalagi bila barang yang dibeli juga cukup banyak sehingga akan sulit untuk mendata barang-barang apa saja yang telah dibeli. Untuk memudahkan hal tersebut, penulis mengajukan sebuah solusi untuk membuat sebuah rancangan sistem yang akan memanfaatkan teknologi Deep Learning untuk mendeteksi tulisan pada struk belanja dari hasil pembelian barang pada minimarket. Hasilnya dari pengujian yang sudah dilakukan pada penelitian ini, masing-masing model Deep Learning memiliki tingkat akurasi mAP50 99,4% dan mAP50:95 72,9% untuk YOLOv5, tingkat akurasi mAP50 99,61% dan mAP50:95 65,19% untuk Faster R-CNN, dan tingkat akurasi mAP50 61,77% dan mAP50:95 98,09% untuk RetinaNet. Dimana YOLOv5 memiliki tingkat akurasi mAP50:95 tertinggi yakni 72,9% dan Faster R-CNN memiliki tingkat akurasi mAP50 tertinggi yakni 99,61%. Dimana pada proses implementasi sistem YOLOv5 dan Faster R-CNN berhasil melakukan proses pengenalan sedangkan RetinaNet gagal untuk melakukannya. ......In our daily lives, we generally need and use many items in our households. Starting from food ingredients, drinks, household cleaning items, laundry items, snacks, and so on. Nowadays, many of these daily necessities are bought and found in various places such as small shops near our homes, supermarkets, grocery stores, and so on. Recently, the number of supermarkets and minimarkets has increased. In 2021, the number of minimarkets in Indonesia reached 38,323 branches which is an increase of 21.7% compared to 2017 which was only 31,488 branches. With the increasing number of branches, many people are using their services to obtain their daily necessities. Especially when the purchased items are quite a lot so it will be difficult to record what items have been purchased. To facilitate this matter, the author proposes a solution to create a system design that will utilize Deep Learning technology to detect writing on receipts from purchasing items at minimarkets. The results of testing that have been carried out in this study show that each Deep Learning model has an mAP50 accuracy level of 99.4% and mAP50:95 72.9% for YOLOv5, an mAP50 accuracy level of 99.61% and mAP50:95 65.19% for Faster R-CNN, and an mAP50 accuracy level of 61.77% and mAP50:95 98.09% for RetinaNet. YOLOv5 has the highest mAP50:95 accuracy rate at 72.9%, while Faster R-CNN has the highest mAP50 accuracy rate at 99.61%. Where in the implementation process, YOLOv5 and Faster R-CNN systems were able to perform recognition processes while RetinaNet failed to do so.
Supermarket merupakan tempat pilihan terbaik untuk berbelanja kebutuhan rumah saat ini karena pelanggan dapat memilih produk yang ingin dibelinya tanpa perlu mengantre. Namun untuk melakukan pembayaran saat ini pelanggan masih perlu mengantre di kasir. Oleh karena itu, penelitian ini akan mengimplementasikan sistem cashierless yang dapat melakukan checkout secara otomatis dan efisien sehingga pelanggan tidak perlu mengantre lagi di kasir. Sistem cashierless yang digunakan pada penelitian ini adalah smart trolley, sistem ini dapat melakukan deteksi produk yang masuk atau keluar dari troli pelanggan lalu melakukan checkout secara otomatis saat pelanggan keluar dari supermarket. Untuk dapat melakukan deteksi produk diperlukan model machine learning yang berjenis object detection. Model juga harus dapat diimplementasikan pada edge device karena deteksi akan dilakukan di troli yang memiliki keterbatasan ruang. Maka model yang digunakan adalah YOLOv5 karena memiliki akurasi serta performa tinggi supaya tetap dapat diimplementasikan pada edge device. Hasil pengujian variasi backbone menunjukkan backbone original lebih baik dari backbone Swin Transformer dengan nilai F1-Score sebesar 98.64%, ukuran model sebesar 7.7 MB, dan dapat berjalan dengan 3.87 FPS di komputer pengujian dan 0.74 FPS di Raspberry Pi 4B. Hasil pengujian variasi dataset menunjukkan kombinasi dataset bergerak dengan statis blur dapat menghasilkan model yang memiliki akurasi yang paling baik dengan nilai 99.53% pada fase pelatihan dan 99.44% pada fase testing. Hasil pengujian intensitas cahaya menunjukkan penggunaan lampu untuk meningkatkan pencahayaan di sekitar wilayah deteksi di dalam troli dapat meningkatkan F1-Score hasil deteksi yang dilakukan hingga 63.55%. Hasil pengujian variasi kecepatan produk menunjukkan kecepatan ideal yang dapat digunakan pada saat proses deteksi di komputer pengujian adalah hingga 36 cm/s dan untuk proses yang dilakukan di Raspberry Pi 4B adalah di bawah 7 cm/s. Hasil pengujian dengan penambahan sampling rate dapat mendeteksi produk di komputer pengujian dengan kecepatan hingga 124 cm/s pada produk-produk dengan ukuran yang cukup lebar. ......Supermarkets are the best place to shop for home needs today because customers can choose what products they want to buy without the need to queue. However, today customers still need to queue at the cashier to make payments. Therefore, this research will implement a cashier-less system that can do checkout automatically and efficiently so that customers don't have to queue at the cashier anymore. The cashier-less system used in this study is a smart trolley, this system can detect products entering or leaving the customer's trolley and then checkout automatically when the customer leaves the supermarket. To be able to perform product detection, a machine learning model of the object detection type is needed. The model must be able implemented on edge devices because the detection will be done in the cart with limited space. So, the model used is YOLOv5 because it has high accuracy and performance so it can implement on edge devices. The backbone variation test results show that the original backbone is better than the Swin-Transformer backbone with an F1-Score value of 98.64%, a model size of 7.7 MB, and can run with 3.87 FPS on a test computer and 0.74 FPS on a Raspberry Pi 4B. The dataset variation test results show that the combination of moving datasets with static blur can produce a model with the best accuracy of 99.53% in the training phase and 99.44% in the testing phase. The light intensity variation test results show that the use of lamps to increase the lighting around the detection area in the trolley can increase the F1-Score of the detection results made up to 63.55%. The product speed variation results show that the ideal speed that can use during the detection process on the testing computer is up to 36 cm/s and for the process carried out on the Raspberry Pi 4B it is below 7 cm/s. The sampling rate addition results can detect products on the test computer at speeds up to 124 cm/s on products with a wide size