Pelacakan objek dengan menggunakan metode penggabungan dari citra visual RGB dan termal inframerah (TIR) menjadi bidang yang menarik untuk dipelajari oleh para peneliti dalam beberapa tahun terakhir karena kemampuannya untuk bertahan pada situasi dan kondisi sulit yang berkaitan dengan iluminasi cahaya seperti dalam keadaan gelap dan cuaca buruk yang tidak dapat dideteksi dengan hanya menggunakan citra RGB saja. Pada kondisi normal pelacakan objek dengan menggunakan citra RGB akan memiliki akurasi yang bagus, namun pada kondisi gelap dan cuaca buruk citra termal inframerah dapat membantu untuk tetap dapat melakukan pelacakan objek. Penggabungan keunggulan dari citra RGB dan termal inframerah diharapkan akan saling membantu untuk menutupi kelemahan dari masing-masing metode. Namun pencarian metode penggabungan terbaik dari kedua masukan tersebut masih merupakan tantangan tersendiri. Pada penelitian ini metode High Level Fusion dengan arsitektur DeepSORT dan Kalman Filter Hierarchical Estimator digunakan untuk menggabungkan citra RGB dan termal inframerah yang berfokus pada penggabungan hasil estimasi pelacakan objek dari kedua masukan. Dari hasil penelitian ini didapatkan sebuah arsitektur penggabungan metode pelacakan yang dapat mengoptimalkan hasil pelacakan dari kedua masukan dan tetap dapat bekerja ketika salah satu masukan tidak berfungsi.

---

RGBT object tracking has become an interesting field study for many researchers because of the robustness to overcome adverse conditions related to illumination like total darkness and bad weather where RGB detection could not perform well. Object tracking with RGB images could have excellent performance in normal conditions, but in dark and difficult weather conditions thermal infrared images could help to maintain the tracking process. This integration from RGB and thermal infrared is expected to complement each other’s strengths and weaknesses. However, it is still challenging to find the best method that can combine those two different input information. In this research, high-level data fusion method and DeepSORT architecture were used as a baseline tracking with Kalman filter Hierarchical Estimator to combine RGB and Thermal estimates for object tracking. The study results presented the combination architecture to optimize the tracking result that can perform with both inputs and maintain function if one of the inputs falls through.