Rekognisi emosi multimodal merupakan bidang riset yang krusial untuk menciptakan interaksi manusia-komputer yang lebih alami dan empatik, mengingat pendekatan unimodal seringkali gagal menangkap kompleksitas ekspresi emosi manusia yang diekspresikan melalui berbagai kanal secara bersamaan. Penelitian ini membahas pengembangan model multimodal untuk rekognisi emosi dengan memanfaatkan ekspresi wajah dan intonasi suara pada dataset RAVDESS. Sistem dibangun melalui dua tahap utama, yaitu pelatihan model unimodal menggunakan fitur ekspresi wajah hasil pengukuran Expression Measurement Hume AI serta fitur intonasi suara, dan pengembangan model multimodal melalui pendekatan late fusion. Model unimodal dikembangkan dengan algoritma Random Forest. Kemudian, performanya dievaluasi pada berbagai panjang jendela waktu (0.25s, 0.33s, 0.5s, 1s). Hasil eksperimen menunjukkan bahwa model unimodal memiliki performa berbeda pada setiap modalitas, dengan model wajah cenderung unggul atas prosodi. Selanjutnya, model multimodal dikembangkan dengan dua teknik late fusion, yaitu averaging probabilities dan stacking dengan algoritma Logistic Regression sebagai meta-classifier. Evaluasi menunjukkan bahwa kedua teknik late fusion secara konsisten meningkatkan akurasi klasifikasi dibandingkan model unimodal, dari akurasi klasifikasi sekitar 39% untuk model unimodal terbaik, menjadi hingga 51% untuk model multimodal terbaik. Hasil ini mengonfirmasi bahwa integrasi kedua modalitas melalui teknik late fusion dapat memberikan prediksi emosi yang lebih andal.

---

Multimodal emotion recognition is a crucial research area for developing more natural and empathetic human-computer interactions, as unimodal approaches often fail to capture the complexity of human emotional expression conveyed through multiple channels simultaneously. This study investigates the development of a multimodal model for emotion recognition by leveraging facial expression and speech prosody features from the RAVDESS dataset. The system is built in two main stages: training unimodal models using facial expression features extracted by Hume AI’s Expression Measurement and prosodic features, followed by developing multimodal models through late fusion approaches. Unimodal models are developed using the Random Forest algorithm and evaluated across various time window lengths (0.25s, 0.33s, 0.5s, and 1s). Experimental results show that unimodal models have differing performance depending on the modality, with facial features generally outperforming prosody. Multimodal models are then developed using two late fusion techniques: Averaging Probabilities and Stacking with logistic regression as the meta-classifier. Evaluation demonstrates that both late fusion techniques consistently improve classification accuracy over unimodal models, raising performance from around 39% for the best unimodal model to up to 51% for the best multimodal model. These results confirm that integrating facial and vocal modalities through late fusion can provide more reliable emotion predictions.