PT XYZ merupakan salah satu agency pemasaran digital yang berfokus melakukan proses pemasaran melalui berbagai platform media sosial untuk perusahaan-perusahaan dari berbagai industri. Salah satu layanan yang disediakan oleh PT XYZ adalah layanan data & insight analysis, termasuk untuk melakukan pemantauan percakapan media sosial dari brand beserta kompetitornya dengan menganalisis sentimen dan topik untuk memenuhi permintaan klien. Salah satu brand pada industri smartphone yang menjadi klien dari PT XYZ memiliki produk yang banyak, dimana masing-masing produk dan kompetitornya dilakukan pemantauan secara bersamaan. Dengan banyaknya percakapan yang dihasilkan oleh jumlah produk yang banyak, proses pengerjaan untuk analisis menjadi terbatas dan terlalu menghabiskan banyak waktu karena masih menggunakan proses pelabelan secara manual. Oleh karena itu, sistem otomatis diusulkan untuk PT XYZ dengan melakukan analisis sentimen berbasis aspek yang bertujuan untuk memudahkan dan mempersingkat proses pengerjaan pemantauan. Data yang digunakan adalah data mengenai smartphone pada Twitter yang berjumlah 11.641 tweet dalam periode akhir tahun 2022. Data yang terkumpul memiliki kondisi imbalance class, sehingga metode penanganan imbalance class SMOTE digunakan. Tahap pra-pemrosesan; ekstraksi fitur dengan memanfaatkan leksikon, POS tagging dan TF-IDF; dilakukan sebelum data dimodelkan dengan algoritma pembelajaran mesin. Penelitian ini mendapatkan hasil bahwa Support Vector Machine (SVM) dengan SMOTE memiliki hasil evaluasi yang lebih tinggi dibandingkan dengan Naïve Bayes, baik untuk klasifikasi sentimen dan juga aspek. Hasil evaluasi SVM pada klasifikasi sentimen adalah sebesar 0,92 untuk setiap metrik akurasi, precision, recall, dan f1-score. Sedangkan untuk klasifikasi aspek, SVM mendapatkan hasil evaluasi sebesar 0,79 untuk akurasi, precision, dan recall, serta 0,77 untuk f1-score. Masalah imbalance class pada data memengaruhi hasil akhir klasifikasi, terutama untuk klasifikasi aspek.
PT XYZ is a digital marketing agency that specializes in marketing strategies through various social media platforms for businesses across multiple industries. Data and insight analysis is one of the services offered by PT XYZ, which includes monitoring social media conversations from brands and their competitors by analyzing sentiments and topics based on client needs. One of PT XYZ's clients in the smartphone industry has a large number of products, and each product and its competitors are monitored simultaneously. With so many conversations generated by a large number of products, the analysis process is constrained and time-consuming because it still relies on a human tagging approach. Therefore, an automated approach based on aspect-based sentiment analysis is presented for PT XYZ in order to simplify and shorten the monitoring process. The data used is Twitter data regarding smartphones, totaling 11,641 tweets in the near- end period of 2022. Because the gathered data has an imbalance class condition, the SMOTE class imbalance handling method is applied. Before the data is modeled with machine learning techniques, pre-processing and feature extraction are performed using the lexicon, POS tagging, and TF-IDF. This study discovered that the Support Vector Machine (SVM) with SMOTE outperforms Nave Bayes in both sentiment and aspect classification. The accuracy, precision, recall, and f1-score of the SVM evaluation on sentiment classification were all 0.92. In terms of aspect classification, SVM received an evaluation score of 0.79 for accuracy, precision, and recall; and 0.77 for the f1-score. The issue of class imbalance in the data has an impact on the final classification results, especially for aspect classification.