Hasil Pencarian  ::  Simpan CSV :: Kembali

"Pada era digital saat ini, aplikasi Mobile Jaminan Kesehatan Nasional (JKN) telah menjadi alat penting dalam memudahkan akses dan manajemen layanan kesehatan masyarakat. Namun, untuk meningkatkan kualitas layanan dan kepuasan pengguna, perlu dilakukan analisis ulasan pengguna untuk memahami sentimen dan topik yang terkandung di dalamnya. Penelitian ini bertujuan untuk mengembangkan model analisis sentimen menggunakan metode Bidirectional Encoder Representations from Transformers (BERT) dan pendeteksian topik menggunakan metode Latent Dirichlet Allocation (LDA) pada ulasan pengguna aplikasi Mobile JKN. Penelitian ini menggunakan dataset yang terdiri dari ulasan pengguna aplikasi Mobile JKN yang dikumpulkan dari Play Store. Hasil dari penelitian ini menunjukkan bahwa model BERT yang dikembangkan berhasil mencapai akurasi sebesar 90% dalam melakukan analisis sentimen pada ulasan pengguna aplikasi Mobile JKN. Dari analisis sentimen tersebut, ditemukan bahwa dari 54.000 data yang akan dianalisis terdapat 14.748 data ulasan positif, 3.950 data ulasan netral, dan 35.302 data ulasan negatif yang terdeteksi oleh model BERT yang telah dikembangkan. Selanjutnya, melalui pendekatan LDA, penelitian ini juga berhasil mengidentifikasi 6 topik utama yang muncul dalam ulasan pengguna aplikasi Mobile JKN yang memiliki coherence value sebesar 0,466131. Topik-topik tersebut yaitu, topik pertama mengenai Pelayanan Mobile JKN, topik kedua perubahan data peserta, topik ketiga pembayaran iuran, topik keempat verifikasi nomor handphone, topik kelima update dan login pada aplikasi, dan topik keenam pendaftaran online. Hasil sentimen pada masing-masing topik menunjukkan bahwa topik 1, 2, dan 3 memiliki ulasan dengan sentimen positif lebih banyak daripada sentimen negatif, sedangkan topik 4, 5, dan 6 memiliki ulasan dengan sentimen negatif lebih banyak daripada sentimen positif. Demikian untuk topik mengenai verifikasi nomor handphone, update dan login pada aplikasi, dan pendaftaran online harus dilakukan evaluasi untuk perbaikan aplikasi Mobile JKN kedepannya.

---

In the current digital era, the National Health Insurance (Jaminan Kesehatan Nasional or JKN) mobile application has become an essential tool in facilitating access and management of healthcare services for the public. However, to improve service quality and user satisfaction, it is necessary to analyze user reviews to understand the sentiments and topics contained within them. This research aims to develop a sentiment analysis model using the Bidirectional Encoder Representations from Transformers (BERT) method and topic detection using the Latent Dirichlet Allocation (LDA) method on user reviews of the JKN mobile application. The research utilizes a dataset consisting of user reviews of the JKN application collected from the Play Store. The results of this study show that the developed BERT model successfully achieved an accuracy of 90% in sentiment analysis of user reviews of the JKN mobile application. From the sentiment analysis it is known that of the 54,000 data to be analyzed, there are 14,748 positive reviews, 3,950 neutral reviews, and 35,302 negative reviews detected by the BERT model that has been developed. Furthermore, through the LDA approach, this research also successfully identified 6 main topics that emerged in user reviews of the JKN mobile application with a coherence value of 0.466131. These topics are, the first topic regarding Mobile JKN Services, the second topic is changing participant data, the third topic is payment of contributions, the fourth topic is handphone number verification, the fifth topic is updating and logging in to the application, and the sixth topic is online registration. The sentiment results for each topic show that topics 1, 2, and 3 have reviews with more positive sentiment than negative sentiment, while topics 4, 5, and 6 have reviews with more negative sentiment than positive sentiment. So that for topics regarding handphone number verification, updating and logging into applications, and online registration, an evaluation must be carried out to improve the Mobile JKN application in the future."

"IndiHome melalui IndiHome TV mempertahankan posisinya sebagai penyedia saluran televisi terlengkap di Indonesia. Layanan ini juga diperluas ke aplikasi mobile dan situs web. Namun perkembangan pada platform web diketahui sudah lebih cepat dibandingkan platform mobile, padahal terdapat kebutuhan pelanggan untuk peningkatan kenyamanan, kemudahan, dan kelengkapan fitur pada aplikasi mobile. Hasil observasi dan wawancara juga menunjukkan aplikasi mobile IndiHome TV tidak mencapai target rating yang diharapkan yang menjadi indikasi pengguna belum puas dengan aplikasi saat ini. Salah satu akar permasalahan yang diidentifikasi adalah perbaikan aplikasi hanya berasal dari laporan. Sementara laporan tersebut belum sepenuhnya menggambarkan kebutuhan pengguna. Pemanfaatan ulasan pengguna perlu dimaksimalkan sebagai masukan dalam perbaikan aplikasi agar lebih tepat sasaran. Ulasan berpotensi dapat digunakan untuk mengetahui kebutuhan pengguna. Penelitian ini bertujuan melakukan analisis sentimen dan pemodelan topik terhadap ulasan pengguna di Google Play Store dan Apple App Store. Analisis sentimen dilakukan menggunakan Naïve Bayes dan Support Vector Machines untuk mengklasifikasikan ulasan ke dalam positif, netral, dan negatif. Sementara pemodelan topik dilakukan menggunakan Latent Dirichlet Allocation terhadap ulasan sentimen positif dan negatif. Hasil eksperimen menunjukkan model Support Vector Machines secara umum mengungguli model Naïve Bayes. Model terbaik yang diperoleh menghasilkan performa accuracy 80,53%, precision 80,47%, recall 73,28%, dan F1-score 75,89%. Model tersebut mampu mengatasi ketidakseimbangan data dan menunjukkan kemampuan generalisasi yang baik. Hasil klasifikasi sentimen pada keseluruhan data menunjukkan dominasi kelas negatif dan kelas positif dengan 42,30% dan 40,91% dari total ulasan. Sementara pemodelan topik menghasilkan 4 topik pada ulasan positif dan 8 topik pada ulasan negatif. Hasil tersebut dapat digunakan sebagai acuan perbaikan aplikasi agar perusahaan dapat membuat aplikasi yang sesuai dengan harapan pengguna.

---

IndiHome, through IndiHome TV, maintains its position as Indonesia's most complete television channel provider. This service is also extended to mobile applications and websites. However, developments on web platforms are known to be faster than mobile platforms, even though there is a customer need for increased comfort, convenience, and completeness of features in mobile applications. The observations and interviews also show that the IndiHome TV mobile application did not reach the expected rating target, which is an indication that users are not satisfied with the current application. One of the root causes identified was that application improvements only came from reports. Meanwhile, the report does not fully describe user needs. User reviews need to be maximized as input in improving applications to make them more targeted. Reviews can be used to determine user needs. This research aims to conduct sentiment analysis and topic modeling on user reviews on the Google Play Store and Apple App Store. Sentiment analysis used Naïve Bayes and Support Vector Machines to classify reviews into positive, neutral, and negative. Meanwhile, topic modeling was carried out using Latent Dirichlet Allocation for positive and negative sentiment reviews. Experimental results show that the Support Vector Machines model generally outperforms the Naïve Bayes model. The best model obtained produced an accuracy performance of 80,53%, precision of 80,47%, recall of 73,28%, and F1-score of 75,89%. The model can overcome data imbalance and shows good generalization ability. The sentiment classification results on the entire data show the dominance of the negative and positive classes, with 42,30% and 40,91% of the total reviews. Meanwhile, topic modeling produced four topics with positive reviews and eight topics with negative reviews. These results can be used as a reference for application improvements so that companies can create applications that meet user expectations."

"Sebagai BUMN yang bergerak di bidang energi, PT Pertamina (Persero) harus memastikan distribusi BBM Subsidi tepat sasaran dan tidak terjadi penyalahgunaan. Dalam upaya tersebut, mulai 1 Juli 2022 Pertamina melakukan uji coba program Subsidi Tepat, di mana konsumen BBM Subsidi yang memiliki kendaraan roda empat harus mendaftarkan kendaraannya untuk dapat membeli Pertalite atau Biosolar. Salah satu cara pendaftaran program Subsidi Tepat dapat dilakukan di aplikasi digital MyPertamina, suatu aplikasi loyalitas untuk seluruh pelanggan produk Pertamina yang dapat diunduh di toko aplikasi digital Play Store. Hingga awal Maret 2023, aplikasi MyPertamina telah diunduh sebanyak lebih dari 10 juta kali di Play Store. Namun, penilaian (rating) yang diberikan pengguna di Play Store hanya mencapai 2,9/5. Angka tersebut cukup kecil jika dibandingkan dengan aplikasi layanan pemerintah lainnya yang memiliki jumlah unduhan serupa. Dengan banyaknya jumlah pengunduh dan rendahnya rating dari pengguna, ulasan pengguna perlu dianalisis untuk memastikan kinerja aplikasi MyPertamina. Berdasarkan hal tersebut, penelitian ini akan menerapkan pendeteksian topik menggunakan model BERT-EFCM untuk menganalisis topik-topik mengenai aplikasi MyPertamina pada ulasan pengguna di Play Store dan akan menerapkan analisis sentimen menggunakan model BERT-NN untuk menganalisis sentimen yang diekspresikan pada setiap topik yang dibahas mengenai aplikasi MyPertamina pada ulasan pengguna di Play Store. Hasil penelitian menunjukkan terdapat tiga topik yang dibahas mengenai aplikasi MyPertamina yaitu, penggunaan aplikasi untuk pembelian BBM di SPBU, pendaftaran dan layanan yang terkait dengan aplikasi, dan evaluasi pengguna terhadap aplikasi. Pada keseluruhan topik, mayoritas pengguna memberikan sentimen negatif dengan perbandingan sentimen sebagai berikut: 84% negatif dan 16% positif untuk topik pertama, 85% negatif dan 15% positif untuk topik kedua, serta 80% negatif dan 20% positif untuk topik ketiga.

---

As a state-owned enterprise in the energy sector, PT Pertamina (Persero) must ensure the targeted distribution of subsidized fuel (BBM) and prevent misuse. In this effort, starting from July 1, 2022, Pertamina initiated a pilot program called "Subsidi Tepat" (Precise Subsidy), where BBM Subsidi consumers with four-wheeled vehicles are required to register their vehicles in order to purchase Pertalite or Biosolar. One of the registration methods for the Subsidi Tepat program is through the MyPertamina digital application, a loyalty application for all Pertamina product customers that can be downloaded from the Play Store digital application store. Until early March 2023, the MyPertamina application has been downloaded more than 10 million times from the Play Store. However, the user ratings given in the Play Store only reach 2,9/5. This rating is relatively low compared to other government service applications with a similar number of downloads. With a large number of downloads and low user ratings, it is necessary to analyze user reviews to ensure the performance of the MyPertamina application. Based on this, this research will apply topic detection using the BERT-EFCM model to analyze the topics discussed in user reviews of the MyPertamina application in the Play Store. It will also apply sentiment analysis using the BERT-NN model to analyze the sentiments expressed for each topic related to the MyPertamina application in user reviews on the Play Store. The research results show three topics discussed regarding the MyPertamina application: the use of the application for purchasing BBM at gas stations, registration and related services, and user evaluations of the application. Overall, the majority of users express negative sentiments with the following sentiment ratios: 84% negative and 16% positive for the first topic, 85% negative and 15% positive for the second topic, and 80% negative and 20% positive for the third topic."

"Perbankan di Indonesia telah meluncurkan aplikasi perbankan seluler dengan tujuan untuk memberikan pengalaman layanan yang baik bagi nasabah. Bank harus meningkatkan efektivitas aplikasi perbankan seluler mereka untuk memberikan peningkatan nilai aplikasi tersebut. Dalam upaya menemukan ruang perbaikan bagi perbankan, penelitian ini dilakukan untuk mengetahui topik yang umum dibicarakan serta mengetahui sentimen ulasan pengguna layanan perbankan seluler di Indonesia pada ulasan Google Play yang dimiliki oleh BNI, BCA, dan Mandiri. Penelitian ini menambah penerapan text mining dan membantu pengembang platform digital perbankan ulasan dengan efisien, dan mendukung pengambilan keputusan dan strategi bisnis unggul. Tiga algoritma klasifikasi sentimen, yaitu logistic regression, naïve bayes, dan support vector machine digunakan dalam penelitian ini. Algoritma dijalankan pada pemodelan train data, k-fold cross validation data train, k-fold cross validation semua data, dan prediksi data test. Pemodelan topik adalah LDA (Latent Dirichlet Allocation) untuk kategori sentimen. Algoritma logisitc regression memiliki akurasi tertinggi yaitu 97,00 %. Model digunakan pada data baru, diketahui ulasan didominasi dengan sentimen negatif yaitu sebesar 62,22% atau sebanyak 7.374 sedangkan ulasan sentimen positif sebesar 37,78% atau sebanyak 4.477 ulasan. Pemodelan topik ulasan aplikasi perbankan seluler sentimen positif memiliki nilai koheren tertinggi 0,649 dengan jumlah 19 topik membahas kemudahan dan kelancaran transaksi, kelengkapan fitur, keamanan, akses dan login, kecepatan dan efisiensi, dan kemudahan penggunaan. Pemodelan topik ulasan aplikasi perbankan seluler sentimen negatif memiliki nilai koheren tertinggi 0,440 dengan jumlah 18 topik membahsas push notifikasi uang masuk, top-up dan transfer gagal, kesulitan login aplikasi perbankan seluler, update mengganggu, gagal transaksi, saldo terpotong saat gagal transaksi, error sistem, kendala BI-Fast dan kartu, dan masalah verifikasi. Kata kunci: pemodelan topik, analisis sentimen, text mining, aplikasi perbankan seluler, ulasan aplikasi.

---

Banks in Indonesia have launched mobile banking to provide good experience for customers. However, digital mobile banking services in Indonesia are considered unideal. Banks shall increase the effectiveness of their mobile banking applications to gain value added. Finding room for improvement can be done by analyzing mobile banking user feedback in the Google Play review column. This research aims to determine the topics that are commonly discussed and expected as well as to find out the sentiment of reviews of mobile banking owned by BNI, BCA, and Mandiri. This research enhances the application of text mining and helps digital banking platform developers analyze reviews efficiently, supporting decision-making and superior business strategies. Three sentiment classification algorithms, namely logistic regression, naïve Bayes, and support vector machine were used in this research. Each algorithm is run for modeling train data, k-fold cross validation of train data, k-fold cross validation of all data, and prediction of test data. Topic modeling is LDA (Latent Dirichlet Allocation) for each sentiment category. The logical regression algorithm is the highest accuracy, 97.00%. Apply model for new data, 62.22% or 7,374 reviews are dominated by negative sentiment, while positive sentiment reviews are 37.78% or 4,477 reviews. Topic modeling of mobile banking review with positive sentiment has the highest coherent value of 0.649 with 19 topics discusses ease and smoothness of transactions, completeness of features, security, access and login, speed and efficiency, and ease of use. Meanwhile, topic modeling with negative sentiment has the highest coherent value of 0.440 with a total of 18 topics discusses push notifications for incoming money, failed top-ups and transfers, difficulties login to mobile banking, annoying updates, failed transactions, balances deducted when transactions fail, system errors, BI-Fast and card problems, and verification problems."

"Pesatnya perkembangan teknologi informasi dan komunikasi menuntut adanya inovasi dalam pengembangan aplikasi agar dapat mengikuti perkembangan yang cepat tersebut. Segari adalah salah satu penyedia layanan supermarket online yang populer di Indonesia. Segari merupakan perusahaan yang berlandasan customer centric dan mempunyai nilai Be Obsessed with our Customers, sangat mengedepankan kebutuhan dari pelanggannya. Minimnya sumber daya manusia dan banyaknya ulasan pelanggan yang perlu di analisis menghambat proses penggalian informasi dari ulasan pelanggan tersebut, sehingga diperlukan model pembelajaran mesin yang dapat secara otomatis melakukan analisis sentimen untuk mengklasifikasikan ulasan menjadi sentimen positif atau negatif. Informasi yang diambil dari analisis sentimen dapat digunakan sebagai referensi untuk menjaga kualitas layanan berdasarkan sentimen positif, sedangkan hasil dari sentimen negatif dapat digunakan sebagai bahan evaluasi untuk meningkatkan layanan dan aplikasi Segari. Dalam penelitian ini, peneliti membahas implementasi model analisis sentimen menggunakan ulasan pelanggan dari Google Play Store. Metode pembuatan model dimulai dari pengumpulan data, pelabelan data, pra proses data, ekstraksi fitur, model klasifikasi sentimen, evaluasi model, dan pemodelan topik. Peneliti menggunakan dua algoritma klasifikasi, Naive Bayes Classifier (NB) dan Support Vector Machine (SVM), pada total 10.507 ulasan. Data menunjukkan bahwa 74,37% ulasan mengungkapkan sentimen positif, sedangkan 25,63% mengungkapkan sentimen negatif. Hasil penelitian menunjukkan bahwa algoritma SVM dengan oversampling mencapai kinerja model terbaik, dengan recall sebesar 89,98%. Selain itu, peneliti menggunakan Latent Dirichlet Allocation (LDA) untuk mengidentifikasi topik terkait dengan perspektif pelanggan tentang Segari yang selanjutnya disampaikan kepada tim terkait. Hasil analisis mengungkapkan bahwa terdapat pelanggan yang puas dan kecewa dengan proses pengiriman produk. Pelanggan umumnya sudah puas dengan kualitas dan kesegaran dari produk. Beberapa pelanggan merasa kecewa karena pesanan yang kosong atau tidak lengkap dalam paket. Terdapat pelanggan yang puas dan kecewa terhadap aplikasi antarmuka pengguna, kecepatan, maupun kinerja aplikasi. Terdapat pelanggan yang puas dan kecewa terhadap harga, promo, dan voucher yang tersedia. Beberapa pelanggan merasa kecewa terhadap servis yang diberikan oleh customer service. Secara keseluruhan, penelitian ini memperluas pengetahuan tentang metode analisis sentimen dan memberikan wawasan tentang melakukan penelitian terkait analisis sentimen dan ulasan pelanggan.

---

The rapid development of information and communication technology demands innovation in application development to keep up with such rapid advancement. Segari is one of the popular online supermarket service providers in Indonesia. Segari is a customer-centric company with a core value of being obsessed with its customers, prioritizing their needs. The lack of human resources and the abundance of customer reviews that need to be analyzed hinder the process of extracting information from these reviews. Therefore, a machine learning model is needed to automatically perform sentiment analysis and classify the reviews into positive or negative sentiments. The information extracted from sentiment analysis can be used as a reference to maintain service quality based on positive sentiments, while the results of negative sentiments can be used for evaluation to improve Segari's services and application. In this research, the implementation of a sentiment analysis model using customer reviews from the Google Play Store is discussed. The model development process includes data collection, data labeling, data preprocessing, feature extraction, sentiment classification model, model evaluation, and topic modeling. The researcher utilized two classification algorithms, Naive Bayes Classifier (NB) and Support Vector Machine (SVM), on a total of 10,507 reviews. The data shows that 74.37% of the reviews express positive sentiments, while 25.63% express negative sentiments. The results of the study indicate that the SVM algorithm with oversampling achieved the best model performance, with a recall of 89.98%. Additionally, the researcher used Latent Dirichlet Allocation (LDA) to identify topics related to customer perspectives on Segari, which will be communicated to the relevant team. The analysis revealed that some customers are satisfied while others are disappointed with the product delivery process. Customers generally expressed satisfaction with the quality and freshness of the products. Some customers felt disappointed due to missing or incomplete items in their orders. There were mixed opinions about the user interface, speed, and performance of the application. Customers also expressed satisfaction and dissatisfaction with the available prices, promotions, and vouchers. Some customers felt disappointed with the service provided by the customer service team. Overall, this paper extends knowledge of sentiment analysis methods and provides insights on conducting research related to sentiment analysis and customer reviews.

"

"Persaingan pasar yang ketat membuat pengelola aplikasi XYZ harus dapat menghadirkan keunggulan dari produknya. Untuk itu, pengelola XYZ melakukan analisis terhadap ulasan yang diberikan oleh penggunanya. Namun, pengelola aplikasi XYZ mengalami kesulitan dalam melakukan analisis ulasan karena menggunakan cara yang manual dan tidak efisien. Penelitian ini dilakukan untuk mengetahui sentimen dari aspek-aspek mobile service quality (M-S-QUAL) dan topik-topik yang sering dibicarakan oleh pengguna aplikasi XYZ pada review Google Playstore. Data ulasan yang digunakan merupakan ulasan dari bulan Januari 2023 hingga Agustus 2024, data ini berjumlah 13,364 data. Terdapat 5,000 data yang dianotasi. Data tersebut kemudian dibersihkan dan digunakan untuk melakukan analisis sentimen berbasis aspek (ABSA) dan pemodelan topik. Hasil penelitian menunjukkan dari sembilan aspek M-S-QUAL, terdapat tiga aspek yang dieliminasi karena kekurangan data, dan terdapat empat aspek yang dieliminasi karena model machine learning yang dilatih memiliki performa yang kurang baik dengan F1-score dibawah 0.7. Model yang layak digunakan untuk scoring hanya ada pada aspek billing dan system availability yaitu model XGBoost dengan teknik oversampling synthetic minority over-sampling technique (SMOTE) untuk kedua aspek. Performa dari model-model ini adalah 0.758 pada aspek billing, dan 0.802 pada aspek system availability. Dari 4,006 ulasan relevan pada aspek billing, 6.44% adalah sentimen positif, 90.81% adalah sentimen negatif, dan 2.75% adalah sentimen netral. Dari 2,410 ulasan relevan pada aspek system availability, 7.88% memiliki sentimen positif, 86.76% memiliki sentimen negatif, dan 5.35% memiliki sentimen netral. Hasil ini menunjukkan bahwa sentimen dominan pada ulasan yang relevan dengan aspek billing dan system availability adalah sentimen negatif. Pemodelan topik dilakukan untuk masing-masing sentimen positif dan negatif pada aspek billing dan system availability. Pemodelan topik aspek billing menghasilkan 3 topik untuk sentimen positif, 3 topik untuk sentimen negatif. Pemodelan topik aspek system availability menghasilkan 2 topik untuk sentimen positif, dan 2 topik untuk sentimen negatif. Topik-topik ini yang dapat dijadikan poin perbaikan dan peningkatan aplikasi XYZ.

---

The intense competition in the market forces the XYZ management to offer competitive advantages in their product. To achieve this, they analyze user reviews. However, they face challenges in analyzing user reviews because they still use manual methods, which makes the process inefficient. This study aims to understand the sentiment of aspects of mobile service quality (M-S-QUAL) and the popular topics from XYZ app users in Google Play Store reviews. The data used in this study was 13,364 reviews from January 2023 to August 2024, with 5,000 of them manually labeled. The data was cleaned and used for aspect-based sentiment analysis (ABSA) and topic modeling. The results showed that, out of nine M-S-QUAL aspects, three were excluded due to insufficient data, and four more were excluded because the machine learning models performed poorly, with F1-scores below 0.7. Only the billing and system availability aspects had decent models. The models for these aspects used the XGBoost algorithm combined with synthetic minority over-sampling technique (SMOTE). The models’ performance scores were 0.758 for billing and 0.802 for system availability. For the billing aspect, out of 4,006 relevant reviews, 6.44% had positive sentiment, 90.81% were negative, and 2.75% were neutral. For system availability, out of 2,410 relevant reviews, 7.88% were positive, 86.76% were negative, and 5.35% were neutral. This shows that most users had negative sentiment about billing and system availability. Topic modeling was conducted separately for positive and negative sentiments in both the billing and system availability aspects. For the billing aspect, topic modeling resulted in three topics for positive sentiment and three topics for negative sentiment. For the system availability aspect, two topics were identified for both positive and negative sentiments. These topics can serve as key areas for improving and enhancing the XYZ application."

"Peningkatan aktivitas pembayaran dan transaksi online mendorong transformasi produk dan layanan perbankan. Di era big data, ulasan menjadi penting bagi bank untuk mengetahui tingkat kepuasan nasabah sebagai masukan untuk perbaikan. Saat bank merilis aplikasi mobile banking di Google Play Store, pelanggan dapat memberikan ulasan tentang pengalaman mereka menggunakan aplikasi tertentu. Tujuan dari penelitian ini adalah untuk memahami sentimen pengguna aplikasi mobile banking melalui analisis sentimen. Metode Natural Language Processing (NLP) digunakan untuk mengekstrak data teks, meliputi: pra-proses, analisis sentimen setiap ulasan dan analisis lima dimensi kualitas layanan berbasis mobile. Beberapa masalah dan dimensi kualitas layanan harus ditingkatkan untuk memenuhi kebutuhan pelanggan. Dengan adanya kemungkinan pengguna untuk terus menggunakan mobile banking, bank dapat memprediksi perilaku pelanggan di masa mendatang.

---

Increased online payment and transaction activities drive the transformation of banking products and services. In the big data era, reviews are important for banks to discover customer’s satisfaction levels as input for improvement. As banks release mobile banking applications in Google Play Store, customers can leave reviews regarding their experience using certain applications. The purpose of this study is to understand customer sentiment of mobile banking applications through sentiment analysis. Natural Language Processing (NLP) method is used to extract the text data, including: pre-processing, analysing the sentiment of each review and analysing the sentiment of five dimensions of e-service quality. Some issues and dimensions of service quality should be improved to satisfy customers’ needs. Discovering the probability of continuing to use mobile banking, a bank may predict the future behaviour of the customers."

"Pengguna media sosial di Indonesia merupakan salah satu yang terbanyak di dunia. Hal ini mendorong pemilik produk atau layanan menggunakan media sosial sebagai saluran utama untuk penjualan dan layanan pelanggan. Masyarakat Indonesia cenderung mencari ulasan online sebelum memutuskan pembelian, sehingga ulasan pengguna sangat mempengaruhi keputusan pembelian dan keberhasilan bisnis. Oleh karena itu, pemilik produk dan layanan harus cepat tanggap terhadap sentimen ulasan pengguna untuk mempertahankan reputasi dan menghindari penurunan penjualan. Analisis sentimen adalah salah satu cara untuk mengetahui sentimen terhadap produk atau layanan. Terdapat pendekatan machine learning dan deep learning dalam analisis sentimen. Penggunaan machine learning pada analisis sentimen ulasan pengguna berbahasa Indonesia telah banyak dilakukan, namun eksplorasi dalam bidang deep learning masih jarang ditemukan. Penelitian ini menggunakan model CNN-BiLSTM dan BiLSTM-CNN yang dibandingkan dengan logistic regression, support vector machine, dan naïve bayes. Pada skenario pertama, analisis ulasan pengguna di Traveloka menunjukkan model BiLSTM-CNN dengan Precision tertinggi 85% dan AUC 82.14%, serta model Support Vector Machine (SVM) dengan Accuracy 83.25% dan F1-Score 86.53%. Pada skenario kedua, analisis ulasan pengguna provider telekomunikasi menunjukkan SVM sebagai yang terbaik dengan Accuracy 78.15%, Precision 68.78%, F1-Score 76.33%, dan AUC 77.36%. Dari hasil ini, model machine learning lebih unggul dibandingkan deep learning.

---

Social media users in Indonesia are among the largest in the world. This drives product or service owners to use social media as the main channel for sales and customer service. Indonesian consumers tend to look for online reviews before making a purchase decision, so user reviews greatly influence purchasing decisions and business success. Therefore, product and service owners must quickly respond to user review sentiments to maintain reputation and avoid sales decline. Sentiment analysis is one way to understand the sentiment towards a product or service. There are machine learning and deep learning approaches in sentiment analysis. The use of machine learning in sentiment analysis of user reviews in Indonesian has been widely conducted, but exploration in the field of deep learning is still rarely found. This study uses CNN-BiLSTM and BiLSTM-CNN models compared to logistic regression, support vector machine, and naïve bayes. In the first scenario, analysis of user reviews on Traveloka shows the BiLSTM-CNN model with the highest Precision of 85% and AUC of 82.14%, and the Support Vector Machine (SVM) model with an Accuracy of 83.25% and F1-Score of 86.53%. In the second scenario, analysis of user reviews of telecommunications providers shows SVM as the best with an Accuracy of 78.15%, Precision of 68.78%, F1-Score of 76.33%, and AUC of 77.36%. From these results, machine learning models outperform deep learning models."

"Perkembangan teknologi informasi dan komunikasi (TIK) yang pesat menuntut inovasi dalam pengembangan aplikasi juga berkembang cepat. Aplikasi Tokopedia Seller merupakan salah satu aplikasi utama milik PT Tokopedia yang diperuntukkan bagi penjual dalam melakukan kegiatan operasional penjualan produk. Aplikasi yang baru diluncurkan di Android ini tergolong aplikasi perintis dan memerlukan banyak masukan dari pengguna, salah satunya dari Google Play Store. Akan tetapi, banyaknya ulasan yang masuk dan beragamnya opini, mengakibatkan proses analisis sentimen dan aspek ulasan menjadi lambat dan banyak terlewat. Oleh karena itu, perlu dilakukan suatu penelitian yang mengusulkan sistem otomatis untuk melakukan analisis sentimen berbasis aspek. Tujuan dari usulan sistem otomatis ini adalah untuk memudahkan proses analisis ulasan pengguna. Adapun data ulasan yang digunakan sebagai masukan eksperimen bersumber dari Google Play Store sejumlah 6.221 data berlabel dari Juli – September 2021. Penelitian ini menunjukkan bahwa algoritma Support Vector Machine (SVM) yang dipadukan dengan SMOTE menghasilkan performa yang paling baik dibandingkan dengan CNN dan Logistic Regression dengan accuracy 54%, precision 48%, dan recall 52% untuk mengklasifikan sentimen. Selaras dengan analisis sentimen, SVM dengan SMOTE juga menghasilkan performa yang lebih baik dengan accuracy 40%, precision 41%, dan recall 40%. Kondisi data ulasan yang cenderung singkat yakni kurang dari 10 kata, mengakibatkan performa klasifikasi kurang optimal.

---

The rapid development of information and communication technology (ICT) requires innovation in the field of application development. The Tokopedia Seller application is one of the main applications owned by PT Tokopedia which develops for sellers in carrying out product sales operational activities. It was just launched on Android, and it is classified as a pioneering application and requires a lot of input from users, one of which is from the Google Play Store. However, due to a lot of reviews came in, it makes the process of sentiment analysis and aspect review being slow and many being missed. Therefore, it is necessary to conduct a study that proposes a automatic system to perform aspect-based sentiment analysis. The purpose of this automated system proposal is to simplify the process of analyzing user reviews. The review of the data used as experimental input sourced from the Google Play Store with a total of 6,221 data labeled from July – September 2021. This study shows that the Support Vector Machine (SVM) algorithm combined with SMOTE produces the best performance compared to CNN and Logistic Regression with 54% accuracy, 48% precision, and 52% recall for classifying sentiments. In line with sentiment analysis, SVM with SMOTE also produces better performance with 40% accuracy, 41% precision, and 40% recall. The condition of the short review data is less than 10 words, resulting in a less than optimal classification performance."

"PT Traveloka Indonesia adalah salah satu OTA (Agent) terbesar se-Asia Tenggara, yang mengedepankan kepuasan pelanggan sebagai keunggulan kompetitif perusahaan. Namun saat ini, terdapat penurunan tingkat kepuasan pelanggan, dan juga terjadinya penurunan jumlah pengguna aktif aplikasi. Oleh karena itu, perlu dilakukan langkah-langkah seperti melakukan inovasi atau perbaikan fitur agar dapat meningkatkan kepuasan pelanggan dan juga menaikkan kembali jumlah pengguna aktif aplikasi. Pada aplikasi Android Traveloka, jumlah ulasan mencapai 700 ribu dalam kurun waktu 2 tahun terakhir, di mana platform Android merupakan platform yang mempunyai jumlah pengguna aplikasi Traveloka terbesar dibandingkan platform lainnya. Dengan banyaknya jumlah ulasan tersebut, perusahaan masih memilah-milah ulasan negatif dan positif serta mencari topik-topik yang paling sering dibicarakan secara manual, sehingga membutuhkan waktu yang sangat lama dan cenderung tidak akurat. Hal ini menyebabkan keluhan ataupun ulasan tersebut belum secara efektif dijadikan dasar untuk membuat inovasi baru ataupun untuk memperbaiki fitur yang ada, sehingga belum memberikan kontribusi terhadap proses peningkatan kepuasan pelanggan dan peningkatan jumlah pengguna aktif aplikasi. Oleh karena itu, pada penelitian ini diusulkan suatu model yang dapat mengategorikan sentimen serta melakukan pengelompokan topik-topik yang sering muncul dari seluruh ulasan pelanggan. Algoritma Bayes, Support Vector Machine Logistic Regression digunakan untuk membuat model yang dapat mengklasifikasi sentimen dari tiap ulasan ke dalam kelas positif ataupun kelas negatif. Selain itu, dilakukan proses pemodelan topik pada tiap kelas tersebut menggunakan algoritma Latent Dirichlet Allocation (LDA). Hasil penelitian menunjukkan bahwa algoritma terbaik untuk melakukan klasifikasi adalah SVM, dengan nilai f1-score rata-rata 0.98318, dan jumlah topik yang optimal untuk sentimen positif adalah 16 dan jumlah topik yang optimal untuk sentimen negatif adalah 12. Pada kelas sentimen positif, terdapat topik-topik yang menyinggung kelengkapan fitur serta banyaknya diskon dan promo, sedangkan pada kelas sentimen negatif, terdapat topik yang berhubungan dengan fitur refund dan produk paylater. Dengan diimplementasikannya model tersebut, diharapkan PT Traveloka dapat memilah-milah ulasan ke dalam kelas sentimen positif dan negatif dengan cepat dan akurat, serta dapat dengan cepat mengetahui daftar topik-topik yang paling banyak dibicarakan oleh penggunanya.

---

PT Traveloka Indonesia is one of the biggest Online Travel Agents in Southeast Asia, which prioritizes customer satisfaction as the company's competitive advantage. However, there is currently a decrease in customer satisfaction scores and numbers of active users. Therefore, it is necessary to take steps such as innovating or improving features to restore customer satisfaction scores and active users. On the Traveloka Android application, the number of reviews reached 700 thousand in the last two years, where the Android platform is the platform that has the most significant number of Traveloka users compared to other platforms. Nonetheless, Traveloka is still sorting through negative and positive reviews manually and manually searching for the most discussed topics, so it takes a long time and tends to be inaccurate. This lengthy process made customer reviews are yet to be effectively used for formulating innovations or finding existing features to improve, so they are yet to help increase customer satisfaction and the number of active users of the application. Therefore, this research proposes a model to categorize sentiments and group topics that often arise from all customer reviews. The Naïve Bayes, Support Vector Machine (SVM), and Logistic Regression algorithm are used to create a model that can classify the sentiment of each review into a positive class or a negative class. In addition, the topic modeling process for each class is carried out using the Latent Dirichlet Allocation (LDA) algorithm. The results show that the best algorithm for classifying is SVM, with an average f1-score of 0.98318, and the optimal number of topics for positive sentiment is 16, and the optimal number of topics for negative sentiment is 12. There are topics about the completeness of features and the number of discounts and promos in the positive sentiment class, while in the negative sentiment class, there are topics related to the refund feature and pay later product. With the implementation of this model, it is hoped that PT Traveloka can sort reviews into positive and negative sentiment classes quickly and accurately and quickly find out the list of topics that users most discuss."