ABSTRAK
Dewasa ini, telemarketing banyak digunakan oleh perusahaan sebagai sarana untuk meningkatkan penjualan. PT XYZ adalah perusahaan yang bergerak dalam bidang e-commerce classified ads customer-to-customer (C2C). PT XYZ melakukan telemarketing sejak bulan Juni 2016. Akan tetapi, rata-rata konversi telemarketing per minggu hanya 5,1 persen. Penelitian ini menggunakan metodologi CRISP-DM. Penelitian ini menggunakan Customer Lifetime Value (LTV) sebagai pembentuk fitur. Teknik Synthetic Minority Over Sampling (SMOTE) untuk permasalahan kelas tidak berimbang memberikan hasil yang lebih baik dari teknik undersampling dalam penelitian ini. Algoritma klasifikasi yang diuji adalah bayesian network, decision tree, random forest, support vector machince, neural network, bagging neural network, deep neural network, adaboost deep neural network, convolutional neural network, dan extreme gradient boosting tree. Evaluasi terhadap model yang dihasilkan menitikberatkan pada analisis cost-benefit, dan analisis gain chart. Analisis cost-benefit terhadap gain chart menunjukkan keuntungan terbaik ada pada desil 20 persen populasi. Analisis cost-benefit menunjukkan bahwa algoritma adaboost deep neural network dengan data SMOTE mendapatkan hasil terbaik. Akan tetapi model random forest SMOTE dapat mengklasifikasikan 73,13 persen pelanggan fitur premium dalam 20 persen populasi, serta memiliki konsistensi terbaik dalam gain chart. Total potensi keuntungan adalah 11,5 kali lipat dibandingkan tanpa menggunakan model. Dalam penelitian ini ditemukan juga bahwa nilai Fβ-score dapat digunakan untuk mengukur nilai cost-benefit dari model klasifikasi yang dihasilkan.
ABSTRACT
Many companies have widely used telemarketing to increase their sales. XYZ Company focusing their business on classified ads e-commerce platform. XYZ Company have been using telemarketing since June 2016, but weekly conversion rate from telemarketing is only 5,10 percent. CRISP-DM methodology serves as guideline principle in this research. Customer Lifetime Value (LTV) was used to guide feature extraction. In this research, Synthetic Minority Over Sampling (SMOTE) gives better result than undersampling to tackle class imbalance problem. Algorithm tested are bayesian network, decision tree, random forest, support vector machince, neural network, bagging neural network, deep neural network, adaboost deep neural network, convolutional neural network, and extreme gradient boosting tree. This research emphasizes on cost benefit and gain analysis to evaluate the result. Cost benefit analysis on gain chart shows the best benefit achieved on 20 percent of the population. AdaBoost Deep Neural Network with SMOTE data gives best result on cost-befenit analysis. However, Random Forest and SMOTE data could recognize 73.13 percent of target only in 20 percent of the population, and it gives the best consistency across 20 to 50 percent of the population. Total potential benefit is 11.5 times higher than without using model. We also found that Fβ-score values were correlated with cost-benefit values from classification model. |
TA-Bramantyo Erlangga.pdf :: Unduh