Hasil Pencarian  ::  Simpan CSV :: Kembali

Abstrak :

Pada zaman modern ini, implementasi chatbot digunakan untuk menyimpan data yang dikumpulkan melalui sistem tanya jawab, yang dapat diterapkan dalam program Python. Data yang akan digunakan dalam program ini adalah Cornell Movie Dialog Corpus yang merupakan dataset yang berisi korpus ini berisi kumpulan percakapan fiksi kaya metadata yang besar yang diekstraksi dari skrip film Penerapan chatbot dalam program Python, dapat menggunakan berbagai macam model, secara spesifik pada program ini akan diterapkan model LSTM, dan model BiLSTM. Penerapan chatbot dalam program Python, dapat menggunakan berbagai macam model, secara spesifik pada program ini akan diterapkan model LSTM, dan model BiLSTM. Hasil output dari program chatbot dengan penerapan model LSTM, dan BiLSTM adalah berupa akurasi, serta kumpulan data yang sesuai dengan informasi yang pengguna masukkan dalam input kotak dialog chatbot. Pemilihan model yang dapat diterapkan berdasarkan karakteristik data dapat mempengaruhi kinerja program, dengan tujuan program agar dapat menentukan tinggi atau rendahnya tingkat akurasi yang akan dihasilkan dari hasil yang diperoleh melalui sebuah program, yang dapat dijadikan faktor utama dalam menentukan model yang dipilih. Berdasarkan pertimbangan yang menjadi syarat pemilihan model dari sebuah program, pada akhirnya dipilih model LSTM, dan BiLSTM sebagai model yang akan diterapkan ke dalam program. Selain pemilihan model, berikutnya adalah menentukan metode yang digunakan dalam program, pada program ini dipilih metode greedy sebagai bentuk implementasi model LSTM dan model BiLSTM, dengan tujuan ketika dalam menjalankan program, waktu pengolahan data dapat lebih cepat, dan meningkatkan akurasi pada model yang dipilih pada program. Selain itu, atribut pendukung seperti seq2seq model, menjadi faktor penentu dalam sebuah program yang dapat berfungsi untuk memverifikasi pengolahan data apakah sesuai dengan kriteria yang dapat dijadikan sebagai pedoman dalam pengolahan data. Dalam penerapan komponen-komponen tersebut ke dalam program, seq2seq model dapat memproses kalimat input yang kemudian akan dilakukan pengolahan data tersebut menggunakan model dan struktur lain yang ada pada program, sehingga pada akhirnya dapat menghasilkan kalimat output yang berbagai macam, sebagai respon atas kalimat input yang dihasilkan dari program chatbot. Selain itu diperlukan metode evaluasi program yang dapat digunakan untuk memverifikasi apakah hasil output program sesuai dengan data yang diharapkan oleh pengguna. Berdasarkan penerapan model LSTM, dan model BiLSTM ke dalam chatbot, dapat disimpulkan bahwa dengan semua hasil uji program yang terdiri dari beragam pasangan parameter yang berbeda, maka dinyatakan Pasangan Parameter 1 (size_layer 512, num_layers 2, embedded_size 256, learning_rate 0.001, batch_size 32, epoch 20) yang berasal dari File 6 merupakan BiLSTM Chatbot dengan nilai avg accuracy 0.995217 yang menggunakan model BiLSTM menjadi pasangan parameter terbaik.

---

In modern times, chatbots are implemented and used to store data collected through a question and answer system which can be applied in the Python program. The data used in this program is the Cornell Movie Dialog Corpus which is a dataset containing a corpus that contains a large collection of metadata-rich fictional conversations extracted from film scripts. The application of chatbots into the Python program can be done using various models. In this research we specifically use the LSTM and BiLSTM models. The output results from the chatbot program with the application of the LSTM and BiLSTM models are in the form of accuracy, as well as a data set that matches the information that the user enters in the chatbot dialog box input. The choice of models that will be applied is based on data that can affect program performance, with the target of the program that can determine the high or low level of accuracy that will be generated from the results obtained through the program, which is a major factor in determining the selected model. Based on the considerations that are the required for choosing the model for the program, in the end the LSTM and the BiLSTM models are chosen and will be applied to the program. After selecting the appropriate model, the next step is to determine the method used in the program. The greedy method is chosen as a form of implementation of the LSTM and BiLSTM models that aims to decrease the data processing time of the program and make it quicker, and also increase the accuracy of the model selected for the program. In addition, supporting attributes such as the seq2seq model are a determining factor in a program that functions to verify whether data processing process matches the criteria and can be used as a guide. In applying these components to the program, the seq2seq model processes the input sentences which will then be processed using the models and other structures in the program, so that in the end it can produce various output sentences in response to the input sentences that are generated from the chatbot program. In addition, a program evaluation method is needed to verify whether the program output matches the data expected by the user. Based on the application of the LSTM dan BiLTSM models into the chatbot program, it can be concluded that between all the program test results consisting of a variety of different parameter pairs, it is stated that Parameter Pair 1 (size_layer 512, num_layers 2, embedded_size 256, learning_rate 0.001, batch_size 32, epoch 20) from File 3 is the best paramater pair of the BiLSTM Chatbot which uses the BiLTSM model, with the avg accuracy value of 0.995217.

Abstrak :
Chatbot sebagai asisten virtual yang digunakan oleh suatu instansi dapat memberikan manfaat bagi penggunanya. Dengan adanya chatbot, pengguna dapat berbicara langsung kepada chatbot melalui pesan singkat, yang kemudian sistem secara spontan mengidentifikasi intent pesan tersebut dan merespons dengan tindakan yang relevan. Sayangnya, cakupan pengetahuan chatbot terbatas dalam menangani pesan oleh pengguna yang semakin bervariasi. Dampak utama dari adanya variasi tersebut adalah adanya perubahan pada komposisi label intent. Untuk itu, penelitian ini berfokus pada dua hal. Pertama, pemodelan topik untuk menemukan intent dari pesan pengguna yang belum teridentifikasi intent-nya. Kedua, pemodelan topik digunakan untuk mengorganisasi intent yang sudah ada dengan menganalisis hasil keluaran model topik. Setelah dianalisis, terdapat dua kemungkinan fenomena perubahan komposisi intent yaitu: penggabungan dan pemecahan intent, dikarenakan terdapat noise saat proses anotasi dataset orisinal. Pemodelan topik yang digunakan terdiri dari Latent Dirichlet Allocation (LDA) sebagai model baseline dan dengan model state-of-the-art Top2Vec dan BERTopic. Penelitian dilakukan terhadap dataset salah satu e-commerce di Indonesia dan empat dataset publik. Untuk mengevaluasi model topik digunakan metrik evaluasi coherence, topic diversity dan topic quality. Hasil penelitian menunjukkan model topik BERTopic dan Top2Vec menghasilkan nilai topic quality 0.036 yang lebih baik dibandingkan model topik LDA yaitu -0.014. Terdapat pula pemecahan intent dan penggabungan intent yang ditemukan dengan analisis threshold proporsi. ......Chatbot, as a virtual assistant used by an institution, can provide benefits for its users. With a chatbot, users can speak directly to the chatbot via a short message, which then the system spontaneously identifies the intent of the message and responds with the relevant action. Unfortunately, the scope of chatbot knowledge is limited in handling messages by an increasingly varied user. The main impact of this variation is a change in the composition of the intent label. For this reason, this research focuses on two things. First, topic modeling to find intents from user messages whose intents have not been identified. Second, topic modeling is used to organize existing intents by analyzing the output of the topic model. After being analyzed, there are two possible phenomena of changing intent composition: merging and splitting intents because there is noise during the annotation process of the original dataset. The topic modeling used consists of Latent Dirichlet Allocation (LDA) as the baseline model and the state-of-the-art Top2Vec and BERTopic models. The research was conducted on one dataset of e-commerce in Indonesia and four public datasets. The evaluation metrics of coherence, topic diversity, and topic quality were used to evaluate the topic model. The results showed that the BERTopic and Top2Vec topic models produced a topic quality value of 0.036, better than the LDA topic model, which was -0.014. There are also intent splitting and intent merging found by proportion threshold analysis.