UI - Skripsi Membership :: Kembali

UI - Skripsi Membership :: Kembali

Analisis Pengaruh Urutan Domain terhadap Lifelong Learning Berbasis BERT = An Analysis on the Effects of Sequences of Domains for BERT-Based Lifelong Learning

Carlo Johan Nikanor; Hendri Murfi, supervisor; Gianinna Ardaneswari, supervisor; Gatot Fatwanto Hertono, examiner; Nora Haryadi, examiner (Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Indonesia, 2023)

 Abstrak

Perkembangan pesat teknologi telah memberikan akses kepada masyarakat untuk mengemukakan opini dan evaluasi pribadi di media sosial dan berbagai penjuru dunia digital. Hal ini menjadi pemicu berkembangnya ilmu analisis sentimen atau sering disebut juga opinion mining yang merupakan pengaplikasian dari ilmu machine learning. Umumnya, metode machine learning mempelajari satu domain untuk menghasilkan suatu model, tetapi dengan pengembangan lanjut dihasilkan lifelong learning dimana pembelajaran model berlangsung secara kontinu menggunakan berbagai source domain. Pada tahun 2022, Osmardifa melakukan penelitan mengenai perbandingan kinerja model Bidirectional Encoding Representation from Transformers (BERT) terhadap kinerja model Convolutional Neural Network (CNN) dan model Long Short-Term Memory (LSTM) untuk lifelong learning. Namun, dari perbandingan kinerja tersebut hanya menggunakan satu kombinasi urutan domain dari total 120 kombinasi dari urutan 5 source domain. Dalam skripsi ini, kombinasi semua kombinasi urutan source domain menggunakan dataset penelitian Osmardifa disimulasikan untuk mengukur kinerja model menggunakan urutan pembelajaran yang berbeda dari simulasi yang dijalankan Osmardifa. Hasil simulasi urutan source domain lainnya menggunakan metode BERT menunjukkan banyak kombinasi urutan source domain yang menghasilkan kinerja lebih baik dibandingkan penelitian sebelumnya. Didapat bahwa urutan pembelajaran Capres – Jenius – Shopback – Ecom- Grab menghasilkan akurasi tertinggi 82,49% untuk retain of knowledge bagi source domain yang menggunakan dataset Capres sebagai Source Domain 1 dan urutan Capres – Jenius – Grab – Ecom – Shopback menghasilkan akurasi tertinggi 91,32% untuk transfer of knowledge. Hasil ini menunjukkan kenaikan sebesar 1,53% dan 1,72% dibandingkan simulasi awal yang dilakukan oleh Osmardifa. Analisis lanjut dilaksanakan untuk melihat apakah ada pola atau alasan yang dapat menjelaskan perbedaan kinerja pada model ketika urutan source domain digantikan akan tetapi tidak ditemukan pola atau atau alasan tersebut tidak ditemukan pada penelitian.

Technological advancements have given the public more of an opportunity to share opinions and personal evaluations within public spaces through social media and other domains on the internet.This phenomenon sparked an interest to develop a field of study under machine learning called opinion mining which specializes in analyzing sentiments found within texts. Generally, machine learning models have one domain or dataset which is used to develop the model, however with further developments a lifelong learning was developed which aims to develop models through continual learning with multiple domains or datasets. In 2022, Osmardifa underwent a study to compare the results of the Bidirectional Encoding Representations from Transfomers (BERT) model with the Convolutional Neural Network (CNN) model and the Long Short-Term Memory (LSTM) model when all of the above are used for lifelong learning. However, the comparison that was used within the study only used one combination of the sequence of source domains available using 5 source domains when there are in fact 120 possible sequences of source domains when using 5 source domains. Therefore, this study aims to further analyze the accuracy of the model in Osmardifa’s research when tested and trained using the other 120 possible learning orders of the model. Further simulations on the previously unused sequences using the BERT model showed better results than the sequence of source domains that was used in previous studies. The Capres – Jenius – Shopback – Ecom- Grab sequence showed the best resulting accuracy for the retain of knowledge tests which used the Capres dataset as the first source domain (Source Domain 1), said sequence of source domains had a final accuracy of 82.49% which is a 1.53% increase compared to previous results. The transfer of knowledge tests also showed that the Capres – Jenius – Grab – Ecom – Shopback sequence gave the best overall results with a final accuracy of 91.32% which is an increase of 1.72% compared to the previous study. Further analysis on the results of the simulations were done to check whether or not there was an underlying pattern or reason for this difference in accuracy, however no conclusive pattern or reasons were found.

 File Digital: 1

Shelf
 S-Carlo Johan Nikanor.pdf :: Unduh

LOGIN required

 Metadata

Jenis Koleksi : UI - Skripsi Membership
No. Panggil : S-pdf
Entri utama-Nama orang :
Entri tambahan-Nama orang :
Entri tambahan-Nama badan :
Program Studi :
Subjek :
Penerbitan : Depok: Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Indonesia, 2023
Bahasa : ind
Sumber Pengatalogan : LibUI ind rda
Tipe Konten : text
Tipe Media : computer
Tipe Carrier : online resource
Deskripsi Fisik : xiv, 53 pages : illustration + appendix
Naskah Ringkas :
Lembaga Pemilik : Universitas Indonesia
Lokasi : Perpustakaan UI
  • Ketersediaan
  • Ulasan
  • Sampul
No. Panggil No. Barkod Ketersediaan
S-pdf 14-24-73327685 TERSEDIA
Ulasan:
Tidak ada ulasan pada koleksi ini: 9999920534473
Cover