| 001 Hak Akses (open/membership) | membership |
| 700 Entri Tambahan Nama Orang | Adila Alfa Krisnadhi, supervisor; Jessica Naraiswari Arwidarasti, supervisor; Betty Purwandari, examiner; Arawinda Dinakaramani, examiner |
| 336 Content Type | text (rdacontent) |
| 264b Nama Penerbit | Fakultas Ilmu Komputer Universitas Indonesia |
| 710 Entri Tambahan Badan Korporasi | Universitas Indonesia. Fakultas Ilmu Komputer |
| 049 No. Barkod | 14-25-54195304 |
| 504 Catatan Bibliografi | pages 119-124 |
| 852 Lokasi | Perpustakaan UI |
| 338 Carrier Type | online resource (rdacarrier) |
| 590 Cat. Sumber Pengadaan Koleksi | Deposit;Deposit |
| 903 Stock Opname | |
| 534 Catatan Versi Asli | |
| Tahun Buka Akses | 2026 |
| 053 No. Induk | 14-25-54195304 |
| 653 Kata Kunci | validasi berita generatif; large language Model (LLM); natural Language Inference (NLI); text classification; BLOOM; XGLM; indobert; mBERT; XLM-RoBERTa; mDeBERTa-V3 |
| 040 Sumber Pengatalogan | LibUI ind rda |
| 245 Judul Utama | Model Validasi Konten Berita Generatif untuk Automatic Indonesian News Generation System = Validation Model for Generative News Content in Automatic Indonesian News Generation System |
| 264c Tahun Terbit | 2024 |
| 650 Subyek Topik | Content Media; Human Judgement |
| 850 Lembaga Pemilik | Universitas Indonesia |
| 520 Ringkasan/Abstrak/Intisari | Penelitian ini bertujuan untuk melakukan pengembangan model untuk validasi berita berbahasa Indonesia yang dihasilkan oleh komponen generator berita pada proyek Automatic Indonesian News Generation System (AINGS). Terdapat dua pendekatan dalam penelitian ini, yakni pendekatan Large Language Model (LLM) generatif dan pendekatan model tugas Natural Language Inference (NLI). Dataset pada penelitian ini berasal dari berita pada media digital Indonesia dengan kategori berita olahraga dan fenomena alam. Model LLM generatif yang digunakan adalah BLOOM dan XGLM. Sementara itu model yang digunakan dalam tugas NLI adalah LLM contextualized pre-trained IndoBERT, mBERT, XLM-RoBERTa, dan mDeBERTa-V3. Aturan klasifikasi tambahan diperlukan sebagai tahapan post-processing dari pendekatan NLI untuk klasifikasi tingkat berita. Kedua hasil evaluasi pendekatan akan dibandingkan dengan hasil evaluasi pengujian validasi oleh manusia. Penelitian ini menunjukkan bahwa performa dari pendekatan basis tugas NLI lebih baik dibandingkan dengan pendekatan LLM generatif. Performa model terbaik pendekatan NLI yaitu IndoBERTLARGE-P1 mencapai performa akurasi 94,70%, sedangkan model terbaik pendekatan LLM generatif yakni BLOOM-3B mencapai akurasi tertinggi pada 84,11%. Meskipun demikian, penelitian ini menunjukkan bahwa kedua pendekatan di atas belum dapat melampaui performa validasi oleh manusia. Performa pendekatan terbaik penelitian ini yakni model berbasis NLI memiliki performa akurasi 94,70% yang memiliki selisih 3% dari akurasi pengujian manusia dengan akurasi 97,36%. Dengan selisih nilai akurasi yang kecil di atas, penelitian ini menunjukkan bahwa pendekatan penggunaan LLM dengan basis tugas NLI dapat menjadi solusi yang baik dalam tugas validasi berita generatif berbahasa Indonesia.
......This research aims to develop a model for validating Indonesian news generated by the news generator component in the Automatic Indonesian News Generation System (AINGS) project. Two approaches are employed in this study: the Generative Large Language Model (LLM) approach and the Natural Language Inference (NLI) task model approach. The dataset is derived from Indonesian digital media covering sports and natural phenomena news categories. The generative LLM models utilized are BLOOM and XGLM, while the NLI task models include contextualized pre-trained LLMs such as IndoBERT, mBERT, XLM-RoBERTa, and mDeBERTa-V3. Additional classification rules are implemented as a post-processing step in the NLI approach for news-level classification. The evaluation results of both approaches are compared with human validation test results. The findings indicate that the NLI-based approach outperforms the generative LLM approach. The best-performing NLI model, IndoBERTLARGE-P1, achieves an accuracy of 94,70%, whereas the top-performing generative LLM model, BLOOM-3B, attains the highest accuracy of 84,11%. Nevertheless, both approaches fall short of surpassing human validation performance. The best-performing model in this study, an NLI-based model, achieves an accuracy of 94,70%, exhibiting a 3% difference from human testing accuracy, which is 97,36%. With this marginal difference in accuracy, the study suggests that employing LLMs with an NLI-based approach can be a viable solution for validating generative Indonesian news articles. |
| 904b Pemeriksa Lembar Kerja | Sugiarti-Juni-2025 |
| 090 No. Panggil Setempat | S-pdf |
| d-Entri Utama Nama Orang | |
| 500 Catatan Umum | Dapat diakses di UIANA (lib.ui.ac.id) saja. |
| d-Entri Tambahan Nama Orang | |
| 337 Media Type | computer (rdamedia) |
| 526 Catatan Informasi Program Studi | Ilmu komputer |
| 100 Entri Utama Nama Orang | Frigas Hanifyan Zalwi, author |
| 264a Kota Terbit | Depok |
| 300 Deskripsi Fisik | xvii, 124 pages |
| 904a Pengisi Lembar Kerja | Sugiarti-Juni-2025 |
| Akses Naskah Ringkas | |
| 856 Akses dan Lokasi Elektronik | |
| 502 Catatan Jenis Karya | Skripsi |
| 041 Kode Bahasa | ind |