"Kebutuhan akan informasi yang cepat dan valid semakin mendesak di tengah arus in- formasi yang cepat. Kemajuan teknologi memberikan dampak signi kan terhadap in- dustri jurnalisme untuk mengakomodasi kebutuhan informasi tersebut. Proses produksi berita, yang tradisionalnya memakan waktu, terus dihadapkan pada tuntutan untuk meng- hasilkan informasi dengan cepat dan akurat. Penelitian ini merespon tantangan terse- but dengan melakukan pengembangan model generatif yang dapat melakukan pembuatan berita secara otomatis. Dalam pengembangan model generatif, penulis melakukan bebe- rapa skenario percobaan untuk menguji pengaruh ukuran jumlah parameter, jenis prompt- ing, dan penggunaan delimiter pada prompt yang digunakan terhadap kualitas model yang dihasilkan. Percobaan dilakukan dengan melakukan ne tuning pada dua buah large language model yang memiliki arsitektur berbeda, yaitu Falcon dan BLOOM. Pengem- bangan large language model selanjutnya dilakukan proses evaluasi dengan menggunakan metrik measurement BLEU, ROUGE, perplexity, dan human evaluation kepada wartawan terhadap berita yang dihasilkan. Hasil yang penulis dapatkan menunjukkan bahwa terda- pat beberapa aspek yang memengaruhi kualitas berita yang dihasilkan oleh model dalam proses ne tuning. Beberapa aspek tersebut di antaranya adalah ukuran jumlah parameter, jenis prompting, dan penggunaan delimiter pada prompt yang digunakan. Model terbaik yang didapatkan dari keseluruhan model percobaan adalah BLOOM dengan jumlah pa- rameter 7B yang mendapatkan hasil evaluasi ROUGE-1 sebesar 0,3856 dan perplexity sebesar 5,79809. Model ini juga dapat menghasilkan berita yang sesuai dengan kebu- tuhan wartawan dalam proses human evaluation, baik dari kesesuaian dengan kaidah ke- bahasaan dan penulisan berita maupun ketepatan berita dengan fakta sebenarnya. Model ini mendapatkan penilaian sebesar 4,25 dari 5,00 untuk kesesuaian dengan kaidah keba- hasaan dan 4,27 dari 5,00 untuk ketepatan dengan fakta sebenarnya.
The escalating need for swift and accurate information in today's dynamic information landscape poses a significant challenge. Technological advancements have profoundly impacted the journalism industry, necessitating adaptations to fulfill evolving information requirements. The traditional, time-consuming news production process is under constant pressure to deliver information swiftly and accurately. This research tackles these challenges by developing a generative model capable of automating news creation. The author explores various experimental scenarios in the generative model development, investigating the influence of parameters' quantity, prompting techniques, and the use of delimiters in prompts on the resulting model's quality. The experiments involve fine-tuning two large language models with different architectures, Falcon and BLOOM. The subsequent evaluation process utilizes metrics such as BLEU, ROUGE, perplexity, and human evaluation by journalists to assess the quality of the generated news. The findings underscore that several factors, including parameter quantity, prompting techniques, and delimiter use, impact the news model's quality during the fine-tuning process. Significantly, among the experimented models, the BLOOM model with 7B parameters emerges as the overall best performer. This model achieves a ROUGE-1 evaluation of 0.38656 and a perplexity of 5.79809. In human evaluation, the BLOOM model excels in linguistic adherence and factual accuracy, receiving ratings of 4,25 out of 5.00 and 4,27 out of 5.00, respectively."
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2024
