Pengembangan Sistem Tanya-Jawab yang Mengintegrasikan Generative Pre-trained Transformer (GPT) dengan Peraturan Perundang-undangan Indonesia Menggunakan Framework LlamaIndex dan LangChain = Building Question Answering (QA) System by Integrating Generative Pre-trained Transformer (GPT) with Indonesian Legal Documents using LlamaIndex and LangChain
Simangusnsong, Daniel Fernando P.;
Thariq Razan; Fariz Darari, supervisor; Alfan Farizki Wicaksono, examiner; Denny, examiner
(Fakultas Ilmu Komputer Universitas Indonesia, 2023)
|
|
Tidak dapat dipungkiri bahwa teknologi semakin berkembang dan inovasi baru terus bermunculan. ChatGPT merupakan salah satunya; dan menjadi buah bibir di awal tahun 2023. Teknologi ini dapat melayani aktivitas tanya-jawab yang membuat pengguna dapat merasa telah melakukan percakapan dengan manusia lainnya, alih-alih dengan mesin. Kemampuan ChatGPT bersumber dari model GPT yang digunakannya. Selaku large language model, GPT dapat memproses banyak teks untuk memproduksi teks lainnya. Walaupun secara umum dapat memberikan jawaban yang memadai, saat berurusan dengan domain yang spesifik, misalnya legal, ChatGPT memberikan jawaban yang kurang memuaskan. Penelitian ini dilakukan untuk mengatasi hal tersebut dengan menyisipkan konteks atau kepingan informasi yang spesifik kepada model melalui suatu prompt (in-context learning). Karena domain legal menjadi fokus penelitian ini, maka teks yang akan diproses berasal dari dokumen peraturan perundang-undangan. Penelitian ini diawali dengan preliminary research, sehingga diidentifikasi permasalahan yang telah dijabarkan. Kemudian, dilanjutkan dengan perancangan serta pengembangan dua sistem tanya-jawab yang menggunakan dua framework LlamaIndex dan LangChain. Sebelum mengembangkan sistem, peneliti mempersiapkan terlebih dahulu data/teks yang perlu diekstrak dari dokumen peraturan perundang-undangan. Pengembangan sistem dilakukan secara iteratif dan evaluasi diadakan pada setiap iterasi. Evaluasi dilakukan secara kualitatif dengan menggunakan human judgement serta secara kualitatif dengan menggunakan metrik ROUGE dan SAS. Hasil akhir evaluasi menunjukkan bahwa kedua sistem tersebut baik dalam menjawab pertanyaan terkait definisi dan substansi pada domain legal. Selain itu, dilakukan juga perbandingan hasil evaluasi terhadap ChatGPT dan ditemukan bahwa kedua sistem unggul. Penelitian ini telah menunjukkan bahwa teknologi GPT dapat dimanfaatkan pada domain spesifik, yaitu legal, melalui kedua sistem yang dibuat. It cannot be denied that technology is constantly advancing and new innovations continue to emerge. ChatGPT is one of them and has become the talk of the town in early 2023. This technology can facilitate question-and-answer interactions that make users feel like they are having a conversation with another human rather than a machine. This capability of ChatGPT is derived from the GPT model it uses. As a large language model, GPT can process a large amount of text to generate new text. Although it generally provides adequate answers, when dealing with specific domains such as legal matters, ChatGPT may give unsatisfactory responses. This research was conducted to overcome this issue by incorporating specific context or pieces of information into the model through a prompt (in-context learning). As the legal domain is the focus of this research, the text to be processed are Indonesian legal regulatory documents. The research begins with preliminary research. It is then followed by the design and development of two question-and-answer systems using two frameworks: LlamaIndex and LangChain. Before developing the systems, the researcher first prepares the data/text that needs to be extracted from the legal documents. The system development is carried out iteratively and evaluations are conducted at each iteration. The evaluations are performed qualitatively using human judgment and quantitatively using ROUGE and SAS metrics. The final evaluation results indicate that both systems perform well in answering questions related to definitions and substance in the legal domain. Additionally, a comparison of the evaluation results with ChatGPT shows that both systems outperform it. This research has demonstrated that GPT technology can be utilized in specific domains, namely legal, through the two developed systems. |
 S-Daniel Fernando P. Simangusnsong.pdf :: Unduh
|
| No. Panggil : | S-pdf |
| Entri utama-Nama orang : | |
| Entri tambahan-Nama orang : | |
| Entri tambahan-Nama badan : | |
| Subjek : | |
| Penerbitan : | Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2023 |
| Program Studi : |
| Bahasa : | ind |
| Sumber Pengatalogan : | LibUI ind rda |
| Tipe Konten : | text |
| Tipe Media : | computer |
| Tipe Carrier : | online resource |
| Deskripsi Fisik : | xv, 95 pages : illustration + appendix |
| Naskah Ringkas : | |
| Lembaga Pemilik : | Universitas Indonesia |
| Lokasi : | Perpustakaan UI |
| No. Panggil | No. Barkod | Ketersediaan |
|---|---|---|
| S-pdf | 14-24-68724265 | TERSEDIA |
| Ulasan: |
| Tidak ada ulasan pada koleksi ini: 9999920531223 |
