Hasil Pencarian  ::  Simpan CSV :: Kembali

"Skripsi ini membahas rancangan dan pengembangan sistem penilaian esai otomatis untuk ujian Bahasa Jepang dengan bentuk isian singkat/esai. Sistem dirancang dengan model hybrid MLP (Multilayer Perceptron) dengan Particle Swarm Optimization. Sistem ditulis dalam bahasa pemrograman Python. Penilaian otomatis dilakukan dengan membandingkan jawaban mahasiswa dan jawaban dosen berdasarkan jarak kemiripan menggunakan Manhattan Distance. Model Hybrid MLP akan digunakan untuk menghasilkan vektor jawaban agar dapat dibandingkan dan dinilai. Dari variasi model yang diuji, variasi yang terbukti memiliki performa terbaik adalah variasi dengan model MLP yang dilatih secara backpropagation dengan optimizer Adam dengan learning rate sebesar 0.000001, fungsi loss categorical-crossentropy, dan dilatih selama 50 epoch. Model mendapatkan tingkat persentase eror sebesar 21.85% untuk rata-rata nilai prediksi dibandingkan dengan nilai yang diberikan oleh dosen.

---

This thesis discusses and explore the designs and development of Automatic Essay Grading System using combination of Multilayer Perceptron with Particle Swarm Optimization. The program is being developed with Python programming language. The system compares the matrix vector of the student’s answer with the key answer using Manhattan Distance. Out of all the variations that are tested, the model that is proven to be the most stable is the MLP model that are trained with Backpropagation with loss function crosscategorical-crossentropy and Adam optimizer with learning rate of 0.000001. The model achieves an error percentage of 21.85% for the average grade predicted compared to the actual grade."

"Penelitian ini bertujuan untuk menguji efektivitas pre-trained language model BERT pada tugas pencarian dosen pakar. Bidirectional Encoder Representations from Transformers (BERT) merupakan salah satu state-of-the-art model saat ini yang menerapkan contextual word representation (contextual embedding). Dataset yang digunakan pada penelitian ini terdiri dari data pakar dan bukti kepakaran. Data pakar merupakan data dosen Fakultas Ilmu Komputer Universitas Indonesia (Fasilkom UI). Data bukti kepakaran merupakan data abstrak digital tugas akhir mahasiswa Fasilkom UI. Model yang diusulkan pada penelitian ini terdiri dari tiga variasi BERT, yaitu IndoBERT (Indonesian BERT), mBERT (Multilingual BERT), dan SciBERT (Scientific BERT) yang akan dibandingkan dengan model baseline menggunakan word2vec. Terdapat dua pendekatan yang dilakukan untuk mendapatkan urutan dosen pakar pada variasi model BERT, yaitu pendekatan feature-based dan fine-tuning. Penelitian ini menunjukkan bahwa model IndoBERT dengan pendekatan feature-based memberikan hasil yang lebih baik dibandingkan baseline dengan peningkatan 6% untuk metrik MRR hingga 9% untuk metrik NDCG@10. Pendekatan fine-tuning juga memberikan hasil yang lebih baik pada model IndoBERT dibandingkan baseline dengan peningkatan 10% untuk metrik MRR hingga 18% untuk metrik P@5. Diantara kedua pendekatan tersebut, dibuktikan bahwa pendekatan fine-tuning memberikan hasil yang lebih baik dibandingkan dengan pendekatan feature-based dengan peningkatan 1% untuk metrik P@10 hingga 5% untuk metrik MRR. Penelitian ini menunjukkan bahwa penggunaan pre-trained language model BERT memberikan hasil yang lebih baik dibandingkan baseline word2vec dalam tugas pencarian dosen pakar.

---

This study aims to test the effectiveness of the pre-trained language model BERT on the task of expert finding. Bidirectional Encoder Representations from Transformers (BERT) is one of the current state-of-the-art models that applies contextual word representation (contextual embedding). The dataset used in this study consists of expert data and expertise evidence. The expert data is composed of faculty members from the Faculty of Computer Science, University of Indonesia (Fasilkom UI). The expertise evidence data consists of digital abstracts by Fasilkom UI students. The proposed model in this research consists of three variations of BERT, namely IndoBERT (Indonesian BERT), mBERT (Multilingual BERT), and SciBERT (Scientific BERT), which will be compared to a baseline model using word2vec. Two approaches were employed to obtain the ranking of expert faculty members using the BERT variations, namely the feature-based approach and fine-tuning. The results of this study shows that the IndoBERT model with the feature-based approach outperforms the baseline, with an improvement of 6% for the MRR metric and up to 9% for the NDCG@10 metric. The fine-tuning approach also yields better results for the IndoBERT model compared to the baseline, with an improvement of 10% for the MRR metric and up to 18% for the P@5 metric. Among these two approaches, it is proven that the fine-tuning approach performs better than the feature-based approach, with an improvement of 1% for the P@10 metric and up to 5% for the MRR metric. This research shows that the use of the pre-trained language model BERT provides better results compared to the baseline word2vec in the task of expert finding."

"Mesin penerjemah merupakan alat penerjemah otomatis pada sebuah teks dari satu bahasa ke bahasa lainnya. Tujuan dari mesin penerjemah adalah dapat membuat orang ? orang yang berasal dari berbagai budaya, yang memiliki bahasa yang berbeda, dapat berkomunikasi satu sama lain dengan mudah. Mesin penerjemah statistik adalah sebuah pendekatan mesin penerjemah dimana hasil terjemahan dihasilkan atas dasar model statistik yang parameter-parameternya diambil dari hasil analisis korpus teks bilingual (atau paralel). Penelitian di bidang mesin penerjemah statistik untuk Bahasa Inggris ? Bahasa Indonesia belum terlalu mendapat perhatian. Kualitas hasil terjemahan Bahasa Inggris ? Bahasa Indonesia tersebut masih jauh dari sempurna dan memiliki nilai akurasi yang rendah. Diawali dari permasalahan ini, munculah sebuah ide untuk membuat aturan-aturan restrukturisasi teks pada Bahasa Inggris sesuai dengan struktur Bahasa Indonesia dengan tujuan untuk meningkatkan kualitas dan nilai akurasi hasil terjemahan mesin penerjemah statistik. Aturan restrukturisasi teks tersebut bisa berupa word reordering, phrase reordering, ataupun keduanya. Dalam penelitian ini penulis merancang 7 buah aturan word reordering, 7 buah aturan phrase reordering dan 2 buah aturan gabungan phrase reordering dan word reordering.Penelitian dilakukan dengan menggunakan Stanford POS Tagger, Stanford Parser, dan MOSES. Stanford POS Tagger digunakan dalam tahap word reordering, Stanford Parser dalam tahap phrase reordering, dan MOSES dalam tahap penerjemahan. Hasil eksperimen menunjukkan peningkatan akurasi dan kualitas penerjemahan yang efektif diperoleh dengan word reordering. Word reordering dapat memberikan peningkatan nilai BLEU sebesar 1.3896% (dari 0.1871 menjadi 0.1897) dan nilai NIST sebesar 0.6218% (dari 5.3876 menjadi 5.4211). Pada korpus bible, rata ? rata nilai peningkatan nilai BLEU yang diperoleh dengan restrukturisasi teks adalah 0.5871% dan untuk nilai NIST terjadi penurunan sebesar 0.0144%. Pada korpus novel, rata ? rata nilai peningkatan nilai BLEU yang diperoleh dengan restrukturisasi teks adalah 0.8751% dan untuk nilai NIST terjadi peningkatan sebesar 0.3170%. Besarnya peningkatan dan penurunan yang terjadi pada penelitian ini cenderung kecil (masih di bawah 1%). Hal ini dikarenakan aturan penerjemahan Bahasa Inggris-Indonesia menggunakan aturan MD-DM yang melibatkan penukaran kata yang jaraknya dekat sudah tercakup dalam distortion model pada mesin penerjemah statistik berdasarkan frase.

---

Machine translation is an automatic translation tool for a text from one language to another language. The goal of machine translation is to allow people with different cultures and languages to communicate with each other easily. Statistical machine translation is an approach to machine translation in which the results produced on the basis of statistical model that its parameters taken from the bilingual corpus (or parallel) text analysis. The research on statistical machine translation from English to Indonesian has not been received much attention. The English - Indonesian translation quality is still far from perfect and has low accuracy. Based on this issue, come out an idea to make some text restructuring rules on English according to Indonesian languange structure, with the purpose of improvement the quality and accuracy of the statistical machine translation. Text restructuring rules can be word reordering or phrase reordering or both. In this research, the authors design 7 word reordering rules, 7 phrase reordering rules and 2 combined phrase reordering and word reordering rules.This research uses Stanford POS Tagger, Stanford Parser, and MOSES. Stanford POS Tagger is used in word reordering process, Stanford parser used in phrase reordering process, and MOSES in translation process. The results from experiments show that the most effective improvement is word reordering. The improvement with word reordering in BLEU score is 1.3896% (from 0.1871 become 0.1897) and for NIST score is 0.6218% (from 5.3876 become 5.4211). On bible corpus, the average of all text restructuring rules score are increased 0.5871% (BLEU) and decreased 0.0144% (NIST). On novel corpus, the average of all text restructuring rules score are increased 0.8751% (BLEU) and increased 0.3170% (NIST). The amount of increase and decrease that occurred in this study is considered as a small occurence (which is still under 1%). This is caused by the MD-DM rules that involve exchanging words that have small distances between their range which have already been accounted for by the distortion model in phrase based statistical machine translation."