Hasil Pencarian  ::  Simpan CSV :: Kembali

"Representasi dokumen sebagai vektor GLSA pada beberapa percobaan seperti uji sinonim, klasifikasi dokumen, dan clustering terbukti mampu menghasilkan tingkat akurasi yang lebih baik daripada sistem sejenis yang berbasis algoritma LSA akan tetapi GLSA belum pernah diujikan pada sistem penilai esay otomatis. Percobaan ini meneliti pengaruh implementasi GLSA pada sistem penilai esay otomatis dan perbandingan unjuk kerjanya dengan sistem penilai esay otomatis berbasis LSA. Unjuk kerja sistem penilai esai otomatis berbasis GLSA lebih unggul daripada sistem berbasis LSA. Dari 60 kali pengujian, GLSA menghasilkan nilai yang lebih akurat pada 47 kali pengujian atau 78,3% total pengujian sedangkan LSA hanya unggul pada 9 kali pengujian atau 15% total pengujian dan sisanya 4 kali pengujian atau 6,7% total pengujian menghasilkan nilai dengan tingkat akurasi yang sama. Nilai Pearson Product Moment Correlation pada percobaan menggunakan sistem LSA 0.57775-0.85868 sedangkan pada GLSA sebesar 0.73335-0.76971. Hal ini mengindikasikan bahwa sistem berbasis LSA dan GLSA yang diujikan layak pakai karena memiliki performa yang sama baiknya dengan performa yang dilakukan oleh manusia. Ditinjau dari waktu proses yang dibutuhkan, LSA unggul pada soal 1 dan 2 dengan rataan 0,07466 detik dan 0,2935 detik sedangkan pada GLSA rataan waktu proses soal 1 dan 2 sebesar 1,32329 detik dan 17,3641 detik. Waktu proses yang dibutuhkan sistem penilai esai otomatis berbasis GLSA lebih lama dibandingkan dengan LSA. Akan tetapi karena GLSA menunjukkan kinerja yang amat baik, amat dipercaya bahwa manfaatnya lebih besar daripada biaya komputasi.

---

Document representation as GLSA vectors were shown to improve performance on different tasks such as synonymy test, document classification, and clustering compared to LSA based systems, however GLSA performance has never been tested on automated essay grading system. This experiment examines the effect of GLSA implementation on automated essay grading system and evaluates its performance compared to LSA based system. GLSA performance was shown to outperform LSA based automated essay grading system. From 60 samples, GLSA outperform LSA 47 times (78,3%), LSA outperform GLSA 9 times (15%), and 4 times (6,7%) resulted the same score accuracy. Pearson Product Moment Correlation Value resulted from the experiment using LSA based system is 0.57775-0.85868 and 0.73335-0.76971 for GLSA based system. This result incidates LSA and GLSA based system used on this experiment are ready to be used as human rater replacement because both of the system deliver similar performance with human rater. Processing time of LSA based system is faster with average processing time consecutively 0,07466 second and 0,2935 second compared to GLSA consecutively 1,32329 second and 17,3641 second. GLSA requires more processing time than LSA based system because GLSA based system has more calculation steps than LSA. However GLSA showed better performance, therefore it's believed that its benefits outweigh the computational cost."

"Metode spektral Laplacian Eigenmaps Embedding (LEM) dapat memelihara kemiripan dokumen dengan baik dibandingkan dengan metode reduksi dimensi lainnya. Hal ini terlihat dari unjuk kerja sistem berbasis GLSALEM yang lebih baik jika dibandingkan dengan sistem lainnya pada percobaan. Peningkatan unjuk kerja tidak hanya ditunjukkan dengan berkurangnya rata-rata selisih nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater tetapi juga jumlah percobaan dimana GLSA-LEM menghasilkan nilai yang paling mendekati dengan nilai yang dihasilkan oleh human rater. Kekurangan dari implementasi metode LEM adalah bahwa LEM hanya dapat diterapkan pada matriks jawaban referensi dan mahasiswa dengan dimensi yang lebih besar atau sama dengan enam. Oleh karena itu jawaban referensi dan jawaban mahasiswa yang terlalu pendek tidak akan dapat diproses oleh LEM. Hal ini dapat ditanggulangi dengan mengimplementasikan batas minimal kata jawab pada sistem berbasis GLSA-LEM sehingga semua jawaban dapat diproses oleh LEM. Pada percobaan ini didapatkan rata-rata selisih antara nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater pada sistem berbasis LSA adalah 44,49; pada sistem berbasis GLSA adalah 23,41; dan pada sistem berbasis GLSA-LEM adalah 11,67.Hasil tersebut menunjukkan bahwa GLSA-LEM paling unggul karena menghasilkan rata-rata selisih yang paling kecil antara nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater. Hal ini didukung oleh jumlah percobaan dimana sistem berbasis GLSA-LEM bekerja paling baik yakni dari sejumlah 245 percobaan yang dapat diterapkan LEM didapatkan bahwa pada 82 percobaan sistem GLSA-LEM menghasilkan selisih nilai yang paling kecil dibandingkan dengan sistem GLSA yang unggul pada 40 percobaan dan sistem LSA yang unggul pada 10 percobaan saja. Dengan demikian hipotesis yang diajukan terbukti benar bahwa implementasi LEM pada sistem GLSA akan meningkatkan akurasi sistem. Selisih nilai yang lebih kecil menandakan sistem dapat menghasilkan nilai yang lebih mendekati nilai yang dihasilkan oleh human rater. Hal ini sesuai dengan tujuan dari sistem penilai esai otomatis yang diciptakan untuk menggantikan kerja human rater dimana nilai yang dihasilkan harus dapat mendekati nilai yang dihasilkan oleh human rater. Rata-rata waktu proses LSA adalah 0,164 detik, GLSA sebesar 0,521 detik, dan GLSA-LEM sebesar 4,982 detik.

---

Laplacian Eigenmaps Embedding preserve semantic proximity better than other dimension reduction methods. GLSA performance may be improved further by implementing LEM. Experiment conducted has shown that GLSA-LEM based system has outperform on this experiment. Performance improvement not only shown from average delta between the grades calculated using the system and the grades resulted from human rater but also the number of the tests that outperformed by GLSA-LEM. The disadvantage of LEM implementation is that LEM only can be applied to answer matrices with minimum dimension of six. Therefore answers that are too short may not be processed using LEM. This can be mitigated by implementing minimum threshold to the answers so it can't be submitted if less than required length. This experiment show that LSA average delta between grades resulted from the system and grades resulted from human rater is 44,49; GLSA?s average delta is 23,41 and GLSA-LEM?s average delta is 11,67.

These results show GLSA-LEM is the best because generate grades with the least average delta between the grades calculated using the system and the grades resulted from human rater. These results also supported by the number of essays from total of 245 essays that can be applied GLSA-LEM graded best with least delta by GLSA-LEM that is 82; compared to GLSA that is 40; and LSA that is 10. Therefore the hypotesis is proven to be correct that LEM implementation on GLSA based system improves system's accuracy. Least delta indicates system generate better grades that is closer to human rater. These results is in accordance with the purpose of automated essay grading system that created to replace human raters in which the grades resulted by the system should be close to the grade generated by human raters. LSA's average processing time is 0,164 seconds, GLSA's is 0,521 seconds, and GLSA-LEM?s is 4,982 seconds."