Representasi dokumen sebagai vektor GLSA pada beberapa percobaan seperti uji sinonim, klasifikasi dokumen, dan clustering terbukti mampu menghasilkan tingkat akurasi yang lebih baik daripada sistem sejenis yang berbasis algoritma LSA akan tetapi GLSA belum pernah diujikan pada sistem penilai esay otomatis. Percobaan ini meneliti pengaruh implementasi GLSA pada sistem penilai esay otomatis dan perbandingan unjuk kerjanya dengan sistem penilai esay otomatis berbasis LSA. Unjuk kerja sistem penilai esai otomatis berbasis GLSA lebih unggul daripada sistem berbasis LSA. Dari 60 kali pengujian, GLSA menghasilkan nilai yang lebih akurat pada 47 kali pengujian atau 78,3% total pengujian sedangkan LSA hanya unggul pada 9 kali pengujian atau 15% total pengujian dan sisanya 4 kali pengujian atau 6,7% total pengujian menghasilkan nilai dengan tingkat akurasi yang sama. Nilai Pearson Product Moment Correlation pada percobaan menggunakan sistem LSA 0.57775-0.85868 sedangkan pada GLSA sebesar 0.73335-0.76971. Hal ini mengindikasikan bahwa sistem berbasis LSA dan GLSA yang diujikan layak pakai karena memiliki performa yang sama baiknya dengan performa yang dilakukan oleh manusia. Ditinjau dari waktu proses yang dibutuhkan, LSA unggul pada soal 1 dan 2 dengan rataan 0,07466 detik dan 0,2935 detik sedangkan pada GLSA rataan waktu proses soal 1 dan 2 sebesar 1,32329 detik dan 17,3641 detik. Waktu proses yang dibutuhkan sistem penilai esai otomatis berbasis GLSA lebih lama dibandingkan dengan LSA. Akan tetapi karena GLSA menunjukkan kinerja yang amat baik, amat dipercaya bahwa manfaatnya lebih besar daripada biaya komputasi.
Document representation as GLSA vectors were shown to improve performance on different tasks such as synonymy test, document classification, and clustering compared to LSA based systems, however GLSA performance has never been tested on automated essay grading system. This experiment examines the effect of GLSA implementation on automated essay grading system and evaluates its performance compared to LSA based system. GLSA performance was shown to outperform LSA based automated essay grading system. From 60 samples, GLSA outperform LSA 47 times (78,3%), LSA outperform GLSA 9 times (15%), and 4 times (6,7%) resulted the same score accuracy. Pearson Product Moment Correlation Value resulted from the experiment using LSA based system is 0.57775-0.85868 and 0.73335-0.76971 for GLSA based system. This result incidates LSA and GLSA based system used on this experiment are ready to be used as human rater replacement because both of the system deliver similar performance with human rater. Processing time of LSA based system is faster with average processing time consecutively 0,07466 second and 0,2935 second compared to GLSA consecutively 1,32329 second and 17,3641 second. GLSA requires more processing time than LSA based system because GLSA based system has more calculation steps than LSA. However GLSA showed better performance, therefore it's believed that its benefits outweigh the computational cost. |
