Salah satu metode otomasi essay grading adalah essay grading metode LSA. LSA merepresentasikan isi kata dalam matriks dua dimensi yang besar. Bagian pemrosesan penting dari LSA adalah komponen penganalisisan bernama SVD (Singular Value Decomposition) yang mengkompresi informasi yang berkaitan dalam jumlah besar ke dalam ruang yang lebih kecil. Menggunakan teknik aljabar matriks (SVD), hubungan baru antara esai mahasiswa dan esai referensi ditentukan dan dimodifikasi untuk mewakili arti sebenarnya. SIMPLE-O adalah aplikasi penilaian esai otomatis metode LSA yang berbasis web yang dikembangkan di Indonesia. Untuk meningkatkan kualitas penilaian esai maka perlu diterapkan teknik pembobotan. Sebuah metode pembobotan merupakan susunan dari tiga buah pembobotan: pembobotan lokal (local weighting), pembobotan global (global weighting) dan normalisasi (normalization) [1]. Untuk mengimplementasikan pembobotan maka pada SIMPLE-O dilakukan perubahan pada bagian proses memasukan jawaban esai mahasiswa dan proses penilaianya. SIMPLE-OM adalah SIMPLE-O yang telah mengalami perubahan. Pada SIMPLEOM skema pembobotan yang diterapkan adalah skema pembobotan SICBI (SQRTIGFF-COSN-BNRY-IDFB). Berdasarkan hasil pengamatan dan perhitungan dari beberapa skenario pengujian, sistem aplikasi dengan pembobotan SICBI memberikan hasil yang lebih baik daripada sistem aplikasi tanpa pembobotan. Skenario pengujian yang memberikan hasil paling baik (mendekati human rater) adalah skenario yang memiliki jumlah mahasiswa terbanyak yaitu skenario 3 (20 mahasiswa). Pada skenario 3, rata-rata selisih antara penilaian sistem aplikasi dengan human rater adalah 10,9. Penerapan pembobotan akan membuat sistem aplikasi bekerja lebih lama dalam hal penilaian esai. Selain itu, beberapa hal lain yang berpengaruh pada kecepatan proses penilaian esai antara lain banyaknya kata kunci mahasiswa dan jumlah mahasiswa yang mengikui ujian.
One method of automatic essay grading is "LSA Essay Grading Method". LSA represents words contained in a huge bi-dimensional matrix. Main processing part of LSA is analyzing component that called SVD (Singular Value Decomposition) which compress the large-scaled related information into smaller scale. Using matrix algebraic method (SVD), the new relations between student?s essay and the reference essay can be determined and modified in the real meaning. SIMPLE-O is an automatic essay grading application using web-based LSA method which has been developed in Indonesia. To increase essay grading quality, it needed to apply weighting technique. Weighting methods consist of three weighting: local weighting, global weighting, and normalization [1]. To implement the weighting in SIMPLE-O, it needs to make changes in student?s answers and grading process. SIMPLE-OM is a modified SIMPLE-O. In SIMPLEOM, the weighting scheme which is being implemented is SICBI (SQRT-IGFFCOSN-BNRY-IDFD) weighting scheme. According to observation results and calculation from several testing scenario, SICBI weighting application system gives better results than application system without weighting method. The best result (approaching the human rater) is given by the testing method which has the most student participants, that is in third scenario (20 students). In this scenario, the average differences between application system grading and human rater is 10.9. Weighting implementation will make the application system work longer in essay grading. The number of word and the students also affect to the essay grading speed. |
