Hasil Pencarian  ::  Simpan CSV :: Kembali

"Setiap proses pembelajaran memerlukan suatu evaluasi berupa ujian, begitu pula dengan e- learning. Pada proses e- learning jenis ujian yang banyak digunakan adalah jenis ujian pilihan ganda dan isian singkat. Alasannya adalah kemudahan dalam proses penilaian, komputer yang menjadi komponen penting dalam proses e-learning lebih mudah dalam melakukan penilaian ujian pilihan ganda dan isian singkat secara akurat dibandingkan dengan melakukan penilaian jenis ujian esai. Padahal jenis ujian pilihan ganda dan isian singkat memiliki banyak kekurangan bila dibandingkan dengan jenis ujian esai. Hal inilah yang mendasari dibuatnya sistem penilaian jawaban esai secara otomatis (automated essay grading). Sistem yang dibuat merupakan sistem yang berbasiskan web dengan a lasan kemudahan pengaksesan oleh pihak user dari mana saja dan kapan saja. Dalam hal penilaian metode yang digunakan adalah metode Latent Semantic Analysis (LSA). Metode ini mempunyai ciri khas hanya mementingkan kata-kata kunci yang terkandung dalam sebuah kalimat tanpa memperhatikan karakteristik linguistiknya. Pada LSA, kata-kata direpresentasikan dalam sebuah matriks semantik dan kemudian diolah secara matematis menggunakan teknik aljabar linier Singular Value Decomposition (SVD). Walaupun metode ini relatif sederhana, namun memiliki tingkat korelasi yang cukup tinggi bila dibandingkan dengan penilaian yang dilakukan manusia secara manual. Skripsi ini membahas mengenai kinerja dari sistem penilaian esai otomatis berbasis web dengan menggunakan metode LSA dengan 3 tingkat bobot kata kunci. Pada sistem ini dilakukan pengujian mengenai kecepatan pada waktu memasukkan soal dan jawaban serta pada waktu penghitungan nilai. Pengujian tersebut dilakukan dengan menggunakan bantuan server pada localhost. Pengujian mengenai keakuratan penilaian juga dilakukan dengan cara membandingkan hasil penilaian sistem dengan human rater. Dari hasil pengujian, perbandingan penilaian dengan human rater menunjukkan angka korelasi sebesar 0,777402209 dengan rata-rata selisih nilai untuk setiap soal sebesar 17,36.

---

Each learning process need an evaluation in form like an exam, so also with elearning. In e-learning process type of exam that often used is multiple choice and short essay. The reason is easiness in asssessment process, computer that became important part in e- learning process is easier to grade a multiple choice and short essay exam accurately compared with an essay exam. Whereas multiple choice and short essay exam have many flaw if we compared it with long essay exam. This was the basic idea of automated essay grading.

This system was made based on the web based application, the reason is web based application is easy to be accessed by user anytime from anywhere. Scoring method that is used in this system is Latent Semantic Analysis method (LSA). This method has characteristic to only emphasize keywords in a sentence without paying attention to its linguistic characteristic. In LSA, words is represented in a semantic matrix and then processed mathemathically with Singular Value Decomposition (SVD). Despite of its simpicity, this method have a quite high correlation when compared with assessment of human rater.

Performance of web based automated essay grading system by using LSA method with 3 levels weight of keywords is tested here. Testing concerning speed when entering a question and answer to system and when calculating exam score are conducted in this system. Those testing is conducted by using server in localhost. Testing concerning preciseness of its grading is also carried out by comparing result of system?s grading and human rater. From result of this testing, comparison of system?s grading with human rater showed the correlation figure of 0,777402209 with average difference of score is 17,36 for every question."

"Pada skripsi ini dikembangkan sistem dengan basis bahasa pemrograman Java untuk menilai esai dalam bahasa Indonesia menggunakan algoritma yang lebih efisien dan optimal. Algoritma ini terdiri dari 4 tahap. Pertama adalah Latent Semantic Analysis (LSA) yang digunakan untuk memperoleh dan menyimpulkan hubungan kontekstual dari arti kata suatu teks. Kedua, Single Value Decomposition SVD untuk memperoleh variasi penyebaran dari hubungan tersebut. SVD mengidentifikasi dimana variasi muncul paling banyak, sehingga memungkinkan untuk mencari pendekatan yang terbaik pada data asli menggunakan dimensi yang lebih kecil. Ketiga, Latent Semantic Indexing LSI yaitu metode pengindeksan dan pengambilan untuk mengidentifikasi pola didalam hubungan antara term dan konsep yang dimiliki didalam koleksi teks yang tidak terstruktur sehingga memperoleh vektor yang merepresentasi teks tersebut. Terakhir, Cosine Similarity Measurement CSM untuk memperoleh nilai kemiripan antara teks dengan dokumen referensi. Untuk mengatasi permasalahan tata bahasa dan kosa kata pada esai, dalam karya ini diajukan teknik koreksi otomatis untuk memeriksa kata dalam pustaka kata untuk penyetaraan kata dengan arti yang serupa ataupun kata yang tidak memiliki arti spesifik. Kemudian, algoritma jarak Jaro-Winkler digunakan untuk memeriksa kesalahan kata yang disebabkan secara tidak sengaja. Dengan jarak Jaro-Winkler, kita dapat menentukan apakah 2 buah kata dapat dikatakan serupa. Hal ini sangat penting saat memeriksa dokumen yang berisi kesalahan penulisan, karena dapat mempengaruhi hasil LSA. Dengan sistem ini, nilai yang diperoleh serupa dengan nilai berdasarkan human-rater. Dengan pustaka kata yang terdiri dari 116 kata sinonim dan 2014 kata tugas, akurasi yang dihasilkan adalah 85.082 13.423.

---

In this thesis, a Java based system for grading essays in Indonesian language using a more efficient and optimal algorithm is developed. This algorithm consisted of 4 stage. The first stage is Latent Semantic Analysis LSA , which is used to obtain and conclude the contextual relation of words meaning in a text. The second stage uses Single Value Decomposition SVD to obtain scatter variance from the relations. SVD identifies where variances appear at most, therefore is enabled to find the best approach to the original data using reduced dimensions. The third stage is Latent Semantic Indexing LSI which is an indexing and retrieval method to identifies patterns in relation between terms and concepts contained in unstructured text collection and results with a vector representing the text. The last stage is Cosine Similarity Measurement CSM to obtain similarity value from the text and answer document.

To resolve problems stemmed from grammar and vocabulary, in this work we propose an auto correction technique to check a word from word library for equalization of word with same or no specific meaning. Then, Jaro Winkler distance algorithm is used to check word errors caused by accident when typing. With the distance, we can determine whether two strings of word are similar. This is extremely important when scanning text with typos, as it will affect the result from LSA. Using this system, the value obtained is similar to the value obtained from human rater. With word library consisting of 116 words for synonym check and 204 function words, the resulting accuracy is 85.082 13.423."

"ABSTRAKDalam penelitian ini, Sistem Penilaian Esai Ototmatis (Simple-O) dirancang menggunakan algoritma Latents Semantic Analysis (LSA), Term Frequency-Inverse Document Frequency, dan algoritma Support Vector Machine (SVM). Algoritma LSA digunakan untuk mengolah kata-kata yang merepresentasikan kata-kata dalam teks menjadi matriks. Algoritme SVM digunakan untuk mengklasifikasikan esai jawaban siswa berdasarkan topiknya. TF-IDF digunakan untuk menimbang setiap kata dalam teks yang akan menjadi input SVM. Dari penelitian ini ketepatan penggunaan jawaban dosen sebagai jawaban referensi adalah 72,01% dan ketepatan penggunaan kata kunci sebagai jawaban referensi adalah 69,5%.

---

ABSTRACTIn this study, the Automatic Essay Assessment System (Simple-O) was designed using the Latents Semantic Analysis (LSA) algorithm, Term Frequency-Inverse Document Frequency, and the Support Vector Machine (SVM) algorithm. The LSA algorithm is used to process words that represent words in the text into a matrix. The SVM algorithm is used to classify student essays based on their topic. TF-IDF is used to weigh each word in the text that will become SVM input. From this research, the accuracy of using lecturers' answers as reference answers was 72.01% and the accuracy of using keywords as reference answers was 69.5%."

"ABSTRAKPada penelitian ini dilakukan penerapan Support Vector Machine dan LSAMetode tersebut dibahas dan dipelajari lebih lanjut untuk merancang Sistem Penilaian Esai Otomatis (Simple-O). Simple-O merupakan sistem yang saat ini dikembangkan oleh UI Jurusan Teknik Elektro yang bertujuan untuk menilai esai secara otomatis. Support Vector Machine, yang merupakan algoritma pembelajaran yang diawasi, dipelajari selanjutnya untuk meningkatkan tingkat akurasi dalam Simple-O bersama dengan metode LSA yang digunakan Bahasa pemrograman Python. Dari hasil tes rata-rata tertinggi skor akurasi yang diperoleh sistem sebesar 88.06% dengan masukan kalimat kanji, katakana, hiragana dan nilai TDM siswa jawaban yang mencerminkan frekuensi kemunculan kata kunci dalam dokumen.

---

ABSTRACTIn this study, the implementation of Support Vector Machine and LSA was carried out These methods are discussed and studied further to design an Essay Assessment System Automatic (Simple-O). Simple-O is a system currently being developed by the UI Department of Electrical Engineering which aims to assess essays automatically. Support Vector Machine, which is a supervised learning algorithm, is learned furthermore to increase the level of accuracy in Simple-O along with the LSA method used Python programming language. From the highest average test results the accuracy score obtained by the system is 88.06% with input the kanji, katakana, hiragana and TDM scores of the students answers that reflect the frequency with which keywords appear in the document."

"Sistem penilaian menggunakan komputer yang telah banyak diaplikasikan sampai saat ini masih terbatas pada soal pilihan ganda. Sementara, kemampuan kognitif seorang pelajar penting untuk dinilai dari kemampuannya menjelaskan solusi dari suatu masalah yang dituangkan dalam esai. Pengembangan di bidang penilaian esai mulai banyak dilakukan dan menciptakan teknik-teknik seperti PEG (Project Essay Grader), E-Rater, dan LSA (Latent Semantic Analysis). Metode penilaian yang dipilih untuk mengembangkan sistem penilaian esai otomatis pada skripsi ini adalah LSA yang menyalin dan merepresentasikan kalimat dengan perhitungan matematis. Sistem berbasis LSA mengambil kata dan merepresentasikannya dalam bentuk matriks yang penilaiannya dilakukan dengan teknik aljabar SVD (Singular Value Decomposition). Sistem penilaian esai yang baik diharapkan memiliki fitur feedback yang bisa memberikan informasi pada pelajar mengenai ujian yang diikutinya. Skripsi ini membuat fitur pemberian feedback otomatis pada sistem penilaian esai untuk siswa, sebagai komponen penyempuma penilaian setelah melaksanakan ujian. Fitur ini sangat membantu memberi informasi kategori dan bab mana yang kurang dikuasai dari esai yang ditunjukkan oleh persentase nilai tiap kategori, terutama kategori dan bab yang nilainya paling rendah atau di bawah batas kelulusan. Total waktu yang dibutuhkan siswa untuk mendapatkan feedback secara otomatis (di bawah 1 detik) hanya sepersepuluh dari feedback-on-demand dan jauh lebih singkat lagi dibanding pemberian feedback secara langsung oleh pengajar. Kenaikan nilai yang bisa diharapkan dari pemberian feedback bisa mencapai lebih dari satu poin, misalnya dari B- (B minus) menjadi A- (A minus)."

"Pada skripsi ini telah dilakukan pengujian variasi kata kunci dalam jawaban mahasiswa yang mempengaruhi keakuratan nilai dari penggunaan program SIMPLE-O. Dengan adanya jawaban mahasiswa dalam berbagai variasi maka dapat dilihat pengaruh kata kunci dalam proses penilaian sistem. Kata kunci merupakan kumpulan kata-kata yang dipilih dari jawaban dimana kata-kata tersebut yang mempunyai nilai. Selain itu, terdapat kata bobot yang merupakan kumpulan dari kata kunci yang mempunyai bobot nilai lebih tinggi. Semakin banyak kata kunci yang dimasukkan, maka semakin besar keakuratan nilai pada sistem. Terdapat enam skenario yang digunakan sebagai bahan analisis.Korelasi waktu penggunaan sistem saat program dimasukkan ke dalam cloud computing berbeda dengan penggunaan sistem saja. Waktu proses penilaian yang dihasilkan oleh sistem lebih cepat dibandingkan waktu proses penilaian saat sistem berada dimasukkan ke dalam cloud computing. Nilai korelasi yang baik adalah nilai korelasi yang mendekati satu. Waktu korelasi yang paling baik pada pengujian skenario pada sistem sebesar 0.97. Sedangkan nilai korelasi pada pengujian skenario pada sistem sebesar 0.22.

---

In this thesis will discuss some keyword variation affects the accuracy of the students in the program use SIMPLE-O. With the variety of answer?s student in large amounts it can be seen how keywords in the process of the assessment system. Keywords is a collection of selected words from the answers which those words that has a value. In addition, there is the word weight is a collection of keywords that have a higher weight value. Increasingly many keywords entered, the greater accuracy in the system. There are six scenarios used for analysis.

Correlation time when using system in cloud computing has different than using simply system. Time processing in system make a better value than using simply system in cloud computing. Correlation value has a good value when the correlation closed with one. Correlation time in scenario system is 0.97. Whereas correltion value in scenario system is 0.22."

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score. "

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score."

"Representasi dokumen sebagai vektor GLSA pada beberapa percobaan seperti uji sinonim, klasifikasi dokumen, dan clustering terbukti mampu menghasilkan tingkat akurasi yang lebih baik daripada sistem sejenis yang berbasis algoritma LSA akan tetapi GLSA belum pernah diujikan pada sistem penilai esay otomatis. Percobaan ini meneliti pengaruh implementasi GLSA pada sistem penilai esay otomatis dan perbandingan unjuk kerjanya dengan sistem penilai esay otomatis berbasis LSA. Unjuk kerja sistem penilai esai otomatis berbasis GLSA lebih unggul daripada sistem berbasis LSA. Dari 60 kali pengujian, GLSA menghasilkan nilai yang lebih akurat pada 47 kali pengujian atau 78,3% total pengujian sedangkan LSA hanya unggul pada 9 kali pengujian atau 15% total pengujian dan sisanya 4 kali pengujian atau 6,7% total pengujian menghasilkan nilai dengan tingkat akurasi yang sama. Nilai Pearson Product Moment Correlation pada percobaan menggunakan sistem LSA 0.57775-0.85868 sedangkan pada GLSA sebesar 0.73335-0.76971. Hal ini mengindikasikan bahwa sistem berbasis LSA dan GLSA yang diujikan layak pakai karena memiliki performa yang sama baiknya dengan performa yang dilakukan oleh manusia. Ditinjau dari waktu proses yang dibutuhkan, LSA unggul pada soal 1 dan 2 dengan rataan 0,07466 detik dan 0,2935 detik sedangkan pada GLSA rataan waktu proses soal 1 dan 2 sebesar 1,32329 detik dan 17,3641 detik. Waktu proses yang dibutuhkan sistem penilai esai otomatis berbasis GLSA lebih lama dibandingkan dengan LSA. Akan tetapi karena GLSA menunjukkan kinerja yang amat baik, amat dipercaya bahwa manfaatnya lebih besar daripada biaya komputasi.

---

Document representation as GLSA vectors were shown to improve performance on different tasks such as synonymy test, document classification, and clustering compared to LSA based systems, however GLSA performance has never been tested on automated essay grading system. This experiment examines the effect of GLSA implementation on automated essay grading system and evaluates its performance compared to LSA based system. GLSA performance was shown to outperform LSA based automated essay grading system. From 60 samples, GLSA outperform LSA 47 times (78,3%), LSA outperform GLSA 9 times (15%), and 4 times (6,7%) resulted the same score accuracy. Pearson Product Moment Correlation Value resulted from the experiment using LSA based system is 0.57775-0.85868 and 0.73335-0.76971 for GLSA based system. This result incidates LSA and GLSA based system used on this experiment are ready to be used as human rater replacement because both of the system deliver similar performance with human rater. Processing time of LSA based system is faster with average processing time consecutively 0,07466 second and 0,2935 second compared to GLSA consecutively 1,32329 second and 17,3641 second. GLSA requires more processing time than LSA based system because GLSA based system has more calculation steps than LSA. However GLSA showed better performance, therefore it's believed that its benefits outweigh the computational cost."

"Simple-O merupakan sebuah sistem penilaian esai otomatis (essay grading) yang meggunakan metode Latent Semantic Analysis (LSA). Prinsip kerja sistem ini adalah dengan melakukan konversi jawaban ke dalam bentuk matriks yang kemudian secara statistik dan matematis dihitung intensitas atau frekuensi keberadaan kata. Metode LSA mengaplikasikan teori Singular Value Decomposition (SVD), yaitu teknik yang digunakan untuk melakukan estimasi terhadap rank dan matriks. Melalui SVD akan dilakukan peleburan atau reduksi dari matriks berukuran besar menjadi matriks kecil. Kemiripian antara kalimat dihitung dengan melakukan penghitungan nilai kosinus dari sudut atau membandingkan norma sudut Frobenius antara dua vector. Pada skripsi ini, ditambahkan program pengenalan kata frasa dan negasi dari sistem Simple-O sebelumnya yang kemudian dibandingkan dengan penilaian secara manual (human raters). Untuk menghitung nilai korelasi antar sistem dan human raters, maka digunakan teknik penghitung korelasi Pearson Product Moment. Nilai korelasi yang didapatkan antara sistem baru dan manual adalah 0.53155.

---

Simple-O is an automated essay scoring system (essay grading) that applies Latent Semantic Analysis (LSA) method. The working principle of this system is by converting the answers into the form of a matrix which is then statistically and mathematically calculated the intensity or frequency of the existence of the word. LSA method applying Singular Value Decomposition theory (SVD), which is a technique used to estimate the rank and matrix. SVD will be done through reduction of a large matrix into smaller matrices. The similarity between the sentence is calculated by calculating the value of the cosine of the angle or comparing Frobenius angles norm between two vectors. In this paper, the program added phrases and negation words identification of Simple-O system and will be compared with Original Simple-O and human raters. To calculate the value of the correlation between the system and human raters, we used the technique Pearson Product Moment. Correlation values obtained between the new system and the manual at about 0.53155"