Hasil Pencarian  ::  Simpan CSV :: Kembali

"Skripsi ini membahas mengenai pengembangan sistem ujian lisan Bahasa Jepang yang dirancang dengan mengintegrasikan automatic speech recognition dengan sistem penilaian esai otomatis. Sistem yang dikembangkan menggunakan arsitektur client-server. Client merupakan aplikasi yang dikembangkan menggunakan cross-platform framework Flutter dan dapat dijalankan pada platform web maupun Android. Back-end server pada cloud dibangun menggunakan bahasa pemrograman Python dengan database PostgreSQL serta memanfaatkan teknologi kontainerisasi dengan Docker. Sistem speech recognition yang digunakan adalah DeepSpeech dengan model di-training untuk dapat mengubah pengucapan dalam bahasa Jepang menjadi teks dengan huruf hiragana. Model yang dihasilkan memiliki rata-rata WER sebesar 20,6%. Sistem plenilaian esai otomatis yang digunakan adalah SIMPLE-O dengan metode LSA. Uji coba dilaksanakan secara online pada 36 responden dengan tingkat kefamiliaran terhadap bahasa Jepang yang bervariasi. Hasil uji coba mendapatkan nilai rata-rata sebesar 49,62 dari nilai maksimum sebesar 100. Akurasi sistem penilaian ujian lisan bahasa Jepang ini didefinisikan sebagai nilai rata-rata hasil uji coba, dibagi dengan akurasi speech recognition, yaitu sebesar 62,5%.

---

This thesis discusses about the development of a Japanese language verbal exam system designed by integrating automatic speech recognition with an automatic essay scoring system. The system developed uses a client-server architecture. The client is an application developed using the cross-platform framework Flutter and can be run on the web or Android platforms. Back-end servers in the cloud are built using the Python programming language with the PostgreSQL database and utilize containerization technology with Docker. The speech recognition system used is DeepSpeech with a training model to be able to convert Japanese pronunciation into text using hiragana letters. The resulting model has an average WER of 20.6%. The automatic essay scoring system used is SIMPLE-O with the LSA method. The trial was carried out online with 36 respondents with different levels of familiarity with Japanese language. The test results obtained an average score of 49.62 out of a maximum score of 100. The accuracy of the Japanese verbal exam scoring system is defined as the average value of the test results, divided by the accuracy of speech recognition, which is equal to 62.5%."

"Skripsi ini membahas mengenai pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) yang dirancang dengan menggunakan hybrid CNN dan Bi-LSTM dan Manhattan Distance untuk penilaian esai Bahasa Jepang. Sistem dirancang dengan menggunakan bahasa pemrograman Python. Sistem melalui tahapan pre-processing, feature extraction dan word embedding yang dilanjutkan dengan proses deep learning serta pengukuran dengan menggunakan manhattan distance. Hasil akhir dari sistem dibandingkan dengan penilaian manual oleh dosen. Model yang paling stabil dan terbaik ditraining dengan menggunakan hyperparameter dengan kernel sizes bernilai 5, jumlah filter atau output CNN sebesar 64, pool size sebesar 4, Bidirectional LSTM units 50, batch size sebesar 64. Model deep learning ditraining dengan menggunakan optimizer Adam dengan learning rate 0,001 , epoch sebanyak 25 dan menggunakan regularizer L1 sebesar 0,01. Rata-rata error yang diperoleh adalah 29%

---

This thesis discusses the development of an Automatic Essay Grading System (SIMPLE-O) designed using hybrid CNN and Bidirectional LSTM and Manhattan Distance for Japanese essay grading. The system is designed using Python programming language. The system goes through the stages of pre-processing, feature extraction and word embedding followed by deep learning process and measurement using Manhattan Distance. The final result of the system is compared with manual assessment by lecturers. The most stable and best model is trained using hyperparameters with kernel sizes of 5, number of filters or CNN outputs of 64, pool size of 4, Bidirectional LSTM units of 50, batch size of 64. The deep learning model is trained using the Adam optimizer with a learning rate of 0.001, epoch of 25 and using an L1 regularizer of 0.01. The average error obtained is 29%.

"

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score."

"ABSTRAKPada penelitian ini dilakukan penerapan Support Vector Machine dan LSAMetode tersebut dibahas dan dipelajari lebih lanjut untuk merancang Sistem Penilaian Esai Otomatis (Simple-O). Simple-O merupakan sistem yang saat ini dikembangkan oleh UI Jurusan Teknik Elektro yang bertujuan untuk menilai esai secara otomatis. Support Vector Machine, yang merupakan algoritma pembelajaran yang diawasi, dipelajari selanjutnya untuk meningkatkan tingkat akurasi dalam Simple-O bersama dengan metode LSA yang digunakan Bahasa pemrograman Python. Dari hasil tes rata-rata tertinggi skor akurasi yang diperoleh sistem sebesar 88.06% dengan masukan kalimat kanji, katakana, hiragana dan nilai TDM siswa jawaban yang mencerminkan frekuensi kemunculan kata kunci dalam dokumen.

---

ABSTRACTIn this study, the implementation of Support Vector Machine and LSA was carried out These methods are discussed and studied further to design an Essay Assessment System Automatic (Simple-O). Simple-O is a system currently being developed by the UI Department of Electrical Engineering which aims to assess essays automatically. Support Vector Machine, which is a supervised learning algorithm, is learned furthermore to increase the level of accuracy in Simple-O along with the LSA method used Python programming language. From the highest average test results the accuracy score obtained by the system is 88.06% with input the kanji, katakana, hiragana and TDM scores of the students answers that reflect the frequency with which keywords appear in the document."

"Sistem Penilaian Esai Otomatis (Simple-O) telah dibuat menggunakan algoritma K-Means dan metode Latent Semantic Analysis (LSA). Jawaban karangan siswa pertama-tama akan diklasifikasikan ke dalam kelas-kelas sesuai dengan topik masing-masing nomor, dan akan memisahkannya dari jawaban siswa yang tidak sesuai konteks kemudian akan dilakukan proses LSA yang merepresentasikan kata ke dalam matriks, yang kemudian matriks direduksi menggunakan Singular Value Decomposition dan dilanjutkan dengan mencari norma frobenius yang merupakan nilai dari setiap soal. Pada penelitian ini dilakukan uji coba dengan menggunakan 4 skenario dan hasil penelitian SIMPLE-O menggunakan algoritma K-Means dan LSA menghasilkan akurasi rata-rata sebesar 74% yaitu hasil skenario pengujian 1

---

An Automatic Essay Assessment System (Simple-O) has been created using the K-Means algorithm and the Latent Semantic Analysis (LSA) method. Students' essay answers will first be classified into classes according to the topic of each number, and will separate them from student answers that do not fit the context then an LSA process will be carried out which represents the word into a matrix, which is then reduced by using Singular Value. Decomposition and continue by looking for the Frobenius norm which is the value of each question. In this study, trials were carried out using 4 scenarios and the results of the SIMPLE-O research using the K-Means and LSA algorithms produced an average accuracy of 74%, namely the results of the test scenario number 1."

"Departemen Teknik Elektro sebelumnya sudah mengembangkan sistem penilai esai otomatis (SIMPLE-O) yang berbasis algoritma winnowing dan diterapkan pada bahasa Jepang. Sistem penilai esai otomatis tersebut menggunakan algortima winnowing yang berbasiskan fingerprint dan hashing untuk mendeteksi tingkat kemiripan teks. Sistem tersebut memiliki rata-rata akurasi nilai total seluruh data hingga 90.92% dengan akurasi nilai total perpeserta ujian dapat mencapai 99.91% dan akurasi perjawaban untuk tiap peserta ujian berkisar dari 60.19% hingga 100%. Penelitian kali ini berusaha untuk mencoba untuk menaikkan akurasi tersebut. Cara yang digunakan ialah menganti hashing yang digunakan dari Rolling Hash ke MD5 dan mengimplementasi synonym recognition. Hasil percobaan ini memiliki rata-rata tingkat akurasi 85.61% dengan akurasi perjawaban untuk tiap perserta ujian berkisar 68.44% hingga 99.96%

---

Departement of Electrical Engineering has already developed automatic essay grading system (SIMPLE-O) which utilize winnowing algorithm which is a fingerprint-based and hash-based algorithm for detecting similarity between texts. The system have result of average of total score for all students is 90.92% with accuracy for each student is up to 99.91% and accuracy for each problem ranged from 60.19% to 100%. This research will try to raise the accuracy. The proposed method is by changing the hashing used by the system from Rolling Hash to MD5 and implementing synonym recognition. The result of conducted experiment has the average of accuracy of 85.61% and the accuracy for each problem ranged from 68.44% to 99.96%.

"

"

Salah satu teknologi berbasis kecerdasan buatan yang kini semakin dibutuhkan adalah ASR (Automatic Speech Recognition), atau lebih sering disebut sebagai speech-to-text. Teknologi ini memiliki potensi untuk diterapkan di berbagai bidang, salah satunya adalah mentranskripsi naskah rapat atau persidangan. Tujuan dari penelitian ini adalah untuk mengembangkan sistem transkripsi otomatis Bahasa Indonesia yang dapat berjalan secara luring dan dapat memproses masukan dari beberapa mikrofon secara bersamaan.

Penelitian ini berhasil mengembangkan sistem transkripsi otomatis dengan mengkombinasikan teknologi ASR, pemrograman Python, aplikasi word editor seperti Microsoft Word, dan komputer yang terhubung dengan banyak mikrofon. Teknologi ASR pada sistem ini terdiri dari acoustic model yang dibuat menggunakan DeepSpeech dengan metode fine-tuning dan language model yang dibuat menggunakan KenLM. Sistem transkripsi otomatis dapat dijalankan pada komputer 64-bit dengan sistem operasi Windows yang di dalamnya terdapat Microsoft Word tanpa memerlukan spesifikasi hardware minimum tertentu. Hasil pengujian terhadap performa sistem menunjukkan bahwa sistem hanya bersifat CPU-intensive, dan ini hanya terjadi apabila seluruh pembicara berbicara pada mikrofon secara sekaligus, yang mengakibatkan tingginya jumlah thread yang aktif. Hasil pengujian terhadap acoustic model menunjukkan bahwa model tersebut dapat menghasilkan WER terbaik sebesar 73,33% dan CER terbaik sebesar 23,59% apabila dilatih menggunakan learning rate sebesar 0,01 dan dropout rate sebesar 0,3. Hasil pengujian terhadap language model menunjukkan bahwa model yang dibuat dengan dataset teks bertopik umum dan berukuran besar dapat membantu acoustic model menghasilkan WER dan CER yang lebih baik lagi, yaitu 28,76% dan 14,68%.

---

One of the artificial intelligence-based technologies that is increasingly needed is ASR (Automatic Speech Recognition), or more commonly referred to as speech-to-text. This technology has the potential to be applied in various fields, one of which is generating transcripts for meetings or trials. The purpose of this research is to develop an Indonesian automatic transcription system that can run offline and can process input from multiple microphones simultaneously.

This study succeeded in developing an automatic transcription system by combining ASR technology, Python programming, word editor applications such as Microsoft Word, and computers connected to multiple microphones. The ASR technology in this system consists of an acoustic model created using DeepSpeech with a fine-tuning method and a language model created using KenLM. The automatic transcription system can be run on 64-bit computers with Windows operating system that has Microsoft Word installed on it. It does not require certain minimum hardware specifications.

Test results on system performance show that the system is only CPU-intensive, and this only occurs when all participants are speaking into all microphones at once, resulting in a high number of active threads. The test results on the acoustic model show that the model can produce the best WER of 73.33% and the best CER of 23.59% when trained using a learning rate of 0.01 and a dropout rate of 0.3. The test results on the language model show that the model made with a text dataset that has a large size and no particular topic can help the acoustic model produce better WER and CER, which are 28.76% and 14.68%, respectively."

"Skripsi ini membahas mengenai Pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) dengan menggunakan Stacked Bidirectional GRU dengan Manhattan Distance dan Cosine Similarity yang diterapkan untuk menilai jawaban esai bahasa Indonesia. Data yang digunakan pada sistem terdiri dari jawaban esai pelajar dan kunci jawaban dari pengajar. Sistem akan melalui tahapan pre-processing, word embedding, kemudian proses training, dan terakhir proses testing. Data sebelumnya diolah untuk dilakukan training terlebih dahulu dengan memberikan tujuh skenario pengujian agar memberikan selisih dan error yang rendah. Kedua jawaban akan diuji menggunakan dengan variasi hyperparameter sesuai dengan hasil terbaik dari seluruh skenario pengujian, kemudian diukur kemiripan hasil keduanya menggunakan dua jenis metrics yaitu, Manhattan Distance dan Cosine Similarity. Model menggunakan Cosine Similarity menghasilkan rata-rata nilai selisih 1.935 untuk fase training dan 8 untuk fase testing. Sedangkan Manhattan Distance menghasilkan selisih 1.887 untuk fase training dan 9.039 untuk fase testing.

---

This thesis discusses the design of an Automatic Essay Scoring System (SIMPLE-O) using Stacked Bidirectional GRU with Manhattan Distance and Cosine Similarity for Indonesian essay grading. The system utilizes a dataset consisting of student essay answers and corresponding teacher's answer key. The system goes through several stages including pre-processing, word embedding, training, and testing processes. The data is pre-processed and then trained using seven different testing scenarios to achieve low difference and low-error results. The system is evaluated using various hyperparameter settings based on the best results obtained from all testing scenarios. The similarity between the generated scores and the reference scores is measured using two metrics: Manhattan Distance and Cosine Similarity. The Cosine Similarity-based model achieved an average difference of 1.935 during the training phase and 8 during the testing phase. On the other hand, the Manhattan Distance-based model achieved an difference of 1.887 during the training phase and 9.039 during the testing phase."

"Sistem Penilaian Esai Otomatis (SIMPLE-O) dikembangkan oleh Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia untuk ujian bahasa Indonesia. Skripsi ini akan membahas mengenai pengembangan SIMPLE-O untuk penilaian ujian bahasa Indonesia menggunakan metode Siamese Manhattan Long Short-Term Memory (LSTM) dan bahasa pemrograman Python. Terdapat dua dokumen yang akan menjadi input, yaitu jawaban esai dari peserta ujian dan jawaban referensi dari penguji. Kedua jawaban diproses dengan layer LSTM yang sama. Selanjutnya, kemiripan antara keduanya dihitung dengan fungsi persamaan. Pengujian dengan dataset jawaban dummy mendapatkan nilai MAE dan RMSE sebesar 0.0254 dan 0.0346. Kemudia, pengujian dengan dataset jawaban asli mendapatkan nilai MAE dan RMSE terbaik sebesar 0.1596 dan 0.2190. Rata-rata nilai akurasi yang didapatkan adalah 92.82 untuk fase training dan 84.03 untuk validasi.

---

The Automatic Essay Assessment System (SIMPLE-O) was developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia for the Indonesian language test. This thesis will discuss the development of SIMPLE-O for the assessment of Indonesian language tests using the Siamese Manhattan Long Short-Term Memory (LSTM) method and the Python programming language. There are two documents that will be input, essay answers from examinees and answer answers from examiners. Both answers are processed with the same LSTM layer. Next, the similarity between the two is calculated by the similarity function. Testing with dummy answer dataset produces MAE and RMSE values of 0.0254 and 0.0346. Then, testing with the real answer dataset produces MAE and RMSE values of 0.1596 and 0.2190. The average accuracy value obtained was 92.82 for the training phase and 84.03 for validation.

"

"Sistem Penilaian Esai Otomatis (SIMPLE-O) merupakan teknologi deep learning yang dikembangkan oleh Departemen Teknik Elektro, Fakultas Teknik Universitas Indonesia. SIMPLE-O dikembangkan untuk menilai ujian esai Bahasa Indonesia menggunakan gabungan algoritma CNN dengan Bidirectional LSTM. Dokumen yang menjadi input untuk sistem berupa jawaban mahasiswa dan kunci jawaban dosen. Keduanya akan melalui proses pre-processing yang dilanjut menuju proses embedding dan masuk ke dalam model deep learning. Selanjutnya akan dilakukan perhitungan dengan metrik penilaian yaitu Manhattan Distance dan Cosine Similarity. Pengujian dilakukan dengan mencari hyperparameter terbaik dari enam skenario yang dijalankan. Hasil pengujian skenario akhir fase training dan testing pengukuran Manhattan Distance mendapatkan nilai rata-rata selisih sebesar 0,72 dan 15,19. Untuk pengujian akhir pengukuran Cosine Similarity didapatkan nilai sebesar 1,07 dan 15,43.

---

The Automated Essay Assessment System (SIMPLE-O) is a deep learning technology developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia. SIMPLE-O was developed to assess Indonesian essay exams using the CNN algorithm and the Bidirectional LSTM. Documents that become input for the system are student answers and lecturer answer keys. Both of them will go through a pre-processing process, leading to the embedding process and entering the deep learning model. Next, calculations will be done with assessment metrics: Manhattan Distance and Cosine Similarity. Testing is done by looking for the best hyperparameters from the six-run scenarios. The results of testing the scenario at the end of the training and testing phase of the Manhattan Distance measurement obtained an average difference of 0.72 and 15.19. For the final test of the Cosine Similarity measurement, values were obtained of 1.07 and 15.43."