Hasil Pencarian  ::  Simpan CSV :: Kembali

"Contents : - Learning transfer defined- Two key questions: six disciplines for ensuring learning transfer- Addressing the "can i?" question- Addressing the "will i?" question- Making sure transfer is happening- References & resources- Job aid: learning transfer design checklist- Job aid: transfer climate scorecard- Job aid: action plan workshet"

"Penelitian ini bertujuan untuk membangun model dependency parser untuk bahasa Jawa menggunakan pendekatan cross-lingual transfer learning. Metode transfer learning dipilih untuk mengatasi kurangnya dataset yang tersedia untuk proses training model pada bahasa Jawa yang merupakan low-resource language. Model dibangun menggunakan arsitektur encoder-decoder, tepatnya menggunakan gabungan dari self-attention encoder dan deep biaffine decoder. Terdapat tiga skenario yang diuji yaitu model tanpa transfer learning, model dengan transfer learning, dan model dengan hierarchical transfer learning. Metode transfer learning menggunakan bahasa Indonesia, bahasa Korea, bahasa Kroasia, dan bahasa Inggris sebagai source language. Sementara metode hierarchical transfer learning menggunakan bahasa Prancis, bahasa Italia, dan bahasa Inggris sebagai source language tahap satu, serta bahasa Indonesia sebagai source language tahap dua (intermediary language). Penelitian ini juga mengujikan empat word embedding yaitu fastText, BERT Jawa, RoBERTa Jawa, dan multilingual BERT. Hasilnya metode transfer learning secara efektif mampu menaikkan performa model sebesar 10%, di mana model tanpa transfer learning yang memiliki performa awal unlabeled attachment score (UAS) sebesar 75.87% dan labeled attachment score (LAS) sebesar 69.04% mampu ditingkatkan performanya hingga mencapai 85.84% pada UAS dan 79.22% pada LAS. Skenario hierarchical transfer learning mendapatkan hasil yang lebih baik daripada transfer learning biasa, namun perbedaannya tidak cukup signifikan.

---

This research aims to develop a Javanese dependency parser model using a cross-lingual transfer learning approach. The transfer learning method was chosen to overcome the lack of available datasets for the model training process in Javanese, a low-resource language. The model uses an encoder-decoder architecture, precisely combining a self-attention encoder and a deep biaffine decoder. Three scenarios are experimented with: a model without transfer learning, a model with transfer learning, and a model with hierarchical transfer learning. The transfer learning process uses Indonesian, Korean, Croatian, and English as source languages. In contrast, the hierarchical transfer learning process uses French, Italian, and English as the first-stage source languages and Indonesian as the second-stage source language (intermediary language). This research also experimented with four word embedding types: fastText, Javanese BERT, Javanese RoBERTa, and multilingual BERT. The results show that the transfer learning method effectively improves the model’s performance by 10%, where the model without transfer learning has an initial unlabeled attachment score (UAS) performance of 75.87% and labeled attachment score (LAS) of 69.04% can be increased to 85.84% in UAS and 79.22% in LAS. Hierarchical transfer learning has a slightly better result than standard transfer learning, but the difference is insignificant."

"Too often the long-term results of training are lacking. So how can you be certain that your training efforts are sticky enough to have lasting impact on your trainees and their work? Hit the sweet spot of training application with Making Learning Stick, a practical, easy-to-use resource aimed at boosting retention and application of learning on the job. Get detailed, step-by-step instructions for this treasure trove of techniques along with dozens of variations likely to suit any training situation."

"Analisis sentimen merupakan proses memahami, mengekstrak dan mengolah data tekstual secara otomatis untuk mendapatkan informasi. Pada penelitian ini, analisis sentimen diterapkan pada media sosial, yaitu Twitter. Pada dasarnya analisis sentimen merupakan masalah klasifikasi. Support Vector Machine SVM adalah salah satu metode machine learning untuk menyelesaikan masalah klasifikasi. Pada pendekatan SVM model dibangun dengan data dari domain yang sama. Namun, ketika terjadi perubahan domain, maka model machine learning harus dibangun kembali dari awal dengan menggunakan data pelatihan yang baru. Data pelatihan yang baru membutuhkan proses pelabelan yang dilakukan secara manual. Dalam kasus ini, akan lebih efektif dan efisien jika dilakukan transfer learning agar dapat menggunakan data pelatihan dari domain yang sudah tersedia untuk menangani masalah klasifikasi pada domain yang berbeda. Data pelatihan dari sebuah domain digunakan untuk melakukan klasifikasi pada domain yang berbeda. Dalam penelitian masalah analisis sentimen untuk tweets berbahasa Indonesia ini, nilai akurasi transfer learning masih lebih rendah dari pada metode SVM tanpa transfer learning. Penggunaan fitur bi-gram dapat meningkatkan kinerja transfer learning.

---

Sentiment analysis is the process of understanding, extracting and processing textual data automatically to obtain information. In this experiment, sentiment analysis applied to social media, Twitter. Basically, sentiment analysis is a classification problem. Support Vector Machine SVM is one of machine learning method to solve two class classification problem. In the SVM approach the model is built with data from the same domain. However, when domain changes occur, the machine learning model must be rebuilt from scratch using new training data. New training data requires manual labeling process.

In this case, it would be more effective and efficient to transfer learning to use the training data from an already available domain to deal with classification problems on different domains. Training data from a domain will be used to classify on different domains. In the research problem of sentiment analysis for tweets in Bahasa, the value of transfer learning accuracy is still lower than the SVM method without transfer learning. Use of bi gram feature can improve the performance of transfer learning."

"Metadata statistik memiliki peran yang sangat penting bagi masyarakat. Dengan adanya metadata statistik, kita dapat mengetahui segala informasi mengenai semua kegiatan statistik yang dilakukan. Pada penelitian ini kami akan membangun sistem Closed Domain Question Answering (CDQA) mengenai metadata statistik (CDQA-Metadata Statistik). Sistem ini dibangun dengan menggunakan metode transfer learning pada data human question dan automatic question. Penggunaan metode transfer learning digunakan karena benchmark yang besar mengenai metadata statistik belum ada sama sekali. Pada penelitian ini kami akan menggunakan arsitektur retriever(BM25)-reader(IndoBERT) berbasis transfer learning. Ada tiga eksperimen utama yang kami lakukan. Hasil eksperimen pertama kami menunjukkan bahwa pada data human question model twostage fine-tuning (human) yang merupakan model dengan metode transfer learning secara statistik sangat signifikan mengguguli model non transfer learning dengan peningkatan exact match sebesar 53 kali lipat dan f1-score sebesar 9 kali lipat. Kemudian pada data automatic question, model two-stage fine-tuning (automatic) yang merupakan model dengan metode transfer learning secara statistik signifikan mengguguli model non transfer learning dengan peningkatan 80 kali lipat untuk exact match dan 13 kali lipat untuk f1-score. Hasil eksperimen kedua kami menujukkan bahwa sistem CDQAMetadata Statistik berbasis transfer learning secara statistik signifikan lebih baik pada data automatic question dibandingkan data human question. Hal ini mungkin disebabkan pada data automatic question memiliki term-of overlap yang lebih banyak dibandingkan data human question. Lalu pada hasil eksperimen ketiga menunjukkan bahwa pada data human question, penambahan data automatic question saat fine-tuning tidak dapat meningkatkan performa CDQA-Metadata Statistik. Begitu juga pada data automatic question, penambahan data human question saat fine-tuning ternyata tidak dapat meningkatkan performa CDQA-Metadata Statistik.

---

Statistical metadata plays a very important role in society. With statistical metadata, we can find out all the information regarding all statistical activities carried out. In this research we will build a Closed Domain Question Answering system (CDQA) regarding statistical metadata (CDQA-Statistical Metadata). This system was built using the transfer learning method on human question and automatic question data. The use of the transfer learning method is used because large benchmarks regarding statistical metadata do not yet exist. In this research we will use a retriever (BM25)-reader (IndoBERT) architecture based on transfer learning. There were three main experiments we conducted. The results of our first experiment show that in human question data the two-stage fine-tuning (human) model, which is a model using the transfer learning method, is statistically very significantly superior to the non-transfer learning model with an increase in exact match of 53 times and f1-score of 9 times. Then in the automatic question data, the two-stage fine-tuning (automatic) model, which is a model using the transfer learning method, statistically significantly outperforms the non-transfer learning model with an increase of 80 times for exact match and 13 times for f1-score. The results of our second experiment show that CDQA-Metadata Statistik system based on transfer learning significantly as statistics get better performance in automatic question data than in human question data. This is because automatic question data have more term-of overlap than human question data. Then the results of the third experiment show that for human question data, the addition of the automatic question data during fine-tuning cannot improve the performance of CDQA-Metadata Statistics. Likewise for automatic question data, the addition of a human question data during fine-tuning apparently did not improve the performance of CDQA-Metadata Statistics."

"Transfer learning merupakan pengembangan dari pembelajaran mesin biasa (tradisional) yang dapat diterapkan pada cross-domain. Cross-domain adalah domain yang memiliki perbedaan pada feature space atau pada marginal dan conditional distribution, sehingga sulit ditangani dengan metode pembelajaran mesin biasa. Perbedaan ini banyak terjadi pada kasus computer vision atau pattern recognition seperti untuk mengenali korban bencana alam melalui foto yang diambil dari atas menggunakan drone atau helikopter. Terjadinya perbedaan feature space dan distribusi data ini karena adanya perbedaan sudut, cahaya, dan alat yang berbeda. Kondisi seperti ini semakin menyulitkan untuk dilakukannya klasifikasi gambar terlebih pada domain dengan keterbatasan label. Implementasi transfer learning terbukti dapat memberikan performance yang baik pada banyak kasus, termasuk kasus yang menggunakan dataset gambar.Dalam transfer learning penting untuk menghindari terjadinya negative transfer learning, sehingga perlu dilakukan pengukuran kesamaan (similarity) antar domain. Penelitian ini menerapkan feature-representation-transfer dan menggunakan Maximum Mean Discrepancy (MMD) untuk mengukur jarak antar feature pada domain yang terlibat di transfer learning. Setelah mengukur kesamaan antar domain, maka akan dilakukan pemilihan feature berdasarkan jarak antar feature. Feature terpilih adalah feature yang mempunyai jarak kurang dari threshold yang ditentukan. Bobot akan diberikan kepada feature terpilih. Selain melakukan pemilihan feature berdasarkan kesamaan domain, metode ini juga melakukan pemilihan feature yang signifikan antar class label dan dalam class label dengan menggunakan ANOVA (Analysis of Variance). Hanya feature yang signifikan yang akan digunakan untuk proses prediksi.Metode yang diusulkan juga menerapkan inter-cluster class label untuk memperkecil perbedaan conditional distribution. Prinsip kerja inter-cluster class label ini adalah menghitung jarak minimal dari instance pada domain target ke setiap center of cluster class label. Rumus jarak yang digunakan adalah Euclidean Distance. Properti statistik seperti rata-rata dan varians akan digunakan pada metode ini, untuk menggambarkan struktur data lokal dalam setiap domain. Penggunaan rata-rata digunakan untuk menentukan threshold dan pusat cluster class label, sedangkan varians digunakan untuk pemilihan feature yang signifikan. Proses prediksi label dilakukan berdasarkan feature terpilih yang telah diberi bobot dan jarak terpendek setiap instance ke salah satu class label.Tidak terdapat parameter tambahan dalam fungsi pembelajaran yang diusulkan. Selain itu, proses penentuan label juga dilakukan tanpa iterasi, sehingga memungkinkan metode ini dapat dijalankan dengan keterbatasan resource. Hasil eksperimen menunjukkan bahwa metode yang diusulkan dapat memberikan performance sebesar 46,6%, pada saat menggunakan SVM sebagai classifier dan 51.7% pada saat menggunakan logistic regression. Akurasi yang didapat dengan SVM ini mengimbangi metode feature-representation-transfer sebelumnya. Namun akurasi dari logistic regression sudah dapat mengungguli metode sebelumnya. Hasil ini menunjukkan bahwa penggunaan metode feature selection menggunakan properti statistik yang dikombinasikan dengan pemberian bobot pada feature terpilih dan jarak minimal dapat memberikan hasil akurasi yang baik tanpa memerlukan resource yang besar.

---

Transfer learning is the extension of traditional machine learning in a cross-domain environment. Cross-domains are domains with different feature spaces or different marginal and conditional distributions. Many real-world cases of computer vision and pattern recognition, such as the surveillance of some victims of natural disasters from above using a drone or helicopter, have these differences. These conditons are difficult to handle with traditional machine learning methods. The differences in feature space or data distribution caused by the existence of different angles, different light, and different tools. All of these situation add difficulty to the classification process, especially in domains with limited labels. The implementation of transfer learning is proven to provide good performance in many cases of cross-domain learning, including cases that use image datasets.

In transfer learning, it is important to measure the similarity between domains to avoid negative transfer learning. This study applies feature-representation-transfer and uses Maximum Mean Discrepancy (MMD) to measure the distance between features in the cross-domains and reduce the domain discrepancy. After measuring the similarity between domains, a feature selection will be made based on the distance between the features. Selected features are features that have a distance less than the specified threshold. Weight will be given to the selected features. In addition to selecting features based on domain similarity, this method also selects significant features between class labels and within class labels using ANOVA (Analysis of Variance). Only significant features will be used for the prediction process.

The proposed method also applies an inter-cluster class label to minimize the difference in conditional distribution. The inter-cluster class label works by calculating the minimum distance from the instance in the target domain to each center of the cluster class label. The distance formula used is Euclidean distance. Statistical properties such as mean and variance will be used in this method to describe the local data structure in each domain. The average is used to determine the threshold and center of the cluster class label, while the variance is used to select significant features. The label prediction process is carried out based on the selected features that have been weighted and the shortest distance for each instance to one of the label classes.

There are no additional parameters in the proposed learning function. In addition, the process of determining the label is also carried out without iteration, thus allowing this method to be run with limited resources. The experimental results show that the proposed method can provide a performance of 46.6% when using SVM as a classifier and 51.7% when using logistic regression. The accuracy obtained from SVM offsets the previous feature-representation transfer learning. However, the accuracy of logistic regression has been able to outperform the previous method. These results indicate that the use of the feature selection method using statistical properties combined with assigning weights to selected features and a minimum distance can provide good accuracy without requiring large resources."