Pemelajaran Representasi Transformasi-Ekuivarian dengan Estimasi Informasi Timbal Balik Barber-Agakov dan Information Noise Contrastive = Transformation-Equivariant Representation with Barber-Agakov and Information Noise Contrastive Mutual Information Estimation
Sinaga, Marshal Arijona;
T. Basaruddin, supervisor; Adila Alfa Krisnadhi, supervisor; Wisnu Jatmiko, examiner; Ari Saptawijaya, examiner; Fariz Darari, examiner
(Fakultas Ilmu Komputer Universitas Indonesia, 2022)
|
|
Jaringan saraf konvolusi telah terbukti bekerja dengan baik pada tugas klasifikasi citra. Hasil tersebut didukung oleh sifat transformasi-ekuivarian yang merupakan salah satu karakteristik jaringan saraf konvolusi. Namun, sifat tersebut hanya terbatas pada transformasi translasi. Penelitian ini memperkenalkan transformasi-ekuivarian variasional (TEV), suatu model representasi tidak terawasi yang bersifat transformasi-ekuivarian terhadap transformasi yang lebih general. Pada pengimplementasiannya, TEV memanfaatkan predictive-transformation, suatu model pemelajaran terawasi sendiri yang berperan sebagai bias induktif. Proses optimisasi TEV melibatkan 2 estimasi batas bawah informasi timbal balik: metode estimasi Barber-Agakov (selanjutnya dinamakan model TEVBA) dan information noise contrastive (selanjutnya dinamakan model TEVInfoNCE). Model representasi TEV diuji berdasarkan rata-rata rasio kesalahan pada serangkaian tugas klasifikasi citra. Pada penelitian ini, perseptron lapis banyak, K-nearest neighbor, dan multinomial logistic regression dipilih sebagai classifier untuk tugas klasifikasi citra menggunakan dataset CIFAR-10 dan STL-10. Hasil menunjukkan TEVBA dan TEVInfoNCE mengungguli model baseline untuk masing-masing classifier pada kedua dataset. Secara spesifik, TEVBA secara konsisten menghasilkan rata-rata rasio kesalahan terendah untuk klasifikasi pada kedua dataset. Convolution neural network (CNN) has shown promising results on various image classification tasks. One of the reasons due to the ability of CNN to extract representation that is equivariant to transformations. However, the notion only holds for the translation transformation. This research introduces variational transformation equivariant (VTE), a more general unsupervised transformation-equivariant representation model. During the implementation, VTE utilizes the Predictive-transformation, a self-supervised learning model that acts as inductive bias. The optimization of VTE involves two lower bound mutual information methods: Barber-Agakov and information noise contrastive (InfoNCE). The VTE models are evaluated based on the average error rate on image classification tasks on CIFAR-10 and STL-10 datasets. We utilize multi-layer perceptron, K-nearest neighbor, and multinomial logistic regression as the classifiers. Results show VTE with Barber-Agakov and VTE with InfoNCE outperform the baseline model for each classifier on both datasets. Specifically, VTEBA consistently achieves the lowest average error rate for both datasets. |
 T-Marshal Arijona Sinaga.pdf :: Unduh
|
| No. Panggil : | T-pdf |
| Entri utama-Nama orang : | |
| Entri tambahan-Nama orang : | |
| Entri tambahan-Nama badan : | |
| Subjek : | |
| Penerbitan : | Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2022 |
| Program Studi : |
| Bahasa : | ind |
| Sumber Pengatalogan : | LibUI ind rda |
| Tipe Konten : | text |
| Tipe Media : | computer |
| Tipe Carrier : | online resource |
| Deskripsi Fisik : | xviii, 57 pages : illustration + appendix |
| Naskah Ringkas : | |
| Lembaga Pemilik : | Universitas Indonesia |
| Lokasi : | Perpustakaan UI |
| No. Panggil | No. Barkod | Ketersediaan |
|---|---|---|
| T-pdf | 15-24-59694318 | TERSEDIA |
| Ulasan: |
| Tidak ada ulasan pada koleksi ini: 9999920538332 |
