UI - Tesis Membership :: Kembali

UI - Tesis Membership :: Kembali

Pemelajaran Representasi Transformasi-Ekuivarian dengan Estimasi Informasi Timbal Balik Barber-Agakov dan Information Noise Contrastive = Transformation-Equivariant Representation with Barber-Agakov and Information Noise Contrastive Mutual Information Estimation

Sinaga, Marshal Arijona; T. Basaruddin, supervisor; Adila Alfa Krisnadhi, supervisor; Wisnu Jatmiko, examiner; Ari Saptawijaya, examiner; Fariz Darari, examiner (Fakultas Ilmu Komputer Universitas Indonesia, 2022)

 Abstrak

Jaringan saraf konvolusi telah terbukti bekerja dengan baik pada tugas klasifikasi citra. Hasil tersebut didukung oleh sifat transformasi-ekuivarian yang merupakan salah satu karakteristik jaringan saraf konvolusi. Namun, sifat tersebut hanya terbatas pada transformasi translasi. Penelitian ini memperkenalkan transformasi-ekuivarian variasional (TEV), suatu model representasi tidak terawasi yang bersifat transformasi-ekuivarian terhadap transformasi yang lebih general. Pada pengimplementasiannya, TEV memanfaatkan predictive-transformation, suatu model pemelajaran terawasi sendiri yang berperan sebagai bias induktif. Proses optimisasi TEV melibatkan 2 estimasi batas bawah informasi timbal balik: metode estimasi Barber-Agakov (selanjutnya dinamakan model TEVBA) dan information noise contrastive (selanjutnya dinamakan model TEVInfoNCE). Model representasi TEV diuji berdasarkan rata-rata rasio kesalahan pada serangkaian tugas klasifikasi citra. Pada penelitian ini, perseptron lapis banyak, K-nearest neighbor, dan multinomial logistic regression dipilih sebagai classifier untuk tugas klasifikasi citra menggunakan dataset CIFAR-10 dan STL-10. Hasil menunjukkan TEVBA dan TEVInfoNCE mengungguli model baseline untuk masing-masing classifier pada kedua dataset. Secara spesifik, TEVBA secara konsisten menghasilkan rata-rata rasio kesalahan terendah untuk klasifikasi pada kedua dataset.

Convolution neural network (CNN) has shown promising results on various image classification tasks. One of the reasons due to the ability of CNN to extract representation that is equivariant to transformations. However, the notion only holds for the translation transformation. This research introduces variational transformation equivariant (VTE), a more general unsupervised transformation-equivariant representation model. During the implementation, VTE utilizes the Predictive-transformation, a self-supervised learning model that acts as inductive bias. The optimization of VTE involves two lower bound mutual information methods: Barber-Agakov and information noise contrastive (InfoNCE). The VTE models are evaluated based on the average error rate on image classification tasks on CIFAR-10 and STL-10 datasets. We utilize multi-layer perceptron, K-nearest neighbor, and multinomial logistic regression as the classifiers. Results show VTE with Barber-Agakov and VTE with InfoNCE outperform the baseline model for each classifier on both datasets. Specifically, VTEBA consistently achieves the lowest average error rate for both datasets.

 File Digital: 1

Shelf
 T-Marshal Arijona Sinaga.pdf :: Unduh

LOGIN required

 Metadata

Jenis Koleksi : UI - Tesis Membership
No. Panggil : T-pdf
Entri utama-Nama orang :
Entri tambahan-Nama orang :
Entri tambahan-Nama badan :
Program Studi :
Subjek :
Penerbitan : Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2022
Bahasa : ind
Sumber Pengatalogan : LibUI ind rda
Tipe Konten : text
Tipe Media : computer
Tipe Carrier : online resource
Deskripsi Fisik : xviii, 57 pages : illustration + appendix
Naskah Ringkas :
Lembaga Pemilik : Universitas Indonesia
Lokasi : Perpustakaan UI
  • Ketersediaan
  • Ulasan
  • Sampul
No. Panggil No. Barkod Ketersediaan
T-pdf 15-24-59694318 TERSEDIA
Ulasan:
Tidak ada ulasan pada koleksi ini: 9999920538332
Cover