Batching strategy untuk optimisasi Densely Connected Convolutional Networks pada GPU = Batching Strategy for Densely Connected Convolutional Networks Optimization on GPU.
Ari Nugroho;
Heru Suhartanto, supervisor; Setiadi Yazid, examiner; Rizal Fathoni Aji, examiner; Bayu Anggorojati, examiner
([Publisher not identified]
, 2020)
|
|
ABSTRAK Densely Connected Convolutional Networks (DenseNet) merupakan salah satumodel arsitektur Deep Learning yang menghubungkan setiap layer beserta feature-maps ke seluruh layer berikutnya, sehingga layer berikutnya menerima inputfeature-maps dari seluruh layer sebelumnya. Karena padatnya arsitektur DenseNetmeyebabkan komputasi model memerlukan waktu lama dan pemakaian memoryGPU yang besar. Penelitian ini mengembangkan metode optimisasi DenseNetmenggunakan batching strategy yang bertujuan untuk mengatasi permasalahanDenseNet dalam hal percepatan komputasi dan penghematan ruang memory GPU.Batching strategy adalah metode yang digunakan dalam Stochastic GradientDescent (SGD) dimana metode tersebut menerapkan metode dinamik batchingdengan inisialisasi awal menggunakan ukuran batch kecil dan ditingkatkanukurannya secara adaptif selama training hingga sampai ukuran batch besar agarterjadi peningkatan paralelisasi komputasi untuk mempercepat waktu pelatihan.Metode batching strategy juga dilengkapi dengan manajemen memory GPUmenggunakan metode gradient accumulation. Dari hasil percobaan dan pengujianterhadap metode tersebut dihasilkan peningkatan kecepatan waktu pelatihan hingga1,7x pada dataset CIFAR-10 dan 1,5x pada dataset CIFAR-100 serta dapatmeningkatkan akurasi DenseNet. Manajemen memory yang digunakan dapatmenghemat memory GPU hingga 30% jika dibandingkan dengan native DenseNet.Dataset yang digunakan menggunakan CIFAR-10 dan CIFAR-100 datasets.Penerapan metode batching strategy tersebut terbukti dapat menghasilkanpercepatan dan penghematan ruang memory GPU. ABSTRACT Densely Connected Convolutional Networks (DenseNet) is one of the DeepLearning architecture models that connect each layer and feature maps to allsubsequent layers so that the next layer receives input feature maps from allprevious layers. Because of its DenseNet architecture, computational modelsrequire a long time and use large GPU memory. This research develops theDenseNet optimization method using a batching strategy that aims to overcome theDenseNet problem in terms of accelerating computing time and saving GPUmemory. Batching strategy is a method used in Stochastic Gradient Descent (SGD)where the technique applies dynamic batching approach with initial initializationusing small batch sizes and adaptively increased size during training to large batchsizes so that there is an increase in computational parallelization to speed up trainingtime. The batching strategy method is also equipped with GPU memorymanagement using the gradient accumulation method. From the results ofexperiments and testing of these methods resulted in an increase in training timespeed of up to 1.7x on the CIFAR-10 dataset and 1.5x on the CIFAR-100 datasetand can improve DenseNet accuracy. Memory management used can save GPUmemory up to 30% when compared to native DenseNet. The dataset used usesCIFAR-10 and CIFAR-100 datasets. The application of the batching strategymethod is proven to be able to produce acceleration and saving of GPU memory. |
 T-Ari Nugroho.pdf :: Unduh
|
| No. Panggil : | T-Pdf |
| Entri utama-Nama orang : | |
| Entri tambahan-Nama orang : | |
| Entri tambahan-Nama badan : | |
| Subjek : | |
| Penerbitan : | [Place of publication not identified]: [Publisher not identified], 2020 |
| Program Studi : |
| Bahasa : | ind |
| Sumber Pengatalogan : | LibUI ind rda |
| Tipe Konten : | text |
| Tipe Media : | computer |
| Tipe Carrier : | online resource |
| Deskripsi Fisik : | xiii, 60 pages : illustration ; 28 cm. + appendix |
| Naskah Ringkas : | |
| Lembaga Pemilik : | Universitas Indonesia |
| Lokasi : | Perpustakaan UI, Lantai 3 |
| No. Panggil | No. Barkod | Ketersediaan |
|---|---|---|
| T-Pdf | 15-21-693927392 | TERSEDIA |
| Ulasan: |
| Tidak ada ulasan pada koleksi ini: 20507953 |
