Hasil Pencarian  ::  Simpan CSV :: Kembali

Hasil Pencarian

Ditemukan 106214 dokumen yang sesuai dengan query
cover
Aldi
"Mempelajari bahasa isyarat bukanlah sesuatu yang mudah. Untuk membantu mempelajari bahasa isyarat, muncul penelitian mesin translasi gerakan isyarat menjadi teks yang dapat dibaca. Untuk penggunaan secara luas, terdapat mesin translasi gerakan isyarat menjadi teks memanfaatkan telepon pintar. Hasil teks yang dihasilkan oleh mesin translasi bergantung terhadap masukkan rangkaian gerakan isyarat. Masukkan ini dapat diperoleh melalui rekaman kamera telepon pintar. Ketika gerakan isyarat bergerak lebih cepat dibandingkan penangkapan bingkai oleh kamera, hasil rekaman menjadi kabur. Rekaman yang kabur akan membuat mesin translasi tidak dapat melakukan prediksi dengan baik. Salah satu solusi untuk mengurangi kabur pada gambar adalah dengan melakukan deblurring. Penelitian ini akan menggunakan metode DeblurGAN-v2 untuk mengurangi tingkat kabur pada bingkai dan menguji hasilnya pada mesin translasi gerakan isyarat SIBI ke teks. Mesin translasi gerakan isyarat SIBI ke teks memperoleh hasil teks yang cukup baik pada data berlatar belakang hijau. Hasil Nugraha dan Rakun (2022) memperoleh 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), dan TC (Time Computation) menggunakan RetinaNet sebesar 0.038 detik per frame pada data berlatar belakang hijau. Hasil evaluasi juga menemukan kekurangan kualitas hasil prediksi dikarenakan masukkan bingkai yang kabur. Penelitian ini mencoba mengatasi masalah bingkai yang kabur dengan menggabungkan metode deblurring ke dalam sistem mesin translasi gerakan isyarat dan mengukur kinerja dengan WER, SAcc, dan TC. Terjadi penambahan TC akibat penambahan metode deblurring, dan untuk mengurangi TC, digunakan nilai ambang batas agar tidak semua bingkai di-deblur. Peneliti menemukan bahwa dengan menambahkan proses deblurring, terjadi peningkatan kinerja mesin translasi gerakan isyarat dari 2.37% WER dan 87.85% SAcc menjadi 1.95% WER dan 89.28% SAcc (tanpa ambang batas) dan 1.96% WER dan 89.28% SAcc (dengan ambang batas) pada data berlatar belakang hijau. Mesin translasi gerakan isyarat menjadi teks tanpa metode deblurring memerlukan TC 0.8036 detik per frame dan setelah menambahkan metode deblurring menjadi 0.8650 detik per frame (tanpa ambang batas) dan 0.8436 detik per frame (dengan ambang batas).

Learning sign language isn’t something easy to do. To help learning sign language, born machine sign language translation to text that can be read. For widely usage, there is a machine for translating gestures into text using a smartphone. Text result from machine translation depend on input sign language sequence frame. This input can be obtain from smartphone video recording. When sign language movement is faster than camera frame rate, recording result become blurry. Blurry record will make machine translation can’t make good prediction. One of the solution to reduce blur on the image is by doing deblurring. This research will use DeblurGAN-v2 as method to reduce image blurry rate on frame and test it on machine sign language SIBI translation to text. Machine sign language SIBI translation to text gain good text result on greenscreen background. Result Nugraha dan Rakun (2022) obtain 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), and TC (Time Computation) using RetinaNet at 0.038 seconds per frame on background greenscreen data. Evaluation result also found a lack of of predictive quality due to blurred frame input. This research attempts to overcome the blurred frame problem by combining deblurring method to inside machine sign language translation system and measure performance with WER, SAcc, and TC. There is an addition of TC due to the addition of the deblurring method and to reduce TC, a threshold value is used so not all frames are deblurred. The researcher found that by adding deblurring process, there was an improvement on machine sign language translation from 2.37% WER and 87.85% SAcc to 1.95% WER and 89.28% SAcc (without threshold) and 1.96% WER and 89.28% SAcc (with threshold) on background greenscreen data. Machine for translating gestures into text without deblurring method need TC 0.8036 seconds per frame and after adding deblurring method become 0.8650 seconds per frame (without threshold) and 0.8436 seconds per frame (with threshold).
"
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Alvin Subakti
"Text clustering adalah teknik pengelompokan teks sehingga teks di dalam kelompok yang sama memiliki tingkat similaritas yang lebih tinggi satu sama lain dibandingkan dengan teks pada kelompok yang berbeda. Proses pengelompokkan teks secara manual membutuhkan waktu dan sumber daya yang banyak sehingga digunakan machine learning untuk melakukan pengelompokan secara otomatis. Representasi dari teks perlu diekstraksi sebelum dimasukkan ke dalam model machine learning. Metode yang umumnya digunakan untuk mengekstraksi representasi data teks adalah TFIDF. Namun, metode TFIDF memiliki kekurangan yaitu tidak memperhatikan posisi dan konteks penggunaan kata. Model BERT adalah model yang dapat menghasilkan representasi kata yang bergantung pada posisi dan konteks penggunaan suatu kata dalam kalimat. Penelitian ini menganalisis kinerja model BERT sebagai metode representasi data teks dengan membandingkan model BERT dengan TFIDF. Selain itu, penelitian ini juga mengimplementasikan dan membandingkan kinerja metode ekstraksi dan normalisasi fitur yang berbeda pada representasi teks yang dihasilkan model BERT. Metode ekstraksi fitur yang digunakan adalah max dan mean pooling. Sementara itu, metode normalisasi fitur yang digunakan adalah identity, layer, standard, dan min-max normalization. Representasi teks yang diperoleh dimasukkan ke dalam 4 algoritma clustering berbeda, yaitu k-means clustering, eigenspace-based fuzzy c-means, deep embedded clustering, dan improved deep embedded clustering. Kinerja representasi teks dievaluasi dengan menggunakan metrik clustering accuracy, normalized mutual information, dan adjusted rand index. Hasil simulasi menunjukkan representasi data teks yang dihasilkan model BERT mampu mengungguli representasi yang dihasilkan TFIDF pada 28 dari 36 metrik. Selain itu, implementasi ekstraksi dan normalisasi fitur yang berbeda pada model BERT memberikan kinerja yang berbeda-beda dan perlu disesuaikan dengan algoritma yang digunakan.

Text clustering is a task of grouping a set of texts in a way such that text in the same group will be more similar toward each other than to those from different group. The process of grouping text manually requires significant amount of time and labor. Therefore, automation utilizing machine learning is necessary. Text representation needs to be extracted to become the input for machine learning models. The common method used to represent textual data is TFIDF. However, TFIDF cannot consider the position and context of a word in a sentence. BERT model has the capability to produce text representation that incorporate position and context of a word in a sentence. This research analyzed the performance of BERT model as a text representation method by comparing it with TFIDF. Moreover, various feature extraction and normalization methods are also applied in text representation from BERT model. Feature extraction methods used are max and mean pooling. On the other hand, feature normalization methods used are identity, layer, standard, and min-max normalization. Text representation obtained become an input for 4 clustering algorithms, k-means clustering, eigenspace-based fuzzy c-means, deep embedded clustering, and improved deep embedded clustering. Performance of text representations in text clustering are evaluated utilizing clustering accuracy, normalized mutual information, and adjusted rand index. Simulation results showed that text representation obtained from BERT model outperforms representation from TFIDF in 28 out of 36 metrics. Furthermore, different feature extraction and normalization produced varied performances. The usage of these feature extraction and normalization must be altered depending on the text clustering algorithm used."
Depok: Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Indonesia, 2021
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
M. Fatkhul Amin
"Event Extraction merupakan salah satu tugas dalam sistem ekstraksi informasi yang bertujuan untuk menemukan kumpulan informasi event dari suatu dokumen. Informasi tersebut dapat berupa informasi pihak-pihak yang terlibat, tempat kejadian, waktu, dan segala informasi yang terkait dengan event. Penelitian ini bertujuan untuk melakukan proses ekstraksi event (event pertemuan) pada teks berbahasa Indonesia. Dari event pertemuan tersebut, informasi yang dicari adalah informasi pihak yang terlibat (person), tempat (location), serta waktu (time) terjadinya event. Ekstraksi dilakukan dengan menggunakan pendekatan machine learning. Sedangkan metode machine learning yang digunakan adalah association rules, decision tree, dan neural networks. Penelitian bertujuan untuk melihat perbandingan kinerja ketiga metode tersebut terhadap ekstraksi event. Uji coba dilakukan pada artikel-artikel media massa online dari Kompas, Jawa Pos, Republika, dan Sinar Harapan. Pada ekstraksi event, diketahui bahwa metode decision tree menunjukkan kinerja yang lebih baik dibandingkan metode association rules dan metode neural networks dengan F-measure mencapai 83,95%. Metode association rules menunjukkan kinerja yang lebih baik dibandingkan dengan metode neural networks dengan F-measure masing-masing sebesar 82,41% dan 81,57%."
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2006
S-Pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Michellain Millenia Setyowardhani
"Saat ini geosaintis memasuki era big data dan pembelajaran mesin memberikan potensi besar untuk berkontribusi dalam masalah geosains (Karpatne dkk., 2017). Automasi dalam analisis fasies perlu dilakukan untuk meningkatkan keakuratan, juga mengurangi waktu dan biaya dalam kegiatan pengembangan sumur sehingga dapat meningkatkan hasil produksi. Penelitian dilakukan menggunakan data log sumur pengeboran, laporan deskripsi batuan inti, dan deskripsi petrografi di reservoir gas Lapangan X. Akumulasi gas berada di reservoir utama hasil endapan vulkaniklastik pada Formasi Pucangan. Proses pengelompokan dilakukan menggunakan algoritma K-Means dan di analisis menggunakan Cutoff Crossplot. Kemudian dilanjutkan dengan klasifikasi yang dilakukan menggunakan pembelajaran tersupervisi dengan jenis algoritmaSupport Vector Machine (SVM), Random Forest, dan Extreme Gradient Boosting (XGBoost). Lokasi penelitian berada di wilayah kerja Minarak Brantas Gas Inc (MBGI) Kabupaten Sidoarjo, Jawa Timur. Lapangan X terletak pada reservoir vulkaniklastikberumur Pleistosen dan terletak di onshore Cekungan Jawa Timur. Interval produksi berada di bagian bawah yang terendapkan di lingkungan neritik luar atau lingkungan turbiditik. Lapangan X terdiri dari empat fasies yaitu, batulempung, batulanau, batupasirvulkanik, dan batupasir karbonatan. Algoritma pembelajaran mesin yang paling baik digunakan untuk identifikasi fasies pada Lapangan X adalah RandomForest dengan hasil akurasi f1-score tertinggi, dan nilai RMSE (Root Mean Square Error) paling rendah dibandingkan kedua algoritma lain.

Geoscientists are currently entering the era of big data and machine learning provides great potential to contribute to geoscience problems (Karpatne et al., 2017). Automation in facies analysis needs to be done to increase accuracy, also reduce time and costs in well development activities so as to increase production yields. The research was conducted using drilling well log data, core rock description reports, and petrographic descriptions of gas reservoirs in Field X. Gas accumulation is in the main reservoir as a result of volcaniclastic deposits in the Pucangan Formation. The clustering process was carried out using the K-Means algorithm and analyzed using the Cutoff Crossplot. Then proceed with the classification which is carried out using supervised learning with the types of Support Vector Machine (SVM), Random Forest, and Extreme Gradient Boosting (XGBoost) algorithms. The research location is in the working area of ​​Minarak Brantas Gas Inc. (MBGI) Sidoarjo Regency, East Java. Field X is in a Pleistocene volcaniclastic reservoir and is locatedonshore in the East Java Basin. The production interval is at the bottom which is deposited in an outer neriticenvironment or a turbiditic environment. Field X consists of four facies, namely, claystone, siltstone, volcanic sandstone, and carbonate sandstone. The bestmachine learning algorithm used for faciesidentification in Field X is Random Forest with thehighest f1-score accuracy, and the lowest RMSE (RootMean Square Error) value compared to the other two algorithms.
"
Depok: Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Indonesia, 2022
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Yovan Yudhistira Widyananto
"Keamanan privasi data dan informasi dalam internet sering menjadi topik pembahasan dari waktu ke waktu, hal ini dikarenakan metode penyerangan siber selalu berevolusi menyesuaikan dengan struktur keamanan yang ada, menjadikan bidang keamanan siber menjadi bagaikan kompetisi untuk selalu lebih dahulu dari lawannya. Salah satu contoh implementasi keamanan siber merupakan Intrusion Detection System, dikenal juga dengan IDS. IDS dapat membantu menjaga sebuah jaringan dengan mendeteksi jika ada tanda-tanda penyerangan, namun dengan ini saja tidak cukup untuk memaksimalkan keamanan sebuah jaringan. Dari dasar IDS ini, sebuah proyek mencoba mengembangkan konsepnya dan membuat struktur besar, dan berhasil diciptakan proyek Mata Elang. Struktur Mata Elang dapat menjadi perantara antara internet dengan jaringan yang dilindunginya, dan ketika terjadi serangan, aktivitas tersebut akan dideteksi, ditahan, dan diproses oleh Mata Elang. Sistem deteksi Mata Elang bergantung kepada framework Snort. Sayangnya, Snort tidak memiliki kemampuan untuk beradaptasi di luar dari konfigurasi yang telah diberikan kepadanya. Dalam penelitian ini, penulis akan mengimplementasikan Machine Learning untuk meningkatkan keamanan yang diberikan pada proyek Mata Elang, spesifiknya pada sensornya yang menggunakan Snort. Setelah segala proses perancangan, pembuatan, dan pengujian telah dilakukan, hasil akhir yang didapatkan dari sistem Machine Learning merupakan sistem prediksi yang memuaskan untuk memprediksi kategori serangan bahkan dengan dukungan data yang lemah, namun kemampuan dari aturan Snort yang dihasilkan masih belum diuji dengan matang.

The talk about the security of private data and information will continue to be a relevant topic because of the nature of the concept. Cyberattacks have always been adapting according to the technology and structure that exists at the time, and so cybersecurity will continue to be a competition for gaining the advantage against their contrarian. One of the prime examples in cybersecurity implementation is Intrustion Detection Systems, also known as the shortened term, IDS. IDS can help guard a network by detecting different kinds of anomalies or attacks, although this alone wouldn’t be enough to maximize the level of proper security necessary for a whole network. Under the basic concept of IDS, a project attempts to develop an IDS and create a larger structure. The project was successfully implemented and now titled as Mata Elang. Mata Elang’s structure is an intermediary between an internet connection and the network it is connected to, and when an attack happens, those activities will be detected, interrupted, and then processed by Mata Elang. Mata Elang’s detection system completely relies on the framework Snort. Unfortunately, Snort does not have the capabilities to adapt outside the configurations that has been given to it. In this research, the writer will implement Machine Learning to further increase the security provided by Mata Elang, specifically on the sensors that uses Snort. After every step of the planning, making, and testing has been done the final result of the product was a Machine Learning system that has a satisfactory performance in categorizing the attacks, even with a weak supporting data, however the performance of the snort rules generated by it has not been tested thoroughly.
"
Depok: Fakultas Teknik Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Alifian Atras Timur
"Virus Dengue merupakan virus endemik yang telah ada sejak abad ke 15. Virus Dengue memiliki 4 varian, dan keempat varian tersebut beredar secara bebas di Indonesia. Kasus demam berdarah di Indonesia telah mencapai 131.265 kasus pada tahun 2022. Hingga saat ini, belum ditemukan obat ataupun vaksin yang efektif dalam mencegah persebaran dan mengobati penyakit demam berdarah. Senyawa flavonoid diketahui memiliki sifat antioksidan, antikanker, dan sifat inhibisi virus. Salah satu virus yang berpotensi untuk di inhibisi adalah virus Dengue. Namun, dengan ribuan senyawa yang termasuk ke dalam senyawa flavonoid, dibutuhkan waktu lama untuk melakukan pengujian baik secara in vitro ataupun in vivo. Salah satu cara untuk mempercepat proses penemuan senyawa inhibitor potensial adalah metode in silico, dengan metode yang umum digunakan adalah penambatan molekuler. Namun, proses penambatan molekuler juga masih tetap membutuhkan waktu yang lama. Pada penelitian ini, dilakukan prediksi skor penambatan menggunakan metode pembelajaran mesin (machine learning). Data skor penambatan didapat dengan penambatan molekuler menggunakan aplikasi Autodock Vina. Dikembangkan empat model pembelajaran mesin, yakni K-Nearest Neighbor, Xtra Trees, Xtreme Gradient Boosting, dan Artificial Neural Network. Agar komputer dapat mengenali senyawa flavonoid, digunakan deskriptor AlvaDesc dan SMILES. Dari model yang dikembangkan, diambil hasil berupa akurasi dan waktu pelatihan model, dan kemudian dilakukan perbandingan dari setiap model yang dikembangkan beserta deskriptor yang digunakan. Hasil penelitian menunjukkan deskriptor AlvaDesc memiliki akurasi yang lebih tinggi dan waktu pengembangan yang lebih singkat dibandingkan dengan deskriptor SMILES. Model Xtreme Gradient Boosting dengan deskriptor AlvaDesc memiliki performa terbaik dengan akurasi 88,06% dan waktu pelatihan selama 2 menit 40 detik. Model Xtreme Gradient Boosting dengan deskriptor AlvaDesc juga dapat memprediksi skor penambatan senyawa propolis dengan rata-rata perbedaan hasil prediksi dengan nilai aktual sebesar 0,3517428866.

Dengue virus is an endemic virus that exist since the 15th century. Dengue Virus has 4 variants, and all of them exist in Indonesia. Dengue virus case reached over 131,265 cases in 2022 alone. Until now, there are no proven and effective drug or vaccine that can prevent the spread and infection of Dengue virus. Flavonoid compounds are known to have antioxidant and anticancer properties. In some cases, Flavonoid is also exhibit antivirus properties against some virus, one of them being Dengue virus. However, with thousands of compounds classified as flavonoid, it will take significant amount of time to discover and develop the drug for Dengue virus, both with in vitro and in vivo method. Alternative method to speed up the drug discovery process is to utilize in silico or simulation method. One of the method is to use molecular docking. Nevertheless, this method still take considerable amount of time to find the suitable compound. In this research, we will examine the usage of machine learning to predict the docking score of flavonoid compound. Docking score data are retrieved from the moelcaular docking with Autodock Vina application. In this research, four models are developed, K-Nearest Neighbor, Xtra Trees, Xtreme Gradient Boosting, and Artificial Neural Network models. The molecular descriptors that used in this research are AlvaDesc and SMILES. From the developed model, the accuracy and training time of the model will be collected and will be analyzed in relation with their model and descriptor that is used. Result shows that AlvaDesc more suitable to be used as descriptor, because of the higher model accuracy and lower training time compared to the SMILES model. XGB Regressor model with Alvadesc descriptor shows the best performance with accuracy of 88.02% and training time of 2 minutes and 40 seconds. The XGB Regressor model is also able to accurately predict the docking score of Propolis compounds with the mean value of the difference between the predicted and actual result value of 0,,3517428866.
"
Depok: Fakultas Teknik Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Nofa Aulia
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2019
T51811
UI - Tesis Membership  Universitas Indonesia Library
cover
Hakim Amarullah
"Proses training model membutuhkan sumber daya komputasi yang akan terus meningkat seiring dengan bertambahnya jumlah data dan jumlah iterasi yang telah dicapai. Hal ini dapat menimbulkan masalah ketika proses training model dilakukan pada lingkungan komputasi yang berbagi sumber daya seperti pada infrastruktur komputasi berbasis klaster. Masalah yang ditimbulkan terutama terkait dengan efisiensi, konkurensi, dan tingkat utilisasi sumber daya komputasi. Persoalan efisiensi muncul ketika sumber daya komputasi telah tersedia, tetapi belum mencukupi untuk kebutuhan job pada antrian ter- atas. Akibatnya sumber daya komputasi tersebut menganggur. Penggunaan sumber daya tersebut menjadi tidak efisien karena terdapat kemungkinan sumber daya tersebut cukup untuk mengeksekusi job lain pada antrian. Selain itu, pada cluster computing juga mem- butuhkan sistem monitoring untuk mengawasi dan menganalisis penggunaan sumber daya pada klaster. Penelitian ini bertujuan untuk menemukan resource manager yang sesuai untuk digunakan pada klaster komputasi yang memiliki GPU agar dapat meningkatkan efisiensi, implementasi sistem monitoring yang dapat membantu analisis penggunaan sumber daya sekaligus monitoring proses komputasi yang sedang dijalankan pada klaster, dan melayani inference untuk model machine learning. Penelitian dilakukan dengan cara menjalankan eksperimen penggunaan Slurm dan Kubernetes. Hasil yang diperoleh adalah Slurm dapat memenuhi kebutuhan untuk job scheduling dan mengatur penggunaan GPU dan resources lainnya pada klaster dapat digunakan oleh banyak pengguna sekaligus. Sedangkan untuk sistem monitoring, sistem yang dipilih adalah Prometheus, Grafana, dan Open OnDemand. Sementara itu, sistem yang digunakan untuk inference model adalah Flask dan Docker.

The amount of computational power needed for the model training process will keep rising along with the volume of data and the number of successful iterations. When the model training process is conducted in computing environments that share resources, such as on cluster-based computing infrastructure, this might lead to issues. Efficiency, competition, and the level of resource use are the three key issues discussed.Efficiency problems occur when there are already computing resources available, yet they are insufficient to meet the demands of high-level workloads. The power of the machine is subsequently wasted. The utilization of such resources becomes inefficient because it’s possible that they would be adequate to complete other tasks on the front lines. A monitoring system is also necessary for cluster computing in order to track and assess how resources are used on clusters. The project seeks to set up a monitoring system that can assist in analyzing the usage of resources while monitoring the com- puting processes running on the cluster and locate a suitable resource manager to be utilized on a computing cluster that has a GPU in order to increase efficiency, also serve inference model in production. Slurm and Kubernetes experiments were used to conduct the investigation. The findings show that Slurm can handle the demands of job scheduling, manage the utilization of GPUs, and allow for concurrent use of other cluster resources. Prometheus, Grafana, and Open OnDemand are the chosen moni- toring systems. Else, inference model is using Flask and Docker as its system constructor.
"
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Muhammad Anis Abdul Aziz
"Proses training model membutuhkan sumber daya komputasi yang akan terus meningkat seiring dengan bertambahnya jumlah data dan jumlah iterasi yang telah dicapai. Hal ini dapat menimbulkan masalah ketika proses training model dilakukan pada lingkungan komputasi yang berbagi sumber daya seperti pada infrastruktur komputasi berbasis klaster. Masalah yang ditimbulkan terutama terkait dengan efisiensi, konkurensi, dan tingkat utilisasi sumber daya komputasi. Persoalan efisiensi muncul ketika sumber daya komputasi telah tersedia, tetapi belum mencukupi untuk kebutuhan job pada antrian ter- atas. Akibatnya sumber daya komputasi tersebut menganggur. Penggunaan sumber daya tersebut menjadi tidak efisien karena terdapat kemungkinan sumber daya tersebut cukup untuk mengeksekusi job lain pada antrian. Selain itu, pada cluster computing juga mem- butuhkan sistem monitoring untuk mengawasi dan menganalisis penggunaan sumber daya pada klaster. Penelitian ini bertujuan untuk menemukan resource manager yang sesuai untuk digunakan pada klaster komputasi yang memiliki GPU agar dapat meningkatkan efisiensi, implementasi sistem monitoring yang dapat membantu analisis penggunaan sumber daya sekaligus monitoring proses komputasi yang sedang dijalankan pada klaster, dan melayani inference untuk model machine learning. Penelitian dilakukan dengan cara menjalankan eksperimen penggunaan Slurm dan Kubernetes. Hasil yang diperoleh adalah Slurm dapat memenuhi kebutuhan untuk job scheduling dan mengatur penggunaan GPU dan resources lainnya pada klaster dapat digunakan oleh banyak pengguna sekaligus. Sedangkan untuk sistem monitoring, sistem yang dipilih adalah Prometheus, Grafana, dan Open OnDemand. Sementara itu, sistem yang digunakan untuk inference model adalah Flask dan Docker.

The amount of computational power needed for the model training process will keep rising along with the volume of data and the number of successful iterations. When the model training process is conducted in computing environments that share resources, such as on cluster-based computing infrastructure, this might lead to issues. Efficiency, competition, and the level of resource use are the three key issues discussed.Efficiency problems occur when there are already computing resources available, yet they are insufficient to meet the demands of high-level workloads. The power of the machine is subsequently wasted. The utilization of such resources becomes inefficient because it’s possible that they would be adequate to complete other tasks on the front lines. A monitoring system is also necessary for cluster computing in order to track and assess how resources are used on clusters. The project seeks to set up a monitoring system that can assist in analyzing the usage of resources while monitoring the com- puting processes running on the cluster and locate a suitable resource manager to be utilized on a computing cluster that has a GPU in order to increase efficiency, also serve inference model in production. Slurm and Kubernetes experiments were used to conduct the investigation. The findings show that Slurm can handle the demands of job scheduling, manage the utilization of GPUs, and allow for concurrent use of other cluster resources. Prometheus, Grafana, and Open OnDemand are the chosen moni- toring systems. Else, inference model is using Flask and Docker as its system constructor.
"
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Muhammad Fauzul Akbar
"Large Language Model (LLM) generatif merupakan jenis model machine learning yang dapat diaplikasikan dalam industri jurnalisme, khususnya dalam proses pembuatan dan validasi berita. Namun, LLM memerlukan sumber daya yang besar untuk operasionalnya serta membutuhkan waktu proses inferensi yang relatif lama. Penelitian ini bertujuan untuk mengembangkan layanan web machine learning yang memanfaatkan LLM generatif untuk proses pembuatan dan validasi berita. Tujuan lainnya adalah menciptakan sistem dengan mekanisme manajemen beban yang efisien untuk meminimalkan waktu inferensi. Pengembangan melibatkan beberapa tahap, yakni analisis kebutuhan stakeholder, perancangan desain dan arsitektur, implementasi, serta evaluasi. Dalam implementasi layanan web machine learning, pengembangan ini berfokus pada manajemen GPU untuk meningkatkan kecepatan proses inferensi LLM. Selain itu, dilakukan implementasi design pattern untuk meningkatkan skalabilitas dalam penambahan model machine learning. Untuk manajemen beban, dikembangkan dua mekanisme, yaitu load balancer dan scheduler. Implementasi load balancer memanfaatkan NGINX dengan metode round-robin. Sedangkan untuk scheduler, digunakan RabbitMQ sebagai antrean, dengan publisher menerima permintaan dan subscriber mendistribusikan permintaan ke layanan yang tersedia. Berdasarkan API Test, layanan ini berhasil melewati uji fungsionalitas dengan waktu respons API sekitar 1-2 menit per permintaan. Evaluasi performa pada kedua mekanisme manajemen beban menunjukkan tingkat keberhasilan 100%, dengan waktu respon rata-rata meningkat seiring dengan peningkatan jumlah request per detik. Pengelolaan beban dengan load balancer menghasilkan waktu respon yang lebih cepat, sementara pengelolaan beban dengan scheduler menghasilkan mekanisme yang lebih efektif pada proses koneksi asinkron.

Generative Large Language Model (LLM) is a type of machine learning model that can be applied in the journalism industry, especially in the process of news generation and validation. However, LLM requires large resources for its operation and requires a relatively long inference process time. This research aims to develop a machine learning web service that utilizes generative LLM for news generation and validation. Another goal is to create a system with an efficient load management mechanism to minimize inference time. The development involves several stages, namely stakeholder needs analysis, design and architecture, implementation, and evaluation. In the implementation of machine learning web services, this development focuses on GPU management to increase the speed of the LLM inference process. In addition, the implementation of design patterns is done to improve scalability in adding machine learning models. For load management, two mechanisms are developed: load balancer and scheduler. The load balancer implementation utilizes NGINX with the round-robin method. As for the scheduler, RabbitMQ is used as a queue, with the publisher receiving requests and the subscriber distributing requests to available services. Based on the API Test, the service successfully passed the functionality test with an API response time of about 1-2 minutes per request. Performance evaluation on both load management mechanisms showed a 100% success rate, with the average response time increasing as the number of requests per second increased. The use of a load balancer results in faster response times, while load management with a scheduler results in a more effective mechanism for asynchronous connection processes. "
Depok: Fakultas Ilmu Komputer Universitas Indonesia , 2024
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
<<   1 2 3 4 5 6 7 8 9 10   >>