"
ABSTRAKSistem Temu Kembali Informasi (STKI) tradisional tidak cukup lagi untuk memenuhi kebutuhan informasi pengguna. Volume dan struktur informasi multimedia mengalami peningkatan yang tidak terpikirkan dan terdapat hubungan semantik antar-media. Untuk menemukan kembali informasi semantik antar-media adalah sebuah tantangan. Tulisan ini mengeksplorasi Sistem Temu Kembali Informasi Multimedia Terpadu Berbasis Konsep (STKIM-TBK). STKIM-TBK menggunakan hubungan semantik antar-media informasi dan teknik deep learning untuk mengungkap struktur informasi multimedia yang mungkin ada. Penelitian ini mengusulkan solusi untuk mengakses berbagai koleksi objek multimedia terdistribusi dan menyajikan secara komprehensif objek warisan budaya dalam empat jenis media, teks, gambar, audio, dan video yang direpresentasikan sebagai Konsep. STKIM-TBK menggunakan ontologi untuk menyediakan kosa kata, struktur informasi, dan membangun hubungan antar-konsep pada media yang berbeda. Koleksi objek warisan budaya digunakan sebagai domain penelitian ini. Relasi Ontologi STKIM-TBK memiliki tiga proses utama; Pertama adalah Proses Pengindeksan yang terdiri dari mengumpulkan objek multimedia, pembuatan dataset, mengekstraksi deskrispsi teks dan fitur multimedia dan mengklasifikasikan konsep-konsep dengan Convolutional Neural Network (CNN) dan Recurrent Neural Network (RNN). Objek-objek dalam Konsep terklasifikasi diindeks dan disimpan pada Objek Terindeks. Kedua adalah Pemrosesan Kueri yang terdiri dari penginputan objek multimedia dan mengenalinya sebagai objek dalam suatu konsep terklasifikasi. Ketiga adalah Proses Temu Kembali yang mencocokkan objek terklasifikasi dari input multimedia pada Pemrosesan Kueri dengan Objek-objek dalam Objek Terindeks menggunakan Skema Ontologi. Pengindeksan Terpadu membuat model pengklasifikasi multimedia untuk mengenali dan mengklasifikasi teks, citra, audio, dan video dengan melatih tiga lapisan arsitektur CNN dan 50 lapisan arsitektur RNN menggunakan dataset enam objek pada empat media dari tiga etnis di Indonesia. STKIM-TBK yang merepresentasi konsep dapat mewakili semua fitur dari empat media sekaligus. Skema Ontologi menggunakan teknik Desain Ontologi Sederhana untuk mengorganisasi konsep-konsep terkait dengan konsep yang lain pada etnis yang sama. Relasi Ontologi STKIM-TBK menunjukkan kemampuan sistem mengekstraksi fitur dari empat representasi media menjadi suatu Konsep dan meningkatkan fleksibilitas struktur klasifikasi warisan budaya UNESCO untuk mencari objek terkait yang lebih banyak.
ABSTRACTTraditional Information Retrieval System is no longer sufficient to satisfy the information need of users. The volume and structure of multimedia information mounted unthinkable, and the semantic relationship among media exists. To retrieve information which semantically intact among media is a challenge. This study explores the Unified Concept-Based Multimedia Information Retrieval System (UCB-MIRS). The UCB-MIRS employs ontological relationship among media of information and deep learning technique to uncover the structure of multimedia information that may exist. It proposes a solution to access various distributed multimedia object collection and present comprehensive media of cultural heritage in four types of media, text, image, audio, and video that represent as a Concept. The UCB-MIRS use an ontology to provide vocabularies, information structure and create relationship among concepts at different media. The collection of cultural heritage object used as a domain research. Ontological relationship in UCB-MIRS has three main processes; the first is Indexing Process which consist of collecting multimedia object, creating a dataset, extracting multimedia textual description and features, then classifying concepts with Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN). The object in the classified concepts are indexed and stored on Object Indexed. The second is Query Processing which consist of inputting multimedia object and recognizing it as an object in classified concepts. The third is Retrieval Process which is matching the the classified object of multimedia input on Query Processing and object in the Object Indexed using Ontology Schema. In Unified indexing, multimedia classifier model recognize and classify text, images, audio and video by training three layers of CNN architecture and 50 layers of RNN architecture using six objects dataset in four media from three ethnicities in Indonesia. UCB-MIRS can represent all features of four media. The ontology using Simple Design Ontology technique to organizes concepts related to another concept in the same ethnics. Ontological relationship in UCB-MIRS shows the capability of the system to extract features of four media representation to become a concept and increasing the flexibility structure of UNESCO cultural heritage classification to find the more related object."
