Analisis Efektivitas GAN dalam Meningkatkan Akurasi Deteksi Tuna Rungu dengan Menggunakan Data Audio dan Visual
Analysis of GAN Effectiveness in Improving Hearing Impaired Detection Accuracy Using Audio and Visual Data
Keywords:
Augmentasi Data, Data Audio-Visual, Deteksi Gangguan Pendengaran, Generative Adversarial NetworksAbstract
Penelitian ini menganalisis efektivitas Generative Adversarial Networks (GAN) dalam meningkatkan akurasi deteksi tuna rungu dengan menggunakan data audio dan visual. Data yang digunakan dalam penelitian ini meliputi rekaman video dari individu non-tunarungu yang diperoleh dari GRID Corpus dan individu tunarungu yang dikumpulkan dari YouTube dan SLB Islam As-Syafi'iyah. Tahapan penelitian melibatkan beberapa langkah, yaitu pengumpulan data, preprocessing, augmentasi data, pembangunan model, pelatihan model, dan evaluasi model. Hasil penelitian menunjukkan bahwa model GAN mampu meningkatkan akurasi deteksi tunarungu secara signifikan dengan menggunakan data visual dan audio visual. Model ini berhasil mencapai nilai Area Under Curve (AUC) sebesar 0,97, yang jauh lebih tinggi dibandingkan dengan model visual konvensional yang hanya mencapai AUC sebesar 0,52. Temuan ini menegaskan potensi besar penggunaan GAN dalam pengembangan sistem pendeteksian tuna rungu yang lebih andal dan efektif. Dengan demikian, penelitian ini memberikan dasar yang kuat untuk eksplorasi lebih lanjut tentang penggunaan metode pembelajaran mendalam dalam deteksi gangguan pendengaran, serta membuka peluang untuk inovasi di bidang teknologi kesehatan. Hasil yang diperoleh juga menunjukkan bahwa integrasi data audio dan visual dapat memberikan informasi yang lebih komprehensif dalam sistem deteksi.
References
W. H. O. (WHO), “Global Prevalence of Hearing Loss,” World Health Organization (WHO), 2024. https://www.who.int/news-room/fact-sheets/detail/deafness-and-hearing-loss
Asha, “Hearing Loss in Children: Prevalence and Impact,” American Speech-Language-Hearing Association (ASHA), 2023. https://www.asha.org/
L. Cai, Z. Zhang, Q. Li, and L. Zhang, “Data augmentation based on conditional generative adversarial networks for lesion classification in ultrasound images,” J. Biotech Res., pp. 112–125, 2024.
H. Phan et al., “Improving GANs for Speech Enhancement,” IEEE Signal Process. Lett., vol. 27, pp. 1700–1704, 2020, doi: 10.1109/LSP.2020.3025020.
A. A. Praramadhan dan G. E. Saputra, "Cycle Generative Adversarial Networks Algorithm with Style Transfer for Image Generation," Proceedings of the International Conference on Computer Science and Information Technology, 2021.
A. Satriawan, B. Imran, dan S. Erniwati, "Identifikasi Kemiripan Foto Asli dan Sketsa Menggunakan Model Generative Adversarial Networks (GANs)," Jurnal Teknologi Informasi dan Komunikasi, vol. 8, no. 2, pp. 55-63, 2023.
A. You, J. K. Kim, I. H. Ryu, dan T. K. Yoo, "Application of Generative Adversarial Networks (GAN) for Ophthalmology Image Domains: A Survey," IEEE Access, vol. 10, pp. 48065-48078, 2022.
A. Aggarwal, M. Mittal, dan G. Battinen, "Generative Adversarial Network: An Overview of Theory and Applications," Journal of Artificial Intelligence and Data Mining, vol. 9, no. 4, pp. 237-248, 2021.
G. W. Lindsay, “Convolutional Neural Networks as a Model of the Visual System: Past, Present, and Future,” J. Cogn. Neurosci., vol. 33, no. 10, pp. 2017–2031, 2021, doi: 10.1162/jocn_a_01544.
J. Qin, W. Pan, X. Xiang, Y. Tan, and G. Hou, “A biological image classification method based on improved CNN,” Ecol. Inform., vol. 58, p. 101093, 2020, doi: https://doi.org/10.1016/j.ecoinf.2020.101093.
R. A. Pangestu, B. Rahmat, dan F. T. Anggraeny, "Implementasi Algoritma CNN untuk Klasifikasi Citra Lahan dan Perhitungan Luas," Jurnal Informatika dan Sistem Informasi (JIFoSI), vol. 1, no. 1, pp. 1-6, Maret 2020.
T. A. Bowo, H. Syaputra, dan M. Akbar, "Penerapan Algoritma Convolutional Neural Network Untuk Klasifikasi Motif Citra Batik Solo," Journal of Software Engineering Ampera, vol. 1, no. 2, pp. 47-55, Juni 2020.
H. Herdianto dan D. Nasution, "Klasifikasi Objek Menggunakan Metode Convolutional Neural Network (CNN)," SNASTIKOM Ke 9, pp. 12-18, Oktober 2022.
F. Charli, H. Syaputra, M. Akbar, S. Sauda, dan F. Panjaitan, "Implementasi Metode Faster Region Convolutional Neural Network (Faster R-CNN) Untuk Pengenalan Jenis Burung Lovebird," Journal of Information Technology Ampera, vol. 1, no. 3, pp. 19-25, Desember 2020.
Md. A. Hossain dan Md. S. A. Sajib, "Classification of Image using Convolutional Neural Network (CNN)," Global Journal of Computer Science and Technology: D Neural & Artificial Intelligence, vol. 19, no. 2, 2019.
Vika Vitaloka Pramansah, Dadang Iskandar Mulyana, Titi Silfia, Rudi Tri Jaya, (2022). "Penciptaan Karakter Anime Otomatis Dengan Menggunakan Generative Adversarial Networks," Jurnal Teknik Elektro dan Komputasi (ELKOM) Volume 4 Nomor 1, Maret 2022.
Tati Suprapti, Dian Ade Kurnia, Doni Anggara, Rananda Deva Rian, Aldi Setiawan, (2022). "Implementasi Generative Adversarial Networks (GANs) Sistem Presensi Berbasis Deteksi Wajah (SIDEWA)," Jurnal Teknologi Informasi Komunikasi Vol. 9 No. 2.
Heskyel Pranata Tarigan, (2023). "Design And Implementation Of Adversarial Neural Network For Voice Data Processing," Jurnal Komputer Indonesia.
Idriss Moussa Idriss, (2021). "Blind Motion Image Deblurring Using Canny Edge Detector with Generative Adversarial Networks," Research Paper, 2021.
Avin Maulana, Chastine Fatichah, Dan Nanik Suciati, (2020). "Facial Inpainting Pada Citra Wajah Unaligned Menggunakan Generative Adversarial Network Dengan Feature Reconstruction Loss," Juti: Jurnal Ilmiah Teknologi Informasi, Vol. 18 No. 2, Juli 2020.
