Perbandingan Kinerja Model Transformer Berbahasa Indonesia pada Analisis Sentimen Komentar YouTube Penutupan Selat Hormuz

Performance Comparison of Indonesian Transformer Models for Sentiment Analysis of YouTube Comments on Strait of Hormuz Closure

Abstract

Analisis sentimen opini publik di media sosial terhadap isu geopolitik menghadapi berbagai tantangan, seperti penggunaan istilah teknis, bahasa informal, serta ketidakseimbangan distribusi kelas data. Penelitian ini membandingkan kinerja tiga model Transformer berbahasa Indonesia, yaitu IndoBERT, IndoRoBERTa, dan IndoBERTweet, dalam mengklasifikasikan sentimen komentar YouTube terkait isu penutupan Selat Hormuz. Sebanyak 10.990 komentar yang telah melalui tahap preprocessing dan pelabelan menggunakan kombinasi pendekatan leksikon serta IndoRoBERTa digunakan sebagai dataset penelitian. Setiap model dievaluasi pada skenario baseline dan modified yang mencakup penerapan class weight, dropout, dan weight decay, dengan metrik evaluasi berupa accuracy, precision, recall, F1-score, confusion matrix, dan ROC-AUC. Hasil pengujian menunjukkan bahwa pada skenario baseline, IndoBERT memperoleh kinerja terbaik dengan accuracy 0,90 dan macro F1-score 0,89, melampaui IndoRoBERTa (0,86 dan 0,85) serta IndoBERTweet (0,88 dan 0,88). Penerapan modifikasi semakin meningkatkan performa IndoBERT dengan kenaikan macro F1-score menjadi 0,90, peningkatan F1-score kelas positif dari 0,88 menjadi 0,92, serta ROC-AUC kelas positif dari 0,9810 menjadi 0,9827. Sebaliknya, modifikasi yang sama tidak memberikan peningkatan signifikan pada IndoRoBERTa maupun IndoBERTweet. Temuan ini menunjukkan bahwa Modified IndoBERT merupakan model yang paling robust dan efektif untuk analisis sentimen pada domain geopolitik internasional berbahasa Indonesia.