Perbandingan SVM, Naive Bayes, dan KNN untuk Analisis Sentimen Tiga Kelas Bahasa Bali dengan dan Tanpa SMOTE: Comparison of SVM, Naive Bayes, and KNN for Three-Class Balinese Sentiment Analysis With and Without SMOTE

I Deny Supanji Komang; I Gede Aris Gunadi; I Made Gede Sunarya

doi:10.57152/malcom.v6i4.2917

Authors

I Deny Supanji Komang Universitas Pendidikan Ganesha Singaraja
I Gede Aris Gunadi Universitas Pendidikan Ganesha
I Made Gede Sunarya Universitas Pendidikan Ganesha

DOI:

https://doi.org/10.57152/malcom.v6i4.2917

Keywords:

Analisis Sentimen, Bahasa Bali, KNN, Naive Bayes, SMOTE, SVM

Abstract

Analisis sentimen untuk bahasa bersumber daya rendah, seperti bahasa Bali, masih jarang diteliti. Penelitian terdahulu umumnya menyederhanakan klasifikasi menjadi dua kelas sehingga mengabaikan sentimen netral dan jarang menguji strategi penanganan ketidakseimbangan kelas pada berbagai algoritma. Penelitian ini bertujuan mengevaluasi kinerja model machine learning klasik untuk klasifikasi sentimen tiga kelas dalam bahasa Bali, menentukan konfigurasi terbaik, serta menguji signifikansi statistik peningkatan kinerja akibat penanganan ketidakseimbangan kelas. Eksperimen dilakukan menggunakan dataset NusaX-senti yang terdiri atas 1.000 instans, dengan menguji 14 konfigurasi yang melibatkan Support Vector Machine (SVM), Multinomial Naive Bayes, dan K-Nearest Neighbor (KNN), representasi fitur TF-IDF dan Bag-of-Words, serta strategi baseline, SMOTE, dan class weighting. Resampling hanya diterapkan pada data latih untuk mencegah kebocoran informasi. Evaluasi menggunakan F1-makro, uji McNemar, dan confusion matrix. Hasil menunjukkan bahwa SVM dengan TF-IDF menghasilkan kinerja terbaik dengan F1-makro sebesar 74,68% pada konfigurasi baseline. SMOTE tidak meningkatkan kinerja secara signifikan pada kondisi ketidakseimbangan kelas yang ringan (p = 1,000), sedangkan pengaruhnya terhadap KNN bergantung pada metrik jarak yang digunakan. Penelitian ini memberikan evaluasi klasifikasi sentimen tiga kelas bahasa Bali yang terkendali dan teruji secara statistik, serta menunjukkan pentingnya pemilihan metrik jarak dalam klasifikasi teks berbahasa daerah.

Downloads

Download data is not yet available.

References

G. I. Winata dkk., “NusaX: Multilingual Parallel Sentiment Dataset for 10 Indonesian Local Languages,” in Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, 2023, hal. 815–834. doi: 10.18653/v1/2023.eacl-main.57.

B. Wilie dkk., “IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding,” in Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, 2020, hal. 843–857. doi: 10.18653/v1/2020.aacl-main.85.

N. K. T. A. Saputri, I. G. A. Gunadi, dan I. M. G. Sunarya, “Perbandingan Metode Analisis Sentimen Pelayanan Daring di Fakultas Teknik dan Kejuruan Universitas Pendidikan Ganesha Menggunakan Algoritma Naïve Bayes dan LSTM: Sentiment Analysis of Online Services at the Engineering and Vocational Faculty of Ganesha Education University Using Naïve Bayes and LSTM Algorithms,” MALCOM Indones. J. Mach. Learn. Comput. Sci., vol. 4, no. 3, hal. 1120–1129, 2024, doi: 10.57152/malcom.v4i3.1336.

P. Sidik, I. M. G. Sunarya, dan I. G. A. Gunadi, “Comparison of Random Forest and Support Vector Machine Methods in Sentiment Analysis of Student Satisfaction Questionnaire Comments at ITB STIKOM Bali,” J. Appl. Informatics Comput., vol. 9, no. 3, hal. 794–802, 2025, doi: 10.30871/jaic.v9i3.9617.

P. W. Ariyani, I. M. G. Sunarya, dan I. G. A. Gunadi, “Analisis Sentimen Masyarakat Terhadap Virus Corona Berdasarkan Opini dari Twitter Menggunakan Metode Naïve Bayes dan K-Nearest Neighbor,” J. Pendidik. Teknol. dan Kejuru., vol. 22, no. 2, hal. 128–138, Jul 2025, doi: 10.23887/jptk-undiksha.v22i2.103233.

P. W. A. Wibawa dan C. Pramartha, “Analisis Sentimen pada Teks Berbahasa Bali Menggunakan Metode Multinomial Naive Bayes dengan TF-IDF dan BoW,” J. Nas. Teknol. Inf. dan Apl., vol. 2, no. 1, hal. 37–46, 2023, doi: 10.24843/JNATIA.2023.v02.i01.p05.

N. P. D. A. S. Dewi, M. W. A. Kesiman, I. M. G. Sunarya, G. A. A. D. Indradewi, dan I. G. Andika, “Klasifikasi Jenis Daun Tumbuhan Herbal Berdasarkan Lontar Usada Taru Pramana Menggunakan CNN Classification of Herbal Plant Leaf Types Based on Lontar Usada Taru Pramana Using,” Techno.COM, vol. 23, no. 1, hal. 271–283, 2024, doi: 10.62411/tc.v23i1.9510.

M. A. P. Sujaya, I. M. A. Wirawan, dan G. Indrawan, “Subject Independent Emotion Recognition Using Electroencephalogram Signals with Continuous Capsule Network Method,” JUITA J. Inform., vol. 13, no. 1, hal. 37–46, 2025, doi: 10.30595/juita.v13i1.24583.

S. F. Djun, G. I. G. Aris, dan S. Sariyasa, “Analisis Segmentasi Pelanggan pada Bisnis dengan Menggunakan Metode K-Means Clustering pada Model Data RFM,” J. Teknol. Inf. dan Multimed., vol. 5, no. 4, hal. 354–364, Feb 2024, doi: 10.35746/jtim.v5i4.434.

N. V Chawla, K. W. Bowyer, L. O. Hall, dan W. P. Kegelmeyer, “SMOTE?: Synthetic Minority Over-sampling Technique,” J. Artif. Intell. Res., vol. 16, hal. 321–357, 2002, doi: https://doi.org/10.1613/jair.953.

I. P. A. Putra, I. M. A. Wirawan, dan I. G. A. Gunadi, “Improving Butterfly Fish Image Classification Accuracy using HSV Feature Extraction and SMOTE-Based Data Balancing,” INOVTEK Polbeng - Seri Inform., vol. 10, no. 3, hal. 1402–1411, Agu 2025, doi: 10.35314/vw52nn48.

R. Blagus dan L. Lusa, “SMOTE for high-dimensional class-imbalanced data,” BMC Bioinformatics, vol. 14, no. 1, hal. 106, 2013, doi: 10.1186/1471-2105-14-106.

S. F. Taskiran, B. Turkoglu, E. Kaya, dan T. Asuroglu, “A comprehensive evaluation of oversampling techniques for enhancing text classification performance,” Sci. Rep., vol. 15, hal. 21631, 2025, doi: 10.1038/s41598-025-05791-7.

E. Hossain, O. Sharif, dan M. Moshiul Hoque, “Sentiment Polarity Detection on Bengali Book Reviews Using Multinomial Naïve Bayes,” in Progress in Advanced Computing and Intelligent Engineering, 2021, hal. 281–292. doi: 10.1007/978-981-33-4299-6_23.

M. M. R. Mamun, O. Sharif, dan M. M. Hoque, “Classification of Textual Sentiment Using Ensemble Technique,” SN Comput. Sci., vol. 3, no. 1, hal. 49, 2021, doi: 10.1007/s42979-021-00922-z.

H. Aprilianti, K. Umam, dan M. R. Handayani, “Comparative Study of SVM, KNN, and Naïve Bayes for Sentiment Analysis of Religious Application Reviews,” J. Appl. Informatics Comput., vol. 9, no. 3, hal. 920–927, Jun 2025, doi: 10.30871/jaic.v9i3.9482.

M. D. Firmansyah, R. Setiawan, dan Y. Irawan, “Analisis Perbandingan Kinerja Algoritma Svm, Naïve Bayes, dan KNN dalam Klasifikasi Sentimen Ulasan Aplikasi Pinterest dengan SMOTE dan PSO,” Rabit J. Teknol. dan Sist. Inf. Univrab, vol. 11, no. 1, hal. 639–652, Jan 2026, doi: 10.36341/rabit.v11i1.7095.

A. A. G. W. S. Erlangga, I. G. A. Gunadi, dan I. M. G. Sunarya, “Kombinasi Oversampling dan Undersampling dalam Menangani Class Imbalanced dan Overlapping pada Klasifikasi Data Bank Marketing,” J. Resist. (Rekayasa Sist. Komputer), vol. 7, no. 1, hal. 32–42, 2024, doi: 10.31598/jurnalresistor.v7i1.1515.

C. Cortes dan V. Vapnik, “Support-Vector Networks,” Mach. Learn., vol. 20, no. 3, hal. 273–297, 1995, doi: 10.1007/BF00994018.

A. Mccallum dan K. Nigam, A Comparison of Event Models for Naive Bayes Text Classification. 1998.

T. Cover dan P. Hart, “Nearest Neighbor Pattern Classification,” IEEE Trans. Inf. Theory, vol. 13, no. 1, hal. 21–27, 1967, doi: 10.1109/TIT.1967.1053964.

G. Aditya, J. Satvika, I. N. Sukajaya, dan I. G. A. Gunadi, “Improving k-Nearest Neighbor Performance Using Permutation Feature Importance to Predict Student Success in Study,” Indones. J. Electr. Eng. Comput. Sci., vol. 35, no. 3, hal. 1835–1844, 2024, doi: 10.11591/ijeecs.v35.i3.pp1835-1844.

I. M. A. M. Dinata, I. G. A. Gunadi, dan I. M. G. Sunarya, “Analisis Hyperparameter pada Klasifikasi Jenis Daging Menggunakan Algoritma Convolutional Neural Network,” J-SAKTI (Jurnal Sains Komput. dan Inform., vol. 8, no. 1, hal. 25, 2024, doi: 10.30645/j-sakti.v8i1.763.

F. Pedregosa dkk., “Scikit-learn: Machine learning in Python,” J. Mach. Learn. Res., vol. 12, hal. 2825–2830, 2011, doi: 10.48550/arXiv.1201.0490.

T. G. Dietterich, “Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms,” Neural Comput., vol. 10, no. 7, hal. 1895–1923, 1998, doi: 10.1162/089976698300017197.

N. K. A. Artalia, I. M. D. Maysanjaya, dan P. H. Suputra, “Sentiment Analysis Of Bali’s Rapid Tourism Growth Using IndoBERT With InSet Lexicon Automatic Labelling,” KARMAPATI (Kumpulan Artik. Mhs. Pendidik. Tek. Inform., vol. 15, no. 1, hal. 194–201, 2026, doi: 10.23887/karmapati.v15i1.111839.