Layanan Informasi Peraturan Akademik Berbasis Chatbot Telegram Menggunakan Pendekatan Retrieval-Augmented Generation: Academic Regulation Information Service Based on a Telegram Chatbot Using a Retrieval-Augmented Generation Approach

Riyanto Riyanto; Fadhilah Oriyasmi; Widya Wahyuni; Indah Salsabilla

doi:10.57152/malcom.v6i4.2777

Authors

Riyanto Riyanto Politeknik Negeri Padang
Fadhilah Oriyasmi Politeknik Negeri Padang
Widya Wahyuni Politeknik Negeri Padang
Indah Salsabilla Politeknik Negeri Padang

DOI:

https://doi.org/10.57152/malcom.v6i4.2777

Keywords:

Chatbot Telegram, Layanan Informasi, Peraturan Akademik, Retrieval-Augmented Generation

Abstract

Peraturan akademik merupakan pedoman penting dalam penyelenggaraan pendidikan tinggi. Penelitian ini bertujuan untuk mengembangkan chatbot berbasis Telegram untuk layanan informasi peraturan akademik menggunakan pendekatan Retrieval-Augmented Generation (RAG) di Politeknik Negeri Padang dengan memanfaatkan basis pengetahuan institusi yang telah terverifikasi. Sistem dikembangkan menggunakan PHP dengan framework Laravel dan basis data PostgreSQL yang didukung oleh ekstensi pgvector untuk penyimpanan embedding. Model gemini-embedding-001 digunakan untuk mengubah dokumen peraturan akademik menjadi representasi vektor sehingga memungkinkan proses temu kembali dokumen berdasarkan kemiripan semantik, sedangkan model gemini-2.5-flash digunakan untuk menghasilkan respons berdasarkan konteks peraturan yang berhasil ditemukan. Basis pengetahuan sistem terdiri atas Peraturan Akademik Politeknik Negeri Padang yang mencakup 18 bab dan 75 pasal. Evaluasi proses temu kembali menggunakan 15 pertanyaan uji memperoleh nilai Precision sebesar 0,7467, Recall sebesar 0,9667, dan Mean Reciprocal Rank (MRR) sebesar 0,9333. Selanjutnya, evaluasi pembangkitan jawaban menggunakan 10 pertanyaan uji dengan metode Large Language Model (LLM)-as-a-judge menghasilkan skor relevansi rata-rata sebesar 4,90 pada chatbot berbasis RAG, lebih tinggi dibandingkan chatbot tanpa RAG yang memperoleh skor sebesar 3,20. Temuan ini menunjukkan bahwa pendekatan RAG efektif dalam menyediakan layanan informasi akademik yang cepat, akurat, dan mudah diakses.

Downloads

Download data is not yet available.

References

A. I. P. Putra and M. Roni, “Good Governance Dalam Lingkungan Pendidikan Tinggi,” Al-Idarah J. Kependidikan Islam, vol. 11, no. 2, doi: https://doi.org/10.24042/alidarah.v11i2.10065.

H. H. Muljo, A. Wicaksono, and I. E. Riantono, “Optimalisasi Penerapan Prinsip Good Governance Bidang Akademik dalam Upaya Mewujudkan Good University Governance,” Binus Bus. Rev., vol. 5, no. 1, pp. 91–100, May 2014, doi: 10.21512/bbr.v5i1.1199.

A. T. W. Wardani, A. Nfh, A. H. Nasrullah, M. Akbar, and F. Adiba, “Meningkatkan Kesadaran Mahasiswa terhadap Peraturan Akademik dan Kemahasiswaan melalui Program Sosialisasi di Fakultas Teknik Universitas Negeri Makassar,” J. Pengabdi. Masy., vol. 2, no. 2, Dec. 2024.

S. Chaurasia, S. Jain, H. O. Vishwkarma, and N. Singh, “Conversational AI Unleashed: A Comprehensive Review of NLP-Powered Chatbot Platforms,” IRE J., vol. 7, no. 3, 2023.

M. P. Wicaksana, P. G. Rahardandi, and M. Fauzan, “Analisis Penerapan Chatbot: Survei,” Innov. J. Soc. Sci. Res., vol. 4, no. 4, pp. 8349–8364, Aug. 2024, doi: 10.31004/innovative.v4i4.13789.

B. Prasojo, M. Huda, I. N. Khasanah, and E. Wahyuningsih, “Aplikasi Chatbot Berbasis Telegram Untuk Layanan Informasi Dan Akademik Kampus Universitas Ma’arif Nahdlatul Ulama Kebumen,” J. Inform. Dan Tek. Elektro Terap., vol. 12, no. 2, Apr. 2024, doi: 10.23960/jitet.v12i2.4013.

M. Qalimaturrahmah and D. B. Santoso, “Aplikasi Layanan dan Informasi Akademik Berbasis Chatbot Telegram Menggunakan Natural Language Processing,” J. JTIK J. Teknol. Inf. Dan Komun., vol. 8, no. 2, pp. 434–443, Apr. 2024, doi: 10.35870/jtik.v8i2.1887.

S. Zhou, J. Silvasstar, C. Clark, A. J. Salyers, C. Chavez, and S. S. Bull, “An artificially intelligent, natural language processing chatbot designed to promote COVID-19 vaccination: A proof-of-concept pilot study,” Digit. Health, vol. 9, p. 20552076231155679, Jan. 2023, doi: 10.1177/20552076231155679.

S. T. Lumban Tobing, L. Susana Saragih, L. F. Br Barus, and J. Sugianto Pakpahan, “Strategi Promosi Kebutuhan Sosial Media Menggunakan Aplikasi Telegram,” COMSERVA J. Penelit. Dan Pengabdi. Masy., vol. 3, no. 07, pp. 2872–2880, Nov. 2023, doi: 10.59141/comserva.v3i07.1049.

D. I. Mulyana, D. Lestari, F. Ramdhani, M. J. Ruliansyah, and R. Beay, “Implementasi Chatbot Telegram Dalam Meningkatkan Partisipasi Kegiatan Warga,” J. Pengabdi. Kpd. Masy. Nusant. JPkMN, vol. 4, no. 2, 2023.

S. Elysia and Herianto, “Chatbot Berbasis Retrieval Augmented Generation (RAG) untuk Peningkatan Layanan Informasi Sekolah,” J. TIFDA Technol. Inf. Data Anal., vol. 1, no. 2, pp. 52–58, Dec. 2024, doi: 10.70491/tifda.v1i2.52.

L. R. Hidayat, I. G. P. S. Wijaya, and R. Dwiyansaputra, “Optimalisasi Layanan Sistem Informasi Mahasiswa Dengan Integrasi Telegram?: Chatbot Retrieval-Augmented-Generation Berbasis Large Language Model,” J. Teknol. Inf. Komput. Dan Apl. JTIKA, vol. 7, no. 1, pp. 121–131, Mar. 2025, doi: 10.29303/jtika.v7i1.459.

T. Ramadhani, N. Q. Nada, and N. D. S, “Penerapan Metode Retrieval-Augmented Generation (RAG) Pada Chatbot E-Commerce Berbasis Gemini Ai,” J. Ilm. Ilk. - Ilmu Komput. Inform., vol. 8, no. 2, pp. 301–313, Jul. 2025, doi: 10.47324/ilkominfo.v8i2.384.

P. Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” in Advances in Neural Information Processing Systems, Curran Associates, Inc., 2020, pp. 9459–9474.

J. Swacha and M. Gracel, “Retrieval-Augmented Generation (RAG) Chatbots for Education: A Survey of Applications,” Appl. Sci., vol. 15, no. 8, p. 4234, Apr. 2025, doi: 10.3390/app15084234.

M. A. Quidwai and A. Lagana, “A RAG Chatbot for Precision Medicine of Multiple Myeloma,” Mar. 18, 2024, Genetic and Genomic Medicine. doi: 10.1101/2024.03.14.24304293.

“Peraturan Akademik Politeknik Negeri Padang,” Politeknik Negeri Padang. [Online]. Available: https://www.pnp.ac.id/wp-content/uploads/2022/08/PERATURAN-AKADEMIK_compressed.pdf

A. Brown, M. Roman, and B. Devereux, “A Systematic Literature Review of Retrieval-Augmented Generation: Techniques, Metrics, and Challenges,” Big Data Cogn. Comput., vol. 9, no. 12, p. 320, Dec. 2025, doi: 10.3390/bdcc9120320.

A. T. W. Ursia, E. Jonathan, and A. A. Ugrasena, “Analisis Perbandingan Berbasis Task-Oriented Evaluation Pada ChatGPT-4 dan Gemini (2.5 Flash),” Int. Conf. Inf. Technol. Bus., vol. 1, no. 1, pp. 115–125, Sep. 2025.

X. Li and J. Ouyang, “A Systematic Investigation of Knowledge Retrieval and Selection for Retrieval Augmented Generation,” Sep. 01, 2025, arXiv: arXiv:2410.13258. doi: 10.48550/arXiv.2410.13258.

A. Mufidah and B. Badie’ah, “Sistem Otomatisasi Ringkasan Literatur Berbahasa Indonesia Menggunakan Metode RetrievalAugmented Generation (RAG) Dan Model IndoT5,” J. Nusant. Eng., vol. 9, no. 1.