Question Answering System pada Chatbot Telegram Menggunakan Large Language Models (LLM) dan Langchain (Studi Kasus UU Kesehatan)
Question Answering System on Telegram Chatbot Using Large Language Models (LLM) and Langchain (Case Study: Health Law)
DOI:
https://doi.org/10.57152/malcom.v4i3.1378Keywords:
Chatbot, Langchain, LLM, Sistem Tanya Jawab, Undang-undang KesehatanAbstract
Di bidang kesehatan, peraturan yang diterapkan dikenal sebagai hukum kesehatan, yang bertujuan untuk melindungi kepentingan pasien dan meningkatkan standar praktik medis. Pada tahun 2023, Indonesia menerapkan UU No 17 Tahun 2023 tentang Kesehatan, mencakup hak pasien, standar layanan, dan partisipasi masyarakat. Omnibus Law ini diharapkan menyelesaikan masalah kesehatan dan melindungi penyedia layanan. Penelitian ini bertujuan untuk mengembangkan Question Answering System (QAS) berbasis chatbot yang terintegrasi dengan Telegram. Metode yang digunakan adalah Langchain dan Large Language Models (LLM). Langchain digunakan untuk memfasilitasi pembangunan chatbot, sementara LLM adalah jenis model AI yang menggunakan pendekatan pembelajaran mesin untuk menghasilkan teks yang serupa dengan bahasa manusia. Sumber data yang digunakan sebagai basis pengetahuan adalah UU No 17 tahun 2023 tentang kesehatan. Chatbot yang dibangun telah berhasil memberikan jawaban kepada pengguna dengan hasil pengujian menggunakan BERTScore mendapatkan rata-rata nilai precision, recall, f1-score masing-masing sebesar 76%, 80%, 78%. Sedangkan untuk ROUGE-1 sebesar 60%, 45%, 50%, untuk ROUGE-2 sebesar 34%, 25%, 28%, dan untuk ROUGE-L sebesar 45%,34%,38%.
References
E. Susanna and Y. Kamaruzzaman, “Penegakan Hukum Pelayanan Publik di Bidang Kesehatan pada Rumah Sakit Umum di Kota Banda Aceh,” Journal of Law and Government Science, vol. 9, no. 1, pp. 1–10, 2023.
Yandriza and D. Arma, “Pertanggungjawaban Pidana Rumah Sakit atas Kelalaian Perawat yang Mengakibatkan Tertukarnya Bayi yang Baru Dilahirkan dalam Perspektif Hukum Kesehatan di Indonesia,” Unes Law Review, vol. 6, no. 1, pp. 2462–2656, 2023, doi: 10.31933/unesrev.v6i1.
G. Widjaja, “Pelayanan Kesehatan Bagi Pasien Menurut UU No. 17 Tahun 2023 Tentang Kesehatan,” INNOVATIVE: Journal Of Social Science Research, vol. 3, no. 5, 2023, doi: 10.31004/innovative.v3i6.6066.
S. I. Kesuma, “Sosialisasi Tentang Ulasan Undang-Undang No. 17 Tahun 2023 Tentang Kesehatan,” Jurnal Ilmu Hukum dan Tata Negara, vol. 1, no. 4, pp. 143–156, 2023, doi: 10.55606/birokrasi.v1i4.731.
A. Setiawan, O. N. Pratiwi, and ..., “Question Answering System Dalam Bentuk Chatbot Pada Platform Line Untuk Mata Pelajaran Sejarah Sma/ma Dengan Menggunakan Algoritma Levenshtein …,” eProceedings …, vol. 8, no. 5, pp. 9794–9802, 2021, [Online]. Available: https://openlibrarypublications.telkomuniversity.ac.id/index.php/engineering/article/view/15756%0Ahttps://openlibrarypublications.telkomuniversity.ac.id/index.php/engineering/article/view/15756/15469
G. F. Avisyah, I. J. Putra, and S. S. Hidayat, “Open Artificial Intelligence Analysis using ChatGPT Integrated with Telegram Bot,” Jurnal ELTIKOM?: Jurnal Teknik Elektro, Teknologi Informasi dan Komputer, vol. 7, no. 1, pp. 60–66, Jun. 2023, doi: 10.31961/eltikom.v7i1.724.
A. Marsadualan, Harmastuti, and J. Triyono, “Rancang Bangun Aplikasi Tanya Jawab Mengenai IST Akprind Yogyakarta Berbasis Mobile Menggunakan Algoritma Boyer Moore,” in SNISTIK?: Seminar Nasional Inovasi Sains Teknologi Informasi Komputer, 2023, pp. 226–238.
K. Pandya and M. Holia, “Automating Customer Service using LangChain Building custom open-source GPT Chatbot for organizations,” in International Conference on “Women in Science & Technology: Creating Sustainable Career,” 2023. doi: 10.48550/arXiv.2310.05421.
J. B. Ilagan and J. R. Ilagan, “A Prototype of a Chatbot for Evaluating and Refining Student Startup Ideas Using a Large Language Model,” 2023.
P. N. Devaraj, R. T. P. V, A. Gangrade, and M. K. R, “Development of a Legal Document AI-Chatbot,” 2023, doi: 10.48550/arXiv.2311.12719.
Y. Chang et al., “A Survey on Evaluation of Large Language Models,” Journal of the ACM, vol. 37, no. 4, Jul. 2023, [Online]. Available: http://arxiv.org/abs/2307.03109
A. Pesaru, T. S. Gill, and A. R. Tangella, “AI assistant for document management Using Lang Chain and Pinecone,” International Research Journal of Modernization in Engineering Technology and Science, vol. 05, no. 06, pp. 3980–3983, Jun. 2023, doi: 10.56726/irjmets42630.
N. Hidayah, “Tantangan dan Strategi Pengajar dalam Menyikapi Perkembangan Teknologi Artificial Intelligence (AI), Study Kasus pada Mahasiswa Keperawatan dalam Penyelesaian Tugas Akhir,” in Prosiding Seminar Nasional Pascasarjana, 2023, pp. 552–555. [Online]. Available: http://pps.unnes.ac.id/pps2/prodi/prosiding-pascasarjana-unnes
J. Ioannidis, J. Harper, M. S. Quah, and D. Hunter, “Gracenote.ai: Legal Generative AI for Regulatory Compliance,” in Third International Workshop on Artificial Intelligence and Intelligent Assistance for Legal Professionals in the Digital Workplace, 2023. doi: 10.2139/ssrn.4494272.
O. Topsakal and T. C. Akinci, “Creating Large Language Model Applications Utilizing LangChain: A Primer on Developing LLM Apps Fast,” International Conference on Applied Engineering and Natural Sciences, vol. 1, no. 1, pp. 1050–1056, Jul. 2023, doi: 10.59287/icaens.1127.
T. Iskandar Zulkarnain Maulana Putra, A. Farhan Bukhori, dan Ilmu Pengetahuan Alam, and U. Gadjah Mada, “Model Klasifikasi Berbasis Multiclass Classification dengan Kombinasi Indobert Embedding dan Long Short-Term Memory untuk Tweet Berbahasa Indonesia (Classification Model Based on Multiclass Classification with a Combination of Indobert Embedding and Long Short-Term Memory for Indonesian-language Tweets),” Jurnal Ilmu Siber dan Teknologi Digital (JISTED), vol. 1, no. 1, pp. 1–28, 2022, doi: 10.35912/jisted.v1i1.1509.
T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, “BERTScore: Evaluating Text Generation with BERT,” in ICLR, 2020, pp. 1–43. doi: 10.48550/arXiv.1904.09675.
I. J. Unanue, J. Parnell, and M. Piccardi, “BERTTune: Fine-Tuning Neural Machine Translation with BERTScore,” Jun. 2021, doi: 10.48550/arXiv.2106.02208.
M. Hanna and O. Bojar, “A Fine-Grained Analysis of BERTScore,” in Sixth Conference on Machine Translation (WMT), 2021, pp. 507–517.
T. Sun, J. He, X. Qiu, and X. Huang, “BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation,” Oct. 2022, doi: 10.48550/arXiv.2210.07626.
F. V. P. Samosir, H. Toba, and M. Ayub, “BESKlus?: BERT Extractive Summarization with K-Means Clustering in Scientific Paper,” Jurnal Teknik Informatika dan Sistem Informasi, vol. 8, no. 1, Apr. 2022, doi: 10.28932/jutisi.v8i1.4474.
I. Athiyyah Rahma and L. Hulliyyatus Suadaa, “Penerapan Text Augmentation untuk Mengatasi Data yang Tidak Seimbang pada Klasifikasi Teks Berbahasa Indonesia Studi Kasus: Deteksi Judul Clickbait dan Komentar Hate Speech pada Berita Online,” Jurnal Teknlogi Informasi dan Ilmu Komputer(JTIK), vol. 10, no. 6, pp. 1329–1340, 2023, doi: 10.25126/jtiik.2023107325.
A. Celikyilmaz, E. Clark, and J. Gao, “Evaluation of Text Generation: A Survey,” Jun. 2020, doi: 10.48550/arXiv.2006.14799.
M. Moradi, M. Dashti, and M. Samwald, “Summarization of biomedical articles using domain-specific word embeddings and graph ranking,” J Biomed Inform, vol. 107, Jul. 2020, doi: 10.1016/j.jbi.2020.103452.
Halimah, Surya Agustian, and Siti Ramadhani, “Peringkasan teks otomatis (automated text summarization) pada artikel berbahasa indonesia menggunakan algoritma lexrank,” Jurnal CoSciTech (Computer Science and Information Technology), vol. 3, no. 3, pp. 371–381, Dec. 2022, doi: 10.37859/coscitech.v3i3.4300.
Z. Idhafi, S. Agustian, F. Yanto, and N. Safaat H, “Peringkas teks otomatis pada artikel berbahasa indonesia menggunakan metode maximum marginal relevance,” Jurnal CoSciTech (Computer Science and Information Technology), vol. 4, no. 3, pp. 609–618, Dec. 2023, doi: 10.37859/coscitech.v4i3.6311.
