Retrieval-Augmented Generation (RAG) telah menjadi standar de facto dalam industri kecerdasan buatan untuk menghubungkan Model Bahasa Besar (LLM) dengan basis pengetahuan privat perusahaan. Dengan menyuntikkan dokumen referensi yang relevan ke dalam jendela konteks prompt, model AI dapat memberikan jawaban berbasis fakta aktual tanpa memerlukan proses fine-tuning model dasar yang memakan biaya komputasi besar.
Namun, implementasi RAG tingkat produksi di Indonesia sering kali menghadapi kendala serius ketika hanya mengandalkan metode pencarian vektor semantik murni (dense vector retrieval). Bahasa Indonesia memiliki struktur morfologi yang kaya dengan sistem afiksasi yang kompleks, mencakup prefiks, sufiks, infiks, dan konfiks. Model embedding multibahasa yang dilatih secara umum kerap gagal menangkap perbedaan nuansa hukum atau istilah teknis yang sangat spesifik.
Sebagai contoh konkret, dalam dokumen regulasi perpajakan atau perjanjian bisnis, istilah seperti "pemotongan" memiliki implikasi hukum yang sangat berbeda dengan "pemungutan". Pencarian berbasis jarak kosinus vektor embedding dense kerap menganggap kedua konsep tersebut sangat berdekatan karena muncul dalam konteks linguistik yang serupa, sehingga mengembalikan pasal rujukan yang keliru kepada sistem AI.
Analisis Teknis & Pertimbangan Arsitektur
Masalah kedua dari pencarian vektor murni adalah ketidakmampuannya mencari string eksak seperti nomor surat keputusan resmi, kode produk SKU, nomor pokok wajib pajak, atau nomor pasal perundang-undangan. Model embedding mengubah teks menjadi representasi vektor abstrak berdimensi tinggi yang tidak dirancang untuk pencocokan karakter leksikal secara presisi.
Solusi paling tangguh untuk mengatasi kelemahan mendasar ini adalah menerapkan arsitektur Hybrid Search yang menggabungkan pencarian sparse leksikal tradisional (algoritma BM25) dengan pencarian dense semantik (model embedding vektor). Kedua pendekatan ini bekerja secara komplementer untuk saling melengkapi titik lemah masing-masing.
Algoritma BM25 (Best Matching 25) bertindak sebagai jangkar leksikal yang sangat andal dalam memetakan kecocokan kata kunci eksak, akronim teknis, dan frasa khusus bahasa Indonesia. Sebelum diindeks ke dalam mesin BM25, korpus teks bahasa Indonesia wajib melalui tahap prapemrosesan morfologi yang tepat, termasuk penghapusan stopword kontekstual dan tokenisasi berbasis n-gram untuk istilah gabungan.
Di sisi lain, dense vector embedding bertugas menangkap kesamaan makna konseptual, sinonim sehari-hari, dan variasi cara bertanya pengguna. Ketika seorang pengguna mengajukan pertanyaan menggunakan bahasa percakapan informal, model embedding mampu menghubungkan kueri tersebut dengan dokumen formal yang menggunakan terminologi baku.
Implementasi Praktis & Strategi Lapangan
Setelah kedua mesin pencari menghasilkan daftar kandidat dokumen teratas masing-masing, sistem memerlukan mekanisme penggabungan skor yang adil dan objektif. Metode yang paling teruji di tingkat produksi adalah Reciprocal Rank Fusion (RRF). RRF tidak membandingkan angka skor absolut yang memiliki skala berbeda, melainkan mengevaluasi peringkat relatif dokumen dari kedua hasil pencarian.
Formula matematis RRF menghitung skor gabungan dengan menjumlahkan kebalikan dari posisi peringkat dokumen ditambah konstanta peredam (biasanya bernilai 60). Dokumen yang berhasil menempati posisi teratas di kedua metode pencarian sekaligus akan memperoleh lonjakan skor tertinggi dan diprioritaskan masuk ke tahap reranking akhir.
Tahap penentu berikutnya adalah penyaringan melalui Cross-Encoder Reranker. Berbeda dengan bi-encoder embedding yang memproses kueri dan dokumen secara terpisah, cross-encoder membaca kueri pengguna dan potongan teks dokumen secara bersamaan ke dalam lapisan self-attention penuh. Model reranker menghasilkan skor relevansi final yang sangat akurat untuk menentukan tiga hingga lima potongan teks terbaik.
Rekomendasi & Kesimpulan Strategis
Strategi pemotongan dokumen (chunking strategy) juga memegang peranan vital dalam performa RAG bahasa Indonesia. Chunking berbasis jumlah token kaku sering kali memotong kalimat di tengah-tengah klausa bersyarat. Pendekatan yang jauh lebih efektif adalah recursive character text splitting dengan memperhatikan tanda titik, tanda koma, dan struktur paragraf asli, disertai jendela tumpang tindih (overlap) sebesar 15 hingga 20 persen.
Untuk memvalidasi keakuratan sistem RAG secara berkelanjutan, tim rekayasa wajib membangun dataset evaluasi mandiri (ground truth) yang mencakup pertanyaan representatif dari pengguna nyata. Metrik evaluasi seperti context recall, context precision, dan faithfulness harus diukur pada setiap perubahan algoritma sebelum kode diluncurkan ke lingkungan produksi.
Dengan menerapkan arsitektur hybrid search berbasis BM25 dan dense embedding yang diperkuat oleh cross-encoder reranker, tingkat halusinasi asisten AI dalam memproses korpus teks bahasa Indonesia dapat ditekan hingga di bawah dua persen. Hal ini membuka jalan bagi otomatisasi cerdas pada sektor-sektor kritis seperti perbankan, layanan hukum, dan operasional korporat skala besar.
