Anda mungkin sudah sering melihat demonya. Upload PDF, ajukan pertanyaan, dapatkan jawaban dalam bahasa yang mudah dipahami. "Chat with your documents" sudah jadi salah satu pitch AI paling umum tahun ini, dan di balik hampir semuanya ada teknik yang sama. Teknik ini layak dipahami, karena benar-benar berguna sekaligus benar-benar mudah disalahgunakan.
Pola ini disebut retrieval augmented generation, dan saya ingin menjelaskan cara kerja RAG tanpa kabut akademis. Begitu Anda paham cara kerjanya, Anda akan mengerti kenapa teknik ini begitu cocok untuk knowledge base perusahaan, berapa biayanya, dan satu mode kegagalan yang bisa mengubahnya dari asisten yang membantu menjadi pembohong yang percaya diri.
Inilah keseluruhan idenya dalam satu kalimat: AI mencari dulu bagian-bagian relevan dari dokumen Anda, baru menulis jawaban menggunakan hanya apa yang ditemukannya.
Dua Langkah di Balik Setiap "Chat With Your PDF"
Retrieval augmented generation adalah dua gerakan yang dijahit menjadi satu.
Langkah satu, retrieval. Saat Anda mengajukan pertanyaan, sistem tidak langsung mengirim pertanyaan Anda ke AI. Pertama, sistem mencari di kumpulan dokumen Anda dan menarik keluar segelintir bagian yang paling relevan dengan apa yang Anda tanyakan. Bayangkan seperti pustakawan yang sangat baik, yang langsung menemukan tiga paragraf yang benar-benar relevan.
Langkah dua, generation. Bagian-bagian yang ditemukan tadi diserahkan ke language model bersama pertanyaan Anda, kurang lebih seperti: "Dengan menggunakan bagian-bagian ini, jawab pertanyaan ini." Model kemudian menulis jawaban yang mengalir lancar, berdasarkan teks yang diberikan padanya.
Retrieval mencari fakta. Language model menulis kalimatnya. Tidak ada yang mengerjakan tugas yang lain, dan pembagian tugas inilah yang jadi kunci seluruh trik ini.
Kenapa Ini Lebih Unggul dari Fine-Tuning untuk Knowledge Base Perusahaan
Ketika orang pertama kali ingin punya AI yang "mengenal bisnis kami," mereka sering bertanya soal fine-tuning, yaitu melatih ulang model dengan data Anda. Untuk sebagian besar knowledge base UKM, retrieval augmented generation adalah pilihan yang lebih baik, dan berikut alasannya.
| Fine-tuning | Retrieval (RAG) | |
|---|---|---|
| Memperbarui info | Latih ulang model | Tinggal tambah atau edit dokumen |
| Biaya | Tinggi, berkelanjutan | Rendah, sebagian besar penyimpanan dan pencarian |
| Keterlacakan | Jawaban adalah kotak hitam | Bisa mengutip sumber bagiannya |
| Data terkini | Basi sampai dilatih ulang | Selalu update sesuai upload terakhir |
Poin soal pembaruan inilah yang menentukan. Kebijakan, harga, dan prosedur Anda berubah. Dengan retrieval, Anda cukup memperbarui satu dokumen dan sistem langsung tahu. Dengan fine-tuning, setiap perubahan berarti siklus pelatihan ulang yang mahal lagi. Untuk knowledge base yang terus hidup dan berubah, retrieval menang dari sisi biaya, kesegaran data, dan kemampuan menunjukkan sumbernya.
Di Mana Ini Cocok untuk UKM
Retrieval augmented generation bersinar di mana pun Anda punya tumpukan dokumen yang terus-menerus ditanyakan orang:
- Kebijakan internal dan buku panduan HR. Staf bertanya, sistem menjawab lengkap dengan kutipan sumbernya.
- Dokumentasi produk dan teknis. Tim support menemukan spesifikasi yang tepat dalam hitungan detik.
- Standard operating procedure. Karyawan baru bertanya langsung ke prosesnya, tanpa harus mengganggu kolega senior.
- Kontrak dan materi kepatuhan. Menemukan klausul yang relevan tanpa harus membaca seluruh bendel dokumen.
Benang merahnya adalah pengetahuan ini sudah ada dalam bentuk tertulis. Retrieval tidak menciptakan keahlian baru, ia membuat keahlian yang sudah ada menjadi mudah ditemukan dan bisa diajak "bicara."
Berapa Biayanya
Bersikaplah realistis soal biayanya. Komponen biaya utamanya adalah:
- Setup. Memasukkan dokumen Anda ke dalam sistem, membersihkan dan menstrukturkannya agar cukup mudah dicari. Di sinilah sebagian besar kerja sesungguhnya berada.
- Penyimpanan dan indexing. Biasanya cukup ringan untuk skala dokumen UKM.
- Biaya per query. Setiap pertanyaan memanggil language model, jadi ada biaya kecil yang berulang setiap kali dipakai.
Untuk knowledge base UKM Indonesia pada umumnya, ini jauh lebih murah dibanding fine-tuning dan sangat terjangkau. Upaya setup, bukan biaya operasionalnya, yang seharusnya jadi fokus anggaran Anda. Jika Anda sedang merencanakan alokasi biaya untuk ini, ini masuk ke dalam perencanaan anggaran teknologi Anda.
Mode Kegagalan: Retrieval Buruk Berarti Omong Kosong yang Percaya Diri
Sekarang peringatannya, karena di sinilah sistem semacam ini sering menggigit penggunanya.
Language model menjawab menggunakan apa pun bagian dokumen yang diberikan retrieval kepadanya. Jika retrieval menarik bagian yang salah, atau melewatkan bagian yang benar, model tidak akan berhenti dan bilang "saya tidak punya informasi ini." Ia akan menulis jawaban yang percaya diri dan mengalir lancar, berdasarkan materi yang salah. Jawabannya terlihat otoritatif padahal sebenarnya keliru.
Jadi kualitas seluruh sistem ini hidup atau mati berdasarkan kualitas retrieval-nya, bukan seberapa mengesankan language model-nya terdengar. Ketika alat semacam ini mengecewakan, hampir selalu karena retrieval gagal secara diam-diam dan model menutupi celah itu dengan teks yang rapi.
Inilah alasan Anda harus:
- Menguji dengan pertanyaan nyata yang benar-benar diajukan tim Anda, bukan pertanyaan demo yang dipersiapkan.
- Menuntut agar jawaban mengutip sumber bagiannya sehingga Anda bisa memverifikasi.
- Mengawasi khusus jawaban yang percaya diri untuk hal-hal yang sebenarnya tidak tercakup dalam dokumen Anda.
Kepercayaan dirinya itulah jebakannya. Jawaban salah yang mengakui ketidakpastian masih bisa dikelola. Jawaban salah yang disampaikan dengan keyakinan penuh adalah yang justru sampai ke pelanggan atau ke sebuah keputusan. Ini masalah kepercayaan yang sama dengan yang saya bahas soal konten buatan AI dan kepercayaan merek.
Intinya
Cara kerja retrieval augmented generation secara sederhana: cari dulu dokumen yang relevan, baru tulis jawabannya berdasarkan itu. Ini lebih unggul dari fine-tuning untuk knowledge base perusahaan karena Anda cukup memperbarui satu file alih-alih melatih ulang model, dan karena ia bisa menunjukkan sumbernya.
Ini cocok untuk UKM di mana pun pengetahuannya sudah ada dalam bentuk tertulis dan orang terus-menerus menanyakannya. Ingat saja bahwa sistem ini hanya sebaik retrieval-nya. Buat pencariannya benar dan Anda punya asisten yang benar-benar berguna. Buat itu salah dan Anda punya sumber kesalahan yang sangat percaya diri dan pandai bicara.