Setiap beberapa minggu, ada pemilik bisnis yang bilang ke saya bahwa mereka ingin punya model AI sendiri. Mereka membaca bahwa fine-tuning membuat AI "mengerti bisnis mereka," dan sudah siap mengeluarkan uang cukup besar untuk itu. Hampir selalu, jawaban jujurnya adalah mereka tidak membutuhkannya. Perdebatan fine-tuning vs prompt engineering biasanya sudah selesai sebelum dimulai, dan yang menang adalah prompting.
Saya sudah membangun dan merilis cukup banyak sistem seperti ini untuk berani mengatakan ini dengan lugas: untuk kira-kira 95% kebutuhan bisnis kecil dan menengah, Anda sampai ke tujuan dengan prompt yang lebih baik dan dokumen milik sendiri yang dimasukkan pada momen yang tepat. Fine-tuning adalah alat yang nyata, tapi posisinya di anak tangga paling atas yang jarang sekali perlu didaki oleh perusahaan.
Mari saya bawa Anda menyusuri tangga itu, anak tangga demi anak tangga, supaya Anda bisa melihat persis di mana posisi masalah Anda dan berapa biaya untuk menyelesaikannya.
Tangganya: Tiga Anak Tangga, Bukan Dua
Orang sering membingkai ini sebagai pertarungan dua arah, fine-tuning vs prompt engineering, seolah-olah itu satu-satunya pilihan. Sebenarnya ada tiga anak tangga, dan Anda harus menaikinya secara berurutan.
- Prompting biasa. Anda menulis instruksi yang jelas dan memberi model contoh seperti apa output yang bagus. Tanpa infrastruktur, tanpa training, tanpa data pipeline.
- Prompting dengan dokumen Anda sendiri. Anda mengambil kebijakan, lembar produk, atau tiket lama yang relevan lalu menempelkannya ke dalam prompt saat menjawab. Ini sering disebut retrieval, dan di sinilah sebagian besar nilai bisnis berada.
- Fine-tuning. Anda mengambil model dasar dan melatihnya lebih lanjut dengan ratusan atau ribuan contoh milik sendiri sehingga ia menginternalisasi satu pola yang sempit.
Aturannya sederhana. Mulai dari anak tangga pertama. Naik hanya kalau anak tangga yang Anda pijak benar-benar tidak bisa mengerjakan tugasnya, dan Anda bisa membuktikannya dengan contoh kegagalan nyata, bukan sekadar firasat.
Anak Tangga Pertama: Prompting Biasa Menyelesaikan Lebih Banyak dari yang Anda Kira
Kebanyakan permintaan "kami butuh model custom" sebenarnya adalah "prompt kami masih malas." Instruksi satu baris seperti "ringkas ini" menghasilkan output generik. Prompt yang menyebutkan siapa pembacanya, nada bicara apa yang dipakai, apa yang harus dimasukkan, apa yang harus dihilangkan, dan menunjukkan dua contoh ringkasan yang bagus, akan menghasilkan sesuatu yang bisa langsung dipakai.
Menulis prompt yang baik adalah sebuah skill, dan biayanya hampir nol. Tidak ada tagihan training bulanan, tidak ada proyek pengumpulan data, dan Anda bisa mengubah perilakunya dalam lima menit begitu proses kerja berubah. Untuk menulis draf email, mengklasifikasikan pesan masuk, menulis ulang deskripsi produk, atau menjawab pertanyaan umum, anak tangga ini sering kali sudah menjadi jawaban lengkapnya.
Mode kegagalan di sini adalah ketidaksabaran. Tim mencoba prompt yang lemah, mendapat hasil yang lemah, lalu menyimpulkan modelnya kurang pintar. Modelnya baik-baik saja. Instruksinya yang tipis.
Anak Tangga Kedua: Masukkan Dokumen Anda
Begitu masalah Anda bergantung pada fakta yang spesifik milik Anda, harga Anda, SOP Anda, percakapan lama Anda, prompting biasa akan menabrak tembok. Model tidak tahu kebijakan refund Anda karena itu tidak pernah ada di dalam prompt.
Solusinya bukan fine-tuning. Solusinya adalah retrieval: ketika sebuah pertanyaan masuk, Anda mencari dua atau tiga dokumen paling relevan dan menyertakannya di dalam prompt. Model kemudian menjawab dari materi yang benar-benar bisa ia lihat. Begitulah cara asisten support bisa menjawab "berapa garansi untuk SKU ini" dengan benar. Ia baru saja membaca halaman garansi Anda sesaat sebelum menjawab.
Anak tangga ini mencakup sebagian besar dari apa yang sebenarnya diinginkan UKM dari AI: asisten pengetahuan internal, bot FAQ pelanggan, tanya-jawab berbasis dokumen. Kalau Anda ingin gambaran yang lebih lengkap tentang pola ini, saya pernah menulisnya di Chat With Your Data: Artinya untuk Bisnis Anda.
Biayanya di sini moderat. Anda perlu dokumen yang terorganisir dan satu langkah retrieval, tapi Anda tidak melatih apa pun. Ketika kebijakan Anda berubah, Anda tinggal memperbarui dokumennya, dan jawaban berikutnya langsung benar. Kemudahan pemeliharaan itulah kekuatan diam-diam dari anak tangga kedua.
Anak Tangga Ketiga: Kapan Fine-Tuning Benar-Benar Sepadan dengan Biayanya
Fine-tuning sepadan dalam sejumlah kasus yang sempit:
- Volume tinggi, tugas yang sempit. Anda menjalankan operasi yang sama dan sangat terdefinisi ribuan kali sehari, dan penghematan biaya atau latensi per panggilan benar-benar berarti.
- Gaya atau format spesifik yang sulit dijelaskan tapi mudah dicontohkan lewat banyak contoh, seperti menyamakan suara khas perusahaan di ribuan output.
- Konsistensi dalam skala besar di mana bahkan prompt yang bagus pun mulai melenceng, dan Anda butuh perilaku itu tertanam permanen.
Perhatikan apa yang tidak masuk daftar itu: mengajarkan model harga, kebijakan, atau fakta terbaru Anda. Fine-tuning buruk untuk urusan fakta karena fakta berubah dan melatih ulang itu lambat dan mahal. Fakta ada tempatnya di anak tangga kedua.
Gambaran biayanya nyata. Fine-tuning berarti mengumpulkan dan membersihkan dataset berlabel, menjalankan training, mengevaluasi hasilnya, lalu mengulanginya lagi setiap kali model dasar atau kebutuhan Anda berubah. Anda sekarang memiliki beban pemeliharaan. Model yang di-fine-tune bukan barang beli putus, itu peliharaan yang harus terus Anda kasih makan. Itu kebenaran yang sama yang terus saya ulangi soal kenapa software yang sudah jadi pun tetap memakan biaya setiap bulan.
Cara Sederhana untuk Memutuskan
Ini keputusan yang saya jalankan bersama klien.
| Situasi Anda | Anak tangga yang tepat |
|---|---|
| Menulis draf, mengklasifikasikan, menulis ulang secara umum | Prompting biasa |
| Jawaban bergantung pada dokumen atau data milik sendiri | Prompting dengan retrieval |
| Jawaban bergantung pada fakta yang sering berubah | Prompting dengan retrieval, jangan fine-tuning |
| Satu tugas sempit dengan volume sangat tinggi, tetap sama selama berbulan-bulan | Pertimbangkan fine-tuning |
| Anda menginginkan gaya konsisten yang sulit dijelaskan dalam skala besar | Pertimbangkan fine-tuning |
Kalau kondisi Anda masuk di tiga baris teratas, Anda sudah punya jawabannya, dan itu lebih murah serta lebih cepat dari yang Anda bayangkan. Kalau masuk di dua baris terbawah, fine-tuning layak dipertimbangkan, tapi perlakukan sebagai proyek nyata dengan pemilik yang jelas.
Kesimpulan
Pertanyaan fine-tuning vs prompt engineering hampir selalu berakhir dengan kemenangan prompting, baik yang biasa maupun yang disertai dokumen Anda sendiri. Fine-tuning adalah alat spesialis untuk pekerjaan yang sempit, bervolume tinggi, dan sarat gaya, dan itu datang dengan biaya pemeliharaan berkelanjutan yang sebaiknya dihindari kebanyakan UKM sampai mereka benar-benar sudah menghabiskan anak tangga yang lebih murah.
Naiki tangganya secara berurutan. Kuasai dulu prompting biasa dengan benar. Tambahkan dokumen Anda ketika fakta mulai berperan. Baru pertimbangkan fine-tuning ketika Anda bisa membuktikan anak tangga di bawahnya gagal. Kalau Anda sedang mencoba mencari tahu di anak tangga mana kebutuhan spesifik Anda berada, itu persis jenis pertanyaan yang saya bantu jawab untuk para pendiri bisnis sebagai mitra teknis, sebelum ada yang mengeluarkan uang untuk model yang sebenarnya tidak mereka butuhkan.