OpenAI baru saja membuka fine-tuning untuk GPT-3.5, dan inbox saya penuh dalam sehari. Sebagian besar pertanyaan membawa asumsi optimis yang sama: kalau kami fine-tune model ini dengan katalog produk, dokumen, dan wiki internal kami, model ini akhirnya akan "mengenal" bisnis kami. Asumsi itulah yang membuat kebanyakan proyek fine-tuning gpt-3.5 untuk bisnis gagal secara diam-diam.
Ini versi jujurnya. Fine-tuning membentuk cara model berperilaku. Fine-tuning tidak secara andal mengajarkan fakta baru ke model. Itu dua masalah yang berbeda, dan mencampuradukkan keduanya menghabiskan uang dan waktu berminggu-minggu tanpa hasil.
Saya ingin membagikan aturan keputusan yang saya pakai sebelum mengizinkan klien menghabiskan satu rupiah pun untuk data training. Tidak rumit, tapi ini menyelamatkan Anda dari kesalahan paling mahal di ranah ini.
Apa yang sebenarnya diubah oleh fine-tuning
Bayangkan model dasar sebagai karyawan yang sangat berwawasan luas tapi belum pernah bekerja di perusahaan Anda. Fine-tuning itu seperti memberi karyawan tersebut tumpukan contoh tentang bagaimana Anda ingin sesuatu dikerjakan: nada bicara ini, format ini, panjang segini, kategori-kategori ini. Setelah cukup banyak contoh, mereka menginternalisasi polanya dan berhenti butuh Anda menjelaskan aturan setiap kali.
Itulah yang menjadi kekuatan fine-tuning gpt-3.5:
- Nada dan gaya bicara yang konsisten di ribuan balasan, sehingga setiap pesan ke pelanggan terdengar seperti brand Anda, bukan asisten generik.
- Format output yang bisa diandalkan, misalnya selalu mengembalikan JSON yang bersih dengan field yang sama, atau selalu menyusun ringkasan dengan struktur yang sama.
- Klasifikasi ke dalam kategori milik Anda sendiri, misalnya merutekan pesan masuk ke sepuluh intent spesifik Anda, bukan kategori generik.
- Prompt yang lebih pendek. Setelah perilaku sudah tertanam, Anda berhenti membayar untuk instruksi panjang di setiap pemanggilan, yang menurunkan biaya per request.
Perhatikan kesamaan semua poin di atas. Semuanya soal perilaku dan gaya, bukan pengetahuan. Anda mengajarkan model bagaimana harus bersikap, bukan apa yang benar tentang stok barang Anda hari ini.
Apa yang tidak bisa dilakukan fine-tuning
Ini bagian yang orang enggan dengar. Kalau Anda fine-tune GPT-3.5 dengan katalog produk 4.000 SKU, model itu tidak akan menjadi tempat yang bisa diandalkan untuk menjawab "apakah barang ini ada warna biru, dan berapa harganya?"
Ada dua alasan:
- Fine-tuning melebur fakta ke dalam bobot (weights), bukan menyimpannya. Model bisa menghasilkan jawaban yang terdengar seperti isi katalog Anda tapi salah. Ini disebut konfabulasi, dan dalam konteks penjualan atau dukungan pelanggan, ini lebih buruk daripada model bilang "saya tidak tahu."
- Fakta Anda berubah. Harga naik-turun, stok habis, kebijakan diperbarui. Anda tidak bisa melatih ulang model setiap kali harga berubah. Itu tugas database, bukan tugas language model.
Saya pernah melihat sebuah distributor menghabiskan tiga minggu menyiapkan data katalog untuk fine-tuning, hanya untuk berakhir dengan model yang percaya diri menyebutkan harga kuartal lalu. Solusinya bukan training lebih banyak. Solusinya adalah arsitektur yang sama sekali berbeda.
Pengetahuan hidup di retrieval, bukan di bobot model
Ketika Anda butuh model menjawab dengan fakta spesifik dan terkini milik Anda, pola yang tepat adalah retrieval: simpan fakta Anda di database atau document store, ambil bagian yang relevan saat pertanyaan diajukan, lalu berikan ke model sebagai konteks, sehingga model menjawab dari apa yang Anda berikan, bukan dari ingatannya sendiri.
Inilah sebabnya kedua pendekatan ini bukan pesaing. Mereka menyelesaikan dua sisi berbeda dari masalah yang sama:
| Kebutuhan | Gunakan | Kenapa |
|---|---|---|
| Nada, format, kategori yang konsisten | Fine-tuning | Perilaku stabil dan layak ditanamkan |
| Harga, stok, kebijakan, dokumen terkini | Retrieval | Fakta berubah dan harus akurat |
| Keduanya (paling umum) | Retrieval + fine-tuning ringan | Fakta dari retrieval, gaya dari tuning |
Sebagian besar sistem bisnis nyata yang saya bangun berakhir di baris ketiga itu. Retrieval menyediakan kebenaran. Sentuhan ringan fine-tuning membuat jawabannya terdengar pas dan kembali dalam format yang diharapkan aplikasi Anda. Kalau Anda ingin analisis trade-off yang lebih dalam untuk tim yang lebih kecil, saya sudah tulis di Fine-Tuning vs Prompting: Mana yang Benar-Benar Dibutuhkan UKM.
Aturan keputusan yang benar-benar saya pakai
Sebelum merekomendasikan fine-tuning, saya menanyakan satu pertanyaan tentang hal yang ingin Anda buat model lakukan:
Apakah jawaban yang benar bergantung pada fakta yang bisa berubah, atau pada cara berperilaku yang tetap konstan?
- Kalau bergantung pada fakta yang berubah (harga, stok, saldo akun, promo minggu ini), Anda butuh retrieval. Fine-tuning cepat atau lambat akan membohongi Anda.
- Kalau bergantung pada perilaku yang konstan (selalu sopan, selalu format ini, selalu kategori ini), fine-tuning sepadan dengan biayanya.
- Kalau bergantung pada keduanya, bangun retrieval dulu, baru tambahkan fine-tuning kalau prompting saja terbukti tidak cukup menjaga format atau nada.
Poin terakhir ini penting untuk urusan budget. Bagi banyak tim, prompt yang ditulis dengan baik sudah memberi 80 persen manfaat perilaku dengan biaya training nol. Fine-tune baru masuk akal setelah Anda membuktikan prompting saja tidak bisa bertahan di volume Anda, dan Anda punya dataset nyata berisi contoh-contoh bagus untuk dilatih. Lima puluh contoh pilihan tangan biasanya mengalahkan lima ribu contoh yang berantakan.
Proyek pertama yang realistis
Kalau Anda ingin mencoba fine-tuning gpt-3.5 tanpa membakar kepercayaan tim, pilih sesuatu yang kecil dan bersifat perilaku:
- Ambil satu tugas penulisan repetitif yang dikerjakan tim Anda, misalnya menyusun balasan konfirmasi pesanan.
- Kumpulkan 60 sampai 100 contoh terbaik dari yang benar-benar nyata, lalu rapikan.
- Fine-tune dengan contoh-contoh itu, dan bandingkan dengan prompt yang kuat tanpa fine-tuning sama sekali.
- Ukur dengan metrik yang membosankan: kepatuhan format, konsistensi nada, dan seberapa sering manusia harus memperbaiki outputnya.
Kalau versi yang di-fine-tune terbukti mengurangi editing manusia, itu layak dipertahankan. Kalau hasilnya cuma seri dengan prompt biasa, pertahankan prompt-nya dan simpan uang Anda.
Kesimpulan praktis
Fine-tuning GPT-3.5 adalah kapabilitas nyata, dan benar-benar berguna untuk gaya, format, dan klasifikasi dalam skala besar. Ini bukan jalan pintas menuju model yang mengenal bisnis Anda. Pengetahuan itu tempatnya di retrieval, di mana ia bisa tetap terkini dan akurat; perilaku itu tempatnya di fine-tuning, di mana konsistensi adalah inti persoalannya. Pilah dulu masalah Anda ke kotak yang tepat, dan sisa proyeknya jadi jauh lebih murah.
Kalau Anda sedang menimbang membangun AI custom dan ingin jawaban lugas soal apakah tuning, retrieval, atau prompt biasa yang cocok untuk kasus Anda, itu persis jenis scoping yang saya bantu untuk para mitra. Anda bisa mulai percakapan itu di halaman partner.