Seorang pengacara di New York pernah mengajukan berkas hukum yang penuh dengan sitasi kasus yang sebetulnya tidak ada. Ia meminta bantuan chatbot AI untuk risetnya, dan alat itu dengan percaya diri menghasilkan nama-nama kasus yang terdengar meyakinkan, lengkap dengan kutipan dan sitasi. Tidak satu pun dari itu nyata. Hakim yang menangani perkara tersebut tidak terhibur, dan cerita ini menyebar ke seluruh dunia.
Kejadian itu adalah ilustrasi paling jelas yang saya tahu soal risiko bisnis dari halusinasi AI, risiko yang nyaris tidak pernah diperhitungkan orang ketika mereka bersemangat memasukkan AI ke dalam operasional bisnis mereka. Model-model ini bukan sekadar sesekali membuat kesalahan. Mereka membuatnya dengan lancar, dengan kepercayaan diri penuh, dengan nada yang tidak bisa dibedakan dari saat mereka benar.
Kalau Anda akan menggunakan teknologi ini di bisnis Anda, dan memang sebaiknya begitu, Anda perlu memahami di mana risiko ini menggigit dan bagaimana merancang sistem agar aman dari situ. Jawabannya bukan menghindari AI. Jawabannya adalah menempatkannya di area di mana kesalahan itu murah, dan membangun pengaman di area di mana kesalahan itu mahal.
Mengapa Model Berhalusinasi Sejak Awal
Large language model tidak benar-benar mencari informasi. Pada intinya, ia memprediksi kata paling mungkin berikutnya berdasarkan semua yang mendahuluinya. Sebagian besar waktu, yang mungkin dan yang benar itu selaras, sehingga Anda mendapat jawaban yang tepat. Tapi ketika model sebenarnya tidak tahu sesuatu, ia tidak berhenti dan mengakuinya. Ia menghasilkan kelanjutan yang paling masuk akal, yang bisa jadi fakta yang sepenuhnya dikarang tapi disampaikan dengan kepercayaan diri sempurna.
Ini penting karena kegagalan ini tidak punya tanda yang jelas. Manusia yang ragu biasanya berhati-hati atau ragu-ragu dalam ucapannya. Model tidak. Sitasi hukum yang dikarang terbaca persis seperti sitasi yang asli. Kelancaran itulah yang membuat risiko bisnis dari halusinasi AI begitu berbahaya: jawaban yang salah terlihat persis sama meyakinkannya dengan jawaban yang benar.
Petakan Risiko Sesuai Kasus Penggunaan
Kesalahan yang sering dilakukan orang adalah memperlakukan "menggunakan AI" sebagai satu keputusan dengan satu level risiko. Padahal tidak. Risikonya sepenuhnya bergantung pada apa yang terjadi jika hasilnya salah. Saya membagi kasus penggunaan ke dalam tiga kelompok.
Risiko rendah: kesalahan murah dan mudah terlihat. Brainstorming, draf pertama, penulisan ulang, menghasilkan ide untuk ditanggapi. Kalau AI menyarankan tagline yang jelek, Anda tinggal tertawa dan lanjut. Manusia sudah berada di dalam alur untuk menilai setiap hasil, jadi halusinasi tidak berbiaya apa pun. Gunakan AI dengan bebas di sini.
Risiko sedang: kesalahan bisa dipulihkan tapi memalukan. Ringkasan internal, draf balasan, titik awal riset. Ringkasan yang salah bisa menyesatkan keputusan, jadi manusia perlu memeriksa sebelum ada yang bertindak berdasarkan itu. Berguna, tapi dengan langkah verifikasi.
Risiko tinggi: kesalahan mahal atau berbahaya. Apa pun yang berhadapan langsung dengan pelanggan dan bersifat faktual, apa pun yang menyangkut uang, hukum, medis, atau kepatuhan. Di sinilah kebohongan yang percaya diri bisa membuat Anda kehilangan klien, kena denda, atau merusak reputasi. Di sinilah sang pengacara terjebak. Jangan pernah biarkan output AI mencapai area ini tanpa diverifikasi.
Intinya bukan bahwa AI tidak aman. Intinya adalah alat yang sama bisa sepenuhnya aman untuk satu pekerjaan dan sembrono untuk pekerjaan lain. Seluruh keahliannya adalah mengetahui Anda sedang berada di kelompok mana.
Pola Mitigasi: Draf, Verifikasi, Kutip Sumber
Untuk kasus penggunaan apa pun di atas kelompok risiko rendah, satu pola ini menangani sebagian besar bahayanya. Saya menggunakannya di mana-mana.
- AI membuat draf, manusia yang memutuskan. Perlakukan setiap output sebagai usulan dari asisten junior yang cepat tapi tidak bisa diandalkan sepenuhnya, jangan pernah sebagai jawaban final. Manusia bukan sekadar polesan opsional. Manusia adalah kontrolnya.
- Wajibkan sumber. Untuk apa pun yang bersifat faktual, buat sistem menunjukkan dari mana jawaban itu berasal, dokumen tertentu, catatan tertentu, halaman tertentu. Kalau tidak bisa menunjuk ke sumber, perlakukan klaim itu sebagai belum terverifikasi. Sistem yang dibangun untuk menjawab dari dokumen milik Anda sendiri jauh lebih aman daripada yang menjawab dari ingatannya sendiri, salah satu alasan saya lebih menyarankan pendekatan chat dengan data Anda sendiri untuk pertanyaan-pertanyaan faktual.
- Batasi domainnya. Model yang ditanya apa saja bisa mengarang apa saja. Model yang dibatasi hanya menjawab dari basis pengetahuan yang sudah disetujui punya ruang jauh lebih kecil untuk berkarang, karena ia berpijak pada materi nyata, bukan prediksi terbuka.
Tidak satu pun dari ini menghilangkan halusinasi sepenuhnya. Belum ada yang bisa, sampai hari ini. Tapi ini menggeser titik kegagalan dari "jawaban salah sampai ke pelanggan" menjadi "draf yang salah tertangkap oleh manusia", dan itu adalah beda antara insiden dan bukan-apa-apa.
Menghitung Risiko ke Dalam Rencana Anda
Ketika sebuah tim mengajukan fitur AI kepada saya, saya bertanya satu hal lebih dulu. Berapa biaya dari jawaban salah yang percaya diri di sini, dan siapa yang menangkapnya sebelum menimbulkan kerusakan? Kalau mereka belum memikirkan itu, rencananya belum siap.
Ini sebetulnya pertanyaan manajemen risiko, bukan pertanyaan teknologi, dan itu seharusnya masuk ke dalam perencanaan Anda sama seperti keamanan atau anggaran. Ketika Anda menyusun versi pertama dari apa pun yang bertenaga AI, jaga lingkupnya tetap kecil dan pastikan manusia tetap berada di dalam alur, disiplin yang sama persis dengan pemikiran MVP yang baik soal seberapa kecil harus memulai. Mulai dari area di mana kesalahan itu murah, buktikan nilainya, dan baru dorong AI ke pekerjaan bertaruhan lebih tinggi setelah verifikasi Anda benar-benar solid.
- Jangan pernah biarkan output AI yang belum diverifikasi menyentuh keputusan hukum, keuangan, medis, atau kepatuhan.
- Jangan pernah publikasikan fakta hasil AI ke pelanggan tanpa pemeriksaan manusia.
- Selalu minta sumber untuk setiap klaim faktual yang hendak Anda andalkan.
- Selalu tanyakan siapa yang menangkap kesalahan sebelum sampai ke seseorang yang akan bertindak berdasarkan itu.
Kesimpulannya
Risiko bisnis dari halusinasi AI itu nyata, dan sering luput diperhitungkan karena kegagalannya lancar dan penuh percaya diri, bukan mencolok. Solusinya bukan rasa takut atau menghindar. Solusinya adalah kebijaksanaan: tempatkan AI di area di mana jawaban salah itu murah, dan bungkus dengan pengaman draf-verifikasi-kutip-sumber di area di mana jawaban salah itu mahal.
Digunakan dengan disiplin itu, alat-alat ini benar-benar bertenaga. Digunakan tanpa disiplin itu, pada akhirnya alat ini akan menyodorkan Anda kebohongan yang ditulis dengan indah di saat yang paling buruk. Memutuskan di mana AI cocok dalam operasional bisnis Anda, dan di mana ia sama sekali tidak boleh masuk, adalah salah satu percakapan paling tajam yang saya lakukan bersama para pendiri usaha sebagai mitra teknis.