Setiap demo AI yang saya lihat dalam setahun terakhir berjalan mulus. Anda mengetik pertanyaan, model menjawab dengan rapi, semua orang di ruangan mengangguk, dan seseorang berkata "ayo kita jalankan ini." Lalu proyek itu bertemu kenyataan. Menjalankan AI di production adalah disiplin yang sama sekali berbeda dari membangun demo, dan 2024 adalah tahun ketika sebagian besar perusahaan akan belajar hal ini dengan cara yang menyakitkan.

Demo hanya perlu berhasil sekali, untuk audiens yang ramah, pada contoh yang sudah dikurasi. AI di production perlu berhasil sepuluh ribu kali sehari, untuk pelanggan yang kebingungan, pada data yang tidak pernah dibersihkan siapa pun, sementara orang finance mengawasi tagihan API yang terus naik. Celah antara dua kondisi ini adalah tempat sebagian besar proyek AI mati diam-diam.

Saya ingin membahas apa yang sebenarnya berubah ketika Anda memindahkan fitur AI dari slide presentasi ke tangan pengguna sungguhan, karena bedanya bukan pada modelnya. Bedanya ada pada segala hal di sekitar model itu.

Checklist Demo vs Checklist Production

Saat membangun demo, checklist mental Anda pendek. Apakah dia menjawab pertanyaan? Apakah terdengar pintar? Apakah terlihat mengesankan di layar? Kurang lebih itu saja daftarnya.

Checklist production jauh lebih panjang dan jauh lebih tidak glamor:

  • Pemantauan akurasi. Bagaimana Anda tahu jawabannya masih bagus bulan depan? Model bisa drift, prompt bisa usang, dan data Anda berubah di bawahnya.
  • Fallback. Apa yang terjadi kalau API timeout, mengembalikan hasil yang berantakan, atau sekadar down? Demo tidak punya rencana cadangan. Production butuh itu.
  • Biaya per tugas. Satu jawaban cerdas hampir tidak ada biayanya. Sepuluh ribu jawaban sehari, dengan dokumen panjang yang dijejalkan ke setiap prompt, menjadi item biaya sungguhan.
  • Loop review manusia. Siapa yang menangkap jawaban yang salah sebelum sampai ke pelanggan, dan bagaimana koreksi mereka masuk kembali ke sistem?
  • Latensi. Menunggu tiga detik terasa lucu di demo dan menyebalkan di meja kasir.

Tidak satu pun dari ini muncul saat Anda membangun untuk memukau. Semuanya muncul begitu penggunaan sungguhan dimulai.

Data Berantakan Merusak Prompt yang Rapi

Demo berjalan dengan contoh terbaik Anda. Invoice-nya diformat dengan rapi, pertanyaan pelanggan gramatikal, deskripsi produk lengkap. Production berjalan dengan apa pun yang benar-benar diketik pelanggan dan staf Anda.

Saya pernah bekerja dengan perusahaan distribusi yang membangun asisten internal untuk menjawab pertanyaan soal stok produk. Di demo, sempurna. Di production, separuh pertanyaan memakai singkatan lokal, typo, dan kode internal yang belum pernah dilihat model itu. Akurasi anjlok dari "luar biasa" menjadi "menyebalkan" dalam semalam, bukan karena modelnya memburuk, tetapi karena input sungguhan sama sekali tidak seperti input pengujian.

Pelajarannya sederhana dan mahal kalau dipelajari belakangan: uji fitur AI Anda dengan data sungguhan yang paling berantakan sebelum Anda menjanjikan apa pun. Kalau Anda ingin memahami mengapa jawaban yang Anda butuhkan sering kali sudah tersimpan dalam catatan internal yang terstruktur buruk, saya membahasnya di Dark Data: Jawaban yang Sudah Terkubur di Bisnis Anda.

Penanganan Error Adalah Produk yang Sesungguhnya

Dalam software tradisional, kita menerima bahwa sesuatu bisa gagal dan kita mendesain untuk itu. Timeout, retry, graceful degradation. Entah kenapa begitu AI masuk ke gambaran, tim melupakan semua itu dan berasumsi model akan selalu merespons, selalu masuk akal, dan selalu tersedia.

Kenyataannya tidak. Penyedia LLM bisa mengalami outage. Respons kadang kembali dalam format yang rusak. Model kadang dengan percaya diri mengarang jawaban yang sama sekali salah. AI di production butuh rekayasa defensif yang sama seperti dependency eksternal lainnya:

  1. Validasi setiap respons sebelum Anda menampilkannya atau bertindak berdasarkan itu. Kalau Anda mengharapkan angka, periksa apakah yang didapat memang angka.
  2. Tetapkan timeout dan jalur fallback. Saat model lambat atau down, tampilkan default yang masuk akal atau arahkan ke manusia, jangan biarkan macet.
  3. Catat semuanya. Anda tidak bisa memperbaiki apa yang tidak bisa Anda lihat. Simpan input, output, dan apakah itu berguna.

Ini pekerjaan yang tidak glamor. Ini juga yang membedakan fitur AI yang bertahan di bulan pertamanya dengan yang dimatikan setelah insiden memalukan pertama.

Tagihan Datang Setiap Bulan

Demo cukup murah untuk diabaikan. Production tidak. Ketika Anda mengirim dokumen panjang ke model di setiap request, biaya berskala dengan penggunaan dengan cara yang mengejutkan orang yang hanya pernah menjalankan segelintir query pengujian.

Beberapa kebiasaan praktis menjaga ini tetap terkendali:

  • Ukur biaya per tugas yang selesai, bukan biaya per panggilan API. Tugas yang butuh tiga panggilan untuk benar-benar tepat biayanya tiga kali lipat dari perkiraan kasar Anda.
  • Pangkas apa yang Anda kirim. Kebanyakan prompt membawa konteks jauh lebih banyak daripada yang benar-benar dibutuhkan model.
  • Cache pertanyaan yang berulang. Banyak bisnis menanyakan lima puluh hal yang sama berulang kali.

Perlakukan tagihan AI bulanan sebagai biaya operasional sungguhan sejak hari pertama, dan desain fitur agar ekonomis, bukan sekadar mengesankan. Tim yang melewatkan langkah ini biasanya menemukan masalahnya saat seseorang di finance bertanya kenapa pos biaya software melonjak.

Kesimpulan Praktis

Memindahkan AI ke production bukan versi lebih besar dari demo. Ini pekerjaan yang berbeda. Demo membuktikan idenya mungkin. Production membuktikan idenya andal, terjangkau, dan aman untuk dihadapkan ke pengguna sungguhan.

Sebelum Anda berkomitmen meluncurkan fitur AI, ajukan lima pertanyaan: Bagaimana kita tahu kalau jawabannya salah? Apa yang terjadi kalau API gagal? Berapa sebenarnya biaya satu tugas? Siapa yang mereview outputnya? Dan seberapa berantakan data sungguhan kita dibanding data pengujian kita?

Kalau Anda bisa menjawab itu dengan jujur, Anda siap untuk production. Kalau tidak, Anda punya demo, dan itu tidak apa-apa, selama semua orang tahu bedanya. Ketika Anda siap membawa ide AI dari proof of concept menjadi sesuatu yang cukup andal untuk menjalankan bisnis Anda, itu justru jenis pekerjaan yang saya bantu untuk partner di ervandra.com.