AI agent framework adalah pitch yang sedang dihadapi setiap pemimpin teknis saat ini, entah dari anggota dewan yang baru melihat demo, atau vendor yang menjanjikan sistem otonom yang bisa merencanakan, mengeksekusi, dan mengoreksi dirinya sendiri tanpa manusia di dalam loop. Sebagian dari itu nyata. Sebagian besar klaim otonomi itu tidak, dan jarak antara demo dengan apa yang benar-benar bertahan di production adalah persis di titik itulah budget terbakar dan kredibilitas terkuras.

Saya sudah membangun dengan beberapa framework ini sepanjang tahun ini, dan pembacaan jujurnya begini: agent yang merangkai sejumlah kecil langkah yang terdefinisi jelas dengan checkpoint manusia sebelum apa pun yang berkonsekuensi terjadi, benar-benar berguna hari ini. Agent yang dipasarkan sebagai pemecah masalah yang sepenuhnya otonom dan open-ended, yang bisa dibiarkan berjalan tanpa pengawasan, masih lebih dekat ke demo riset ketimbang sistem production, seberapa pun mengilapnya pitch deck-nya.

Yang benar-benar berhasil: scope sempit, loop ketat

Sistem agent yang bertahan di production punya bentuk yang sama, dan bentuknya jauh lebih kecil dari yang disarankan marketing.

  • Tugas yang terdefinisi dan terbatas, mengekstrak data dari invoice, menyusun draf balasan untuk kategori pertanyaan pelanggan yang sudah dikenal, merangkum dokumen sesuai template tetap. Bukan "menangani customer support" sebagai mandat terbuka.
  • Sejumlah kecil langkah, biasanya tiga sampai enam, masing-masing bisa dicek secara independen. Semakin panjang chain-nya, semakin banyak error yang berlipat ganda, karena kesalahan satu langkah menjadi input buruk untuk langkah berikutnya.
  • Checkpoint sebelum apa pun yang tidak bisa dibatalkan. Agent yang menyusun draf email refund itu berguna. Agent yang mengirim refund dan memproses pembayaran tanpa review adalah titik di mana saya melihat kerugian finansial dan reputasi yang nyata terjadi.
  • Cara yang jelas dan murah untuk mendeteksi kegagalan. Jika output agent tidak bisa divalidasi secara otomatis, atau setidaknya dilirik cepat oleh manusia, Anda tidak akan sadar performanya menurun diam-diam sampai pelanggan komplain.

Ini bukan keterbatasan yang perlu dimaafkan. Ini bentuk asli dari otomasi yang andal saat ini, dan ia tetap menghilangkan sebagian besar pekerjaan manual repetitif kalau scope-nya tepat.

Yang masih sebatas demo: otonomi open-ended

Klaim yang layak mendapat skeptisisme nyata adalah soal agent yang merencanakan strategi multi-langkahnya sendiri, memunculkan sub-agent untuk menyelesaikan sub-masalah, dan mengoreksi diri sendiri lintas puluhan langkah tanpa pengawasan. Dalam demo terkontrol dengan dataset bersih dan evaluasi yang longgar, ini terlihat ajaib. Di production, dengan input dunia nyata yang berantakan, biasanya gagal lewat salah satu dari dua cara.

  1. Chain yang rapuh. Satu langkah menghasilkan output yang sedikit cacat, langkah berikutnya mempercayainya begitu saja, dan pada langkah kedelapan agent sudah dengan penuh percaya diri melakukan sesuatu yang tidak masuk akal. Tidak ada yang sadar sampai outputnya direview, kalau memang direview.
  2. Biaya yang membengkak tak terkendali. Agent yang diizinkan untuk retry, merencanakan ulang, atau memunculkan langkah reasoning tambahan saat ia tidak yakin, bisa menghabiskan jauh lebih banyak biaya API dibanding jika manusia mengerjakan tugas yang sama, apalagi setelah ditambah jam-jam debugging untuk mencari tahu kenapa biayanya melonjak.

Tak satu pun dari kedua mode kegagalan ini alasan untuk menghindari agent. Ini alasan untuk jujur pada dewan atau klien tentang di mana teknologi ini sesungguhnya berada hari ini, dibanding di mana slide vendor mengklaimnya berada.

Pertanyaan yang harus diajukan sebelum menyetujui proyek agent

Ketika seseorang mengusulkan proyek otomasi berbasis agent, baik internal maupun dari vendor, pertanyaan-pertanyaan ini yang memisahkan rencana yang kredibel dari yang didorong hype.

  • Berapa jumlah maksimum langkah dalam chain, dan apa yang terjadi jika langkah ketiga gagal?
  • Apakah ada checkpoint manusia sebelum apa pun yang menyentuh uang, komunikasi pelanggan, atau data production?
  • Berapa perkiraan biaya per run, dan berapa biaya terburuk jika agent terjebak dalam retry loop?
  • Bagaimana kita akan tahu jika kualitas output menurun seiring waktu, sebelum pelanggan yang memberitahu kita?

Jika vendor tidak bisa menjawab ini secara konkret, mereka sedang menjual demo, bukan sistem.

Menyewa hype, membeli reliabilitas

Sikap yang tepat untuk 2024 adalah memperlakukan otonomi agent yang serba terbuka sebagai sesuatu yang dipantau dan dipilot secara hati-hati, bukan sesuatu yang dipertaruhkan untuk workflow inti sekarang. Sementara itu, agent dengan scope sempit dan checkpoint layak dibangun sekarang, karena sudah cukup andal untuk menghemat jam kerja yang nyata. Disiplin yang sama ini juga berlaku ketika melatih staf untuk bekerja dengan AI, karena tim yang mengharapkan keajaiban dari sebuah agent akan kecewa, sementara tim yang memahami batasan sesungguhnya akan menggunakannya dengan baik dan mempercayainya secara proporsional.

Cara pilot tanpa overcommit

Jika Anda ingin menguji otomasi agent tanpa mempertaruhkan proses inti untuk itu, pilih tugas yang saat ini masih dikerjakan manual, terdefinisi dengan jelas, dan di mana output yang salah hanya menyebabkan ketidaknyamanan kecil, bukan kerugian nyata, menyusun draf balasan pertama untuk kategori pertanyaan support yang umum, atau merangkum dokumen masuk ke format standar untuk direview manusia. Jalankan selama sebulan berdampingan dengan proses manual yang ada, ukur seberapa sering output agent butuh koreksi, dan baru perluas scope-nya setelah tingkat errornya rendah dan stabil. Ini disiplin yang sama yang memisahkan pilot yang berguna dari eksperimen mahal yang tidak pernah benar-benar di-deploy.

Beli dulu versi yang membosankan

Jika Anda sedang memutuskan ke mana menghabiskan budget untuk otomasi agent kuartal ini, habiskan untuk versi yang membosankan: agent dengan scope sempit yang mengerjakan satu tugas dengan baik, dengan manusia melirik outputnya sebelum melangkah ke mana pun yang berkonsekuensi. Lewati platform yang menjanjikan menjalankan operasional Anda secara otonom dari ujung ke ujung. Versi itu mungkin akan tiba suatu saat. Itu bukan yang benar-benar berjalan andal hari ini, dan mempertaruhkan budget nyata untuknya sekarang adalah optimisme yang menyamar sebagai strategi.