Akhir tahun adalah saat penawaran vendor AI menumpuk, semua orang ingin menutupnya sebelum tahun fiskal mereka berakhir, dan tekanan untuk menandatangani sesuatu sebelum bulan Desember menjadikan ini waktu yang salah untuk melewatkan uji coba. Pertanyaan yang diajukan kepada vendor AI tidak banyak berubah sejak awal tahun ini, namun pasar kini telah memiliki produk yang lebih mumpuni dan juga lebih banyak produk tipis pada model dasar yang sama yang dirancang sebagai sesuatu yang eksklusif. Berikut sepuluh pertanyaan yang memberi tahu Anda pertanyaan mana yang sedang Anda cari, masing-masing dengan jawaban yang akan meyakinkan Anda dan pertanyaan yang membuat Anda khawatir.

1. Model atau model mana yang mendukung hal ini, dan apa yang terjadi jika model tersebut berubah?

Jawaban yang bagus: mereka menamainya secara spesifik (kelas GPT-4, kelas Claude 3, model bobot terbuka yang telah mereka sesuaikan) dan menjelaskan cara mereka menangani penyedia yang tidak lagi menggunakan atau mengubah harga model tersebut. Jawaban yang mengkhawatirkan: "itu hak milik" atau defleksi yang tidak jelas. Jika mereka tidak memberi tahu Anda apa yang ada di balik terpal, mereka biasanya tidak ingin Anda menyadari bahwa hanya ada sedikit yang ada di balik terpal.

2. Apa yang terjadi pada data kita setelah kita kirimkan?

Jawaban yang bagus: pernyataan yang jelas tentang retensi, apakah data Anda melatih model mereka atau model penyedia yang mendasarinya, dan perjanjian pemrosesan data tertulis. Jawaban yang mengkhawatirkan: "jangan khawatir" atau kebijakan privasi yang jelas-jelas disalin dari tempat lain.

3. Bisakah Anda menunjukkan angka akurasi pada tugas seperti tugas kami, bukan tolok ukur umum?

Jawaban yang bagus: bilangan real, berdasarkan data pelanggan sebenarnya jika memungkinkan, dengan kasus kegagalan diungkapkan bersamaan dengan keberhasilan. Jawaban yang mengkhawatirkan: video demo dengan contoh sempurna yang telah dilatih sebelumnya dan tidak ada kasus yang salah.

4. Apa yang terjadi jika terjadi kesalahan?

Jawaban yang bagus: penjelasan fallback, eskalasi ke manusia, ambang batas keyakinan, cara bagi staf untuk menandai dan memperbaiki kesalahan. Jawaban yang mengkhawatirkan: "tidak ada yang salah." Setiap sistem melakukannya. Yang berpura-pura sebaliknya adalah yang akan Anda debug sendirian pada jam 11 malam.

5. Bagaimana harga ini, dan apa yang terjadi jika penggunaan kita melonjak?

Jawaban yang bagus: harga per kursi, per penggunaan, atau tetap yang transparan dengan deskripsi jelas mengenai biaya kelebihan penggunaan. Jawaban yang mengkhawatirkan: penetapan harga yang baru menjadi jelas setelah Anda masuk beberapa bulan, atau "kita akan mencari tahu bersama" sebagai pengganti angka.

6. Apa yang kita miliki jika kita pergi?

Jawaban yang bagus: Anda menyimpan data, perintah, atau konfigurasi Anda, dan dapat mengekspor dalam format yang dapat digunakan. Jawaban yang mengkhawatirkan: semua yang Anda buat di dalam platform, perintah, alur kerja, integrasi mereka, akan tetap terkunci jika Anda membatalkan.

7. Siapa lagi yang menggunakan ini untuk sesuatu yang mirip dengan kasus penggunaan kita?

Jawaban bagus: referensi spesifik dan dapat diperiksa, idealnya referensi yang dapat Anda hubungi. Jawaban yang mengkhawatirkan: "kami tidak dapat mengungkapkan klien kami" untuk produk yang tidak menangani sesuatu yang sensitif. Itu bukan kerahasiaan, itu adalah ketiadaan referensi.

8. Berapa waktu aktif dan riwayat insiden Anda yang sebenarnya?

Jawaban bagus: halaman status, atau minimal jawaban langsung dengan nomor. Jawaban yang mengkhawatirkan: "kami tidak pernah mengalami downtime." Tidak ada yang belum melakukannya.

9. Berapa banyak dari Anda, dan berapa penyedia model yang mendasarinya?Jawaban yang bagus: perincian yang jujur, sebagian besar vendor merupakan lapisan di atas model dasar dan hal tersebut tidak masalah, selama mereka memahami nilai sebenarnya (alur kerja, integrasi, penyesuaian domain) versus kemampuan model mentah dengan jelas.

Jawaban yang mengkhawatirkan: mengklaim AI berpemilik padahal itu hanya membungkus API tujuan umum dengan harga seolah-olah itu adalah sesuatu yang dibuat dari awal.

10. Apa klausa keluarnya?

Jawaban yang bagus: dari bulan ke bulan atau periode pemberitahuan yang wajar, tidak ada hukuman yang dikenakan. Jawaban yang mengkhawatirkan: kontrak multi-tahun dengan biaya terminasi dini, yang diberikan kepada Anda sebagai "diskon pelanggan pendiri" untuk membuat penguncian terasa seperti sebuah bantuan.

Membaca polanya, bukan hanya jawabannya

Tidak ada jawaban yang samar-samar yang bisa mematikan kesepakatan, vendor sering kali merupakan tim yang lebih kecil yang belum memformalkan setiap kebijakan, dan hal ini tidak secara otomatis mendiskualifikasi. Yang penting adalah pola dari sepuluh hal tersebut. Vendor yang spesifik tentang modelnya, jujur ​​tentang mode kegagalan, dan jelas tentang kepemilikan data sedang membangun hubungan nyata dengan Anda. Vendor yang tidak mengetahui empat atau lima hal di antaranya adalah menjual momentum, bukan produk, dan urgensi untuk mencapai kesepakatan di bulan Desember adalah tekanan yang membuat hal ini mudah untuk dilewatkan.

Jika Anda mempertimbangkan pembelian AI dibandingkan membangun sesuatu yang lebih sempit dan dimiliki sendiri, ini adalah fork yang sama yang tercakup dalam build versus buy, dan ada baiknya dijalankan sebelum Anda menandatangani, bukan setelahnya.

Kesimpulannya

Cetak sepuluh pertanyaan ini dan bawa ke panggilan vendor berikutnya, secara harfiah, sebagai daftar periksa. Jawaban spesifik kurang penting dibandingkan apakah vendor menjawab dengan jelas atau tidak. Ketidakjelasan mengenai ketergantungan model, penggunaan data, atau persyaratan keluar adalah jawabannya, bukan hal teknis yang harus dilakukan karena perwakilan penjualannya ramah dan demonya terlihat bagus.