Setiap minggu di tahun ini membawa pengumuman model baru, grafik benchmark baru, alat baru yang menjanjikan untuk mengubah segalanya. Menyortir tren bisnis yang penting dari kebisingan yang tidak penting sebaiknya dilakukan sekarang, sebelum Anda merencanakan inisiatif tahun depan, karena sebagian besar hal yang mendapat perhatian pada tahun 2024 tidak benar-benar mengubah apa yang layak untuk dibangun. Tiga hal berhasil, dan yang lainnya hanyalah komentar.

Saya mengatakan ini sebagai seseorang yang menghabiskan waktu setahun mengembangkan hal ini untuk klien sebenarnya, bukan membacanya. Proyek-proyek yang menjadi lebih mudah untuk dibenarkan tahun ini menjadi lebih mudah karena alasan yang sangat spesifik dan membosankan, dan layak untuk disebutkan secara jelas.

Tren pertama: harga per token anjlok

Pada awal tahun, menjalankan model yang mumpuni dalam skala besar membutuhkan biaya yang cukup mahal sehingga banyak ide alat internal yang tidak bisa diwujudkan, AI membutuhkan biaya lebih besar daripada tenaga kerja yang seharusnya dihemat. Pada akhir tahun, biaya per token untuk kemampuan yang sebanding telah turun sekitar satu tingkat besarnya di seluruh penyedia utama. GPT-4 membuka pintu kemampuan pada awal tahun; penurunan harga sejak saat itu adalah hal yang membuka pintu untuk penerapannya secara luas.

Ini bukanlah sebuah detail kecil, ini adalah perbedaan antara sebuah proyek yang menjadi proyek percontohan selamanya dan sebuah proyek yang memasuki tahap produksi. Alat triase layanan pelanggan yang memerlukan biaya operasional sebesar 8 juta Rupiah per bulan adalah hal yang sulit untuk dilakukan jika dibandingkan dengan menyewa layanan dukungan. Alat yang sama dengan 1 juta sebulan itu mudah ya. Tidak ada sesuatu pun tentang kecerdasan mendasar yang perlu diubah agar perhitungan tersebut dapat membalikkan keputusan, dan tahun ini banyak bisnis yang tertahan di bulan Januari mengalami kegagalan.

Tren kedua: jendela konteks menjadi semakin penting

Di awal tahun, memberi model seluruh panduan kebijakan, kontrak lengkap, atau riwayat pelanggan yang panjang berarti membaginya menjadi beberapa bagian dan berharap pengambilan akan memilih yang tepat. Pada akhir tahun ini, jendela konteks yang cukup besar untuk menampung seluruh dokumen, terkadang seluruh basis kode, menjadi standar dan bukan pengecualian, Claude 3 mendorong hal ini lebih jauh dibandingkan kebanyakan lainnya.

Efek praktisnya: banyak proyek "kita memerlukan sistem pengambilan keseluruhan" yang disederhanakan menjadi "hanya tempel di dokumen". Itu adalah pengurangan nyata dalam kompleksitas teknik, bukan angka patokan. Proyek yang membutuhkan waktu tiga minggu bagi tim untuk membangun jalur pengambilan saat ini memerlukan waktu beberapa hari, karena Anda sering kali dapat menyerahkan keseluruhan modelnya.

Tren ketiga: pola produksi semakin matang

Gelombang pertama proyek AI, termasuk banyak proyek yang saya buat pada tahun 2023, pada dasarnya adalah "panggilan API dan harapan". Tahun ini, serangkaian pola produksi semakin kokoh: keluaran terstruktur dibandingkan dengan menguraikan teks bebas, fungsi yang memerlukan penggunaan alat yang andal, pemanfaatan evaluasi yang menangkap regresi sebelum mencapai pelanggan, dan konsensus industri secara umum tentang cara menjaga manusia tetap mengetahui segala sesuatu yang penting.

Ini lebih penting daripada kedengarannya. Pola yang telah diuji di ribuan penerapan produksi adalah pola yang dapat Anda bangun dengan percaya diri. Trik cepat cerdas yang berhasil di postingan blog seseorang tidak. Proyek yang saya kirimkan tahun ini lebih dapat diandalkan dibandingkan tahun lalu bukan karena modelnya menjadi jauh lebih cerdas, namun karena perancah di sekitarnya, masuk dan keluarnya data terstruktur, logging, evaluasi, menjadi benar-benar lebih baik.

Apa yang tidak sepenting yang disarankan dalam berita utama- Lompatan tolok ukur antar penyedia. Setiap beberapa minggu, model baru mengklaim posisi teratas pada beberapa tolok ukur. Untuk kasus penggunaan bisnis nyata, kesenjangan antara tiga penyedia teratas cukup menyempit pada tahun ini sehingga pilihan model tidak terlalu penting dibandingkan kualitas integrasi.

  • Sebagian besar "agen" hype. Agen multi-langkah yang sepenuhnya otonom mendapat banyak cakupan dan sangat sedikit penerapan produksi aktual untuk kasus penggunaan UKM. Kemenangan yang dapat diandalkan tahun ini adalah alat yang lebih sempit dan memiliki cakupan yang lebih baik, bukan agen yang bersifat terbuka.
  • Sebagian besar produk titik AI yang berdiri sendiri. Gelombang aplikasi AI dengan tujuan tunggal diluncurkan dan banyak yang mati secara diam-diam. Bisnis yang mendapatkan nilai membangun AI ke dalam alur kerja yang ada daripada menambahkan aplikasi baru untuk diperiksa.

Apa artinya ini bagi perencanaan tahun depan

Jika Anda sedang membangun [peta jalan AI untuk tahun depan] (/blog/your-ai-roadmap-for-next-year), pertimbangkan tiga perubahan nyata ini daripada mengejar apa pun yang diumumkan berikutnya. Token yang lebih murah berarti proyek-proyek yang tidak diselesaikan pada bulan Januari mungkin akan berakhir sekarang, sehingga layak untuk diberi biaya ulang atas apa pun yang Anda simpan. Jendela konteks yang lebih besar berarti beberapa sistem pengambilan terencana dapat disederhanakan. Pola produksi yang matang berarti Anda harus bertanya kepada vendor atau tim internal mana pun apakah mereka menggunakan keluaran dan evaluasi terstruktur, bukan hanya apakah mereka "menggunakan AI".

Kesimpulannya

Dari semua hal yang dipublikasikan tentang tren AI untuk bisnis tahun ini, sinyalnya masih sempit: token menjadi jauh lebih murah, jendela konteks menjadi jauh lebih besar, dan pola rekayasa untuk menggunakan model yang andal dalam produksi semakin matang. Itu saja. Segala sesuatu yang lain, perlombaan patokan, hype agen, produk-produk baru yang tak ada habisnya, adalah kebisingan yang dapat Anda abaikan dengan aman dalam perencanaan tahun depan.