Minggu lalu Meta merilis Llama 2, dan untuk pertama kalinya sebuah large language model yang benar-benar mumpuni hadir dengan lisensi yang mengizinkan sebagian besar perusahaan menggunakannya secara komersial, gratis. Ini lebih signifikan dari sekadar hiruk-pikuk rilis model biasa, dan layak dipahami bahkan jika Anda tidak pernah menyentuhnya sendiri.
Bagi kebanyakan UKM di Indonesia, jawaban jujurnya adalah open source llm untuk bisnis yang bagus sekalipun tidak akan mengubah apa yang Anda kerjakan bulan depan. Anda sebaiknya tetap memakai API dari penyedia-penyedia besar. Tapi kehadiran Llama 2 mengubah pasar di baliknya, dan membuka pintu nyata bagi jenis bisnis tertentu. Keduanya layak mendapat sepuluh menit perhatian Anda.
Mari saya kupas romantisasinya, karena banyak sekali yang beredar soal ini.
Apa sebenarnya Llama 2 itu, secara sederhana
Llama 2 adalah language model yang bobotnya (weights), otak hasil pelatihan sebenarnya, bisa Anda unduh dan jalankan di perangkat keras sendiri. Bandingkan dengan model-model hosted yang sudah dikenal, di mana Anda mengirim teks ke server milik orang lain dan menerima jawaban kembali. Dengan API hosted, Anda menyewa kecerdasan. Dengan model open source, Anda memiliki salinannya sendiri.
Perbandingan yang langsung terlintas: apakah Llama 2 sebagus model hosted terbaik? Untuk model hosted terbesar, belum, belum sepenuhnya. Tapi untuk banyak tugas bisnis biasa, selisihnya cukup tipis sehingga tidak lagi jadi masalah. Meringkas dokumen, menyusun draf balasan, mengklasifikasikan tiket support, mengekstrak data dari teks berantakan. Untuk hal-hal itu, model open source sudah cukup mumpuni.
Namun kata "gratis" di sini menanggung beban yang berat, dan inilah bagian yang paling sering disalahpahami.
Gratis untuk dilisensikan bukan berarti gratis untuk dijalankan
Mengunduh Llama 2 tidak dikenakan biaya. Menjalankannya di production, biayanya banyak, dan bukan jenis biaya yang muncul rapi sebagai tagihan bulanan.
Berikut apa yang sebenarnya berarti self-hosting bagi sebuah bisnis:
- Hardware. Model yang mumpuni butuh GPU kelas berat. Membelinya adalah biaya modal yang besar; menyewanya dari cloud provider cepat membengkak dan bisa dengan mudah melampaui biaya yang akan Anda bayarkan ke API untuk volume yang sama.
- Engineering. Seseorang harus men-deploy model itu, menjaganya tetap berjalan, menangani scaling, melakukan patch, dan memperbaikinya jam 2 pagi saat rusak. Itu gaji sungguhan atau retainer sungguhan, bukan pekerjaan sampingan.
- Maintenance berkelanjutan. Model terus berkembang, muncul isu keamanan, dependency rusak. Self-hosting berarti Anda kini memiliki sebuah sistem selamanya, dengan segala tanggung jawab yang menyertainya.
Sebaliknya, API adalah biaya per-request tanpa beban operasional itu semua. Anda membayar sesuai pemakaian dan orang lain yang menjaga sistemnya tetap menyala. Bagi kebanyakan UKM dengan volume sedang, API bukan sekadar lebih mudah, tapi benar-benar lebih murah begitu biaya tersembunyinya dihitung secara jujur. Ini jebakan yang sama seperti jalan pintas yang menggiurkan lainnya, dan sangat terkait dengan alasan mengapa software murah justru berujung lebih mahal: harga di label menyembunyikan tagihan sesungguhnya.
Siapa yang benar-benar membutuhkan model open source
Jadi siapa yang sebenarnya perlu peduli dengan self-hosting? Kelompok tertentu saja, dan kalau Anda tidak termasuk di dalamnya, Anda bisa lanjut dengan tenang.
- Industri yang sensitif terhadap data. Jika Anda menangani rekam medis, data keuangan, atau apa pun di bawah aturan kerahasiaan ketat, mengirim teks nasabah ke API pihak ketiga bisa menjadi masalah kepatuhan atau bahkan tidak bisa diterima sama sekali oleh klien Anda. Menjalankan model di dalam tembok Anda sendiri menyelesaikan itu secara bersih. Perusahaan multifinance yang menangani data debitur yang sensitif adalah contoh klasiknya.
- Volume tinggi dan stabil. Pada volume kecil, API menang dari sisi biaya. Pada volume sangat besar dan bisa diprediksi, hitungannya bisa terbalik dan memiliki infrastruktur sendiri jadi lebih murah. Anda harus benar-benar menghitungnya, bukan sekadar mengasumsikan.
- Kebutuhan kustomisasi yang mendalam. Jika Anda perlu melakukan fine-tuning berat pada model dengan domain Anda sendiri dan menjaga kendali penuh atas versi hasil tuning itu, memiliki weights-nya menjadi penting. Kebanyakan bisnis tidak membutuhkan ini. Sebagian memang benar-benar membutuhkannya.
Jika tidak satu pun dari itu menggambarkan Anda, maka API adalah pilihan yang tepat, dan memilihnya bukan berarti berkompromi. Itu justru disiplin engineering yang baik.
Mengapa ini penting bahkan jika Anda tidak pernah self-hosting
Inilah bagian yang memengaruhi semua orang, termasuk yang tetap memakai API.
Model gratis yang mumpuni menekan harga di seluruh pasar. Ketika siapa pun bisa menjalankan model yang layak sendiri, penyedia hosted tidak bisa lagi mematok harga semaunya. Kompetisi dari model open source sudah menekan harga API turun dan akan terus begitu. Anda diuntungkan dari keberadaan Llama 2 bahkan jika Anda tidak pernah mengunduhnya, karena itu membuat layanan yang Anda pakai jadi lebih murah dan memaksa seluruh industri bergerak lebih cepat.
Ini juga mengubah daya tawar negosiasi. Jika sebuah vendor mencoba mengunci Anda ke model proprietary mereka dengan harga premium, "kami bisa self-host alternatif open source" kini menjadi posisi yang kredibel, bahkan jika Anda sebenarnya lebih memilih tidak melakukannya. Opsi yang tidak Anda gunakan pun tetap menggeser kesepakatan.
Kesimpulan praktisnya
Llama 2 membuat open source llm untuk bisnis yang kuat kini bisa dilisensikan secara gratis, dan itu diam-diam memperbaiki posisi Anda baik Anda mengadopsinya maupun tidak. Tapi jangan sampai siapa pun meromantisasi Anda untuk self-hosting. Bagi kebanyakan UKM, API tetap lebih sederhana dan lebih murah begitu biaya tersembunyi dari hardware, engineering, dan maintenance dihitung secara jujur.
Self-host hanya jika Anda menangani data yang benar-benar sensitif, menjalankan volume sangat tinggi dan stabil, atau butuh kustomisasi mendalam. Selain itu, pakai API, nikmati harga yang terus turun berkat dorongan model open source, dan curahkan energi Anda ke masalah bisnis sesungguhnya yang ingin diselesaikan AI. Jika Anda ingin bantuan menjalankan keputusan itu untuk situasi spesifik Anda alih-alih menebak-nebak, itulah jenis panggilan yang saya bantu selesaikan untuk klien sebagai technology partner.