Dari Mana Biaya Token untuk Tugas Agen Berdurasi Panjang Berasal: Input Mencakup 99,4% dan 5 Cara Mengoptimalkan Cache Prefiks
Catatan penulis: Artikel ini membedah struktur tagihan Token untuk tugas Agent yang panjang, menjelaskan mengapa Token input mendominasi, serta cara menata konteks agar cache prefiks lebih sering digunakan kembali. Banyak tim baru menyadari masalahnya setelah mengintegrasikan Agent multilangkah ke produk dan melihat tagihan di akhir bulan: satu permintaan pengguna ternyata menghabiskan Token puluhan kali lebih…