D’où vient la facture en tokens des tâches longues des agents : 99,4 % pour les entrées et 5 pratiques d’optimisation du cache de préfixe
Note de l’auteur : décryptage de la facture en tokens des tâches longues d’un Agent : pourquoi les tokens d’entrée en représentent la plus grande part et comment structurer le contexte pour mieux réutiliser le cache de préfixe. Beaucoup d’équipes découvrent le problème en consultant leur facture mensuelle après avoir intégré des Agents à plusieurs…