Präfix-Caching

Anmerkung des Autors: Dieser Artikel analysiert die Token-Kosten langer Agent-Aufgaben, erklärt den hohen Anteil der Eingabe-Token und zeigt, wie sich der Kontext für eine bessere Wiederverwendung des Präfix-Caches strukturieren lässt. Viele Teams bemerken das Problem erst beim Blick auf die Monatsrechnung, nachdem sie einen mehrstufigen Agenten in ihr Produkt eingebunden haben: Ein Nutzer stellt nur…