프리픽스 캐시

작성자 주: Agent의 장기 작업에서 발생하는 Token 비용 구조를 살펴보고, 입력 Token이 대부분을 차지하는 이유와 컨텍스트 구성을 조정해 프리픽스 캐시 재사용률을 높이는 방법을 설명해요. 많은 팀이 다단계 Agent를 제품에 도입한 뒤 월말 청구서를 보고 놀라곤 해요. 사용자는 요청 하나만 했는데, 소비한 Token은 일반 대화의 수십 배에 달하죠. 보통 “모델 출력이 너무 길다”고 생각해 출력 길이부터…