Из чего складывается счёт за токены при длительных задачах агента: 99,4% приходится на входные данные и 5 способов оптимизации кеширования префиксов
Примечание автора: разберём структуру расходов на токены в длительных задачах агента, выясним, почему основная доля приходится на входные токены, и как организовать контекст, чтобы чаще использовать кэш префиксов. Многие команды после внедрения многошаговых агентов в продукт обнаруживают проблему только в конце месяца, когда получают счёт: пользователь отправил всего один запрос, а токенов израсходовано в десятки…