ذاكرة OpenAI المؤقتة

إن أكبر ثقب أسود في تكاليف تشغيل تطبيقات نماذج اللغة الكبيرة (LLM) ليس في الرموز (tokens) الناتجة، بل في الموجهات النظامية (system prompt) والمستندات الطويلة التي يتم إعادة إرسالها مراراً وتكراراً. قدمت كل من OpenAI وAnthropic الحل — وهو التخزين المؤقت للموجهات (prompt caching)، لكن فلسفة الفوترة لدى الشركتين مختلفة تماماً: تتبع OpenAI نهج "صفر…