هل استدعاء API لنموذج لغة كبير بطيء محلياً؟ دليل عملي من 4 خطوات لاختبار السرعة وتحديد التأخير عبر الحدود
ملاحظة المؤلف: باستخدام curl وSDK للقياس الزمني، فكّك زمن DNS وTLS وأول token والزمن الإجمالي، وحدّد في 4 خطوات ما إذا كانت عنق الزجاجة في استدعاء واجهات نماذج اللغة الكبيرة من داخل الصين تكمن في “الرابط العابر للحدود” أم في “استدلال النموذج”. “لماذا هذه الواجهة بطيئة إلى هذا الحد؟” هذا أكثر سؤال يردده المطورون داخل…
