Modellaufrufe für Großes Sprachmodell per API in China langsam? Ein Praxisleitfaden in 4 Schritten zur Geschwindigkeitsmessung und Lokalisierung grenzüberschreitender Latenz
Anmerkung des Autors: Mit curl und SDK die Zeitmessung in DNS, TLS, erstes Token und Gesamtdauer aufschlüsseln – in 4 Schritten feststellen, ob der Engpass bei API-Aufrufen großer Sprachmodelle aus dem Inland in der „grenzüberschreitenden Verbindung“ oder in der „Modellinferenz“ liegt. „Warum ist die API bloß so langsam?“ – Das ist der Satz, den Entwickler…
