Медленный вызов API Большой языковой модели в Китае? Практическое руководство из 4 шагов по тестированию скорости и определению кросс-граничной задержки
Примечание автора: замеряем с помощью curl и SDK время на DNS, TLS, первый токен и весь запрос — 4 шага, чтобы понять, где узкое место при вызове API большой языковой модели из Китая: в «трансграничном канале» или в «инференсе модели». «Почему API такой медленный?» — это, пожалуй, самый частый вопрос от разработчиков в Китае, которые…
