Routage des modèles

Note de l’auteur : cet article explique, à travers trois dimensions — la difficulté de la tâche, le coût d’une erreur et la taille du contexte — comment router les grands modèles de langage par niveaux de tâches, afin de réserver le modèle phare aux requêtes qui en ont réellement besoin. Pour beaucoup d’équipes, la…