작업별 계층형 라우팅 대규모 언어 모델: 3계층 아키텍처로 플래그십 모델을 사용할 가치가 있는 요청 판별
작성자 주: 이 글은 작업 난이도, 오류 비용, 컨텍스트 규모라는 세 가지 차원에서 대규모 언어 모델을 작업 계층별로 라우팅하는 방법을 명확히 설명하고, 플래그십 모델은 정말로 필요한 요청에만 남겨 두는 방법을 다뤄요. 대규모 언어 모델을 도입하는 많은 팀의 첫 단계는 모든 요청을 현재 가장 강력한 플래그십 모델로 보내는 것이에요. 프로토타입 단계에서는 문제가 없지만, 요청량이 늘어나면 청구서가…