리더보드 점수를 전적으로 믿을 수 없는 이유: benchmaxing의 3가지 원인과 4단계 자체 작업 평가로 모델 선택하기
작성자 주: 공개 벤치마크 점수는 특정 방식으로 부풀려질 수 있어요. 이 글에서는 benchmaxing이 발생하는 이유와 신뢰도를 확인하는 5가지 항목, 자체 업무로 비공개 평가 세트를 만드는 4단계 방법을 살펴봐요. 결론부터 말하면 벤치마크 순위는 조사 출발점으로 삼을 수 있지만, 그 자체를 모델 선정의 결론으로 삼아서는 안 돼요. 상위 모델들은 종합 순위에서 몇 점 차이로 경쟁하는 경우가 많고,…