LLM에 대한 결론은 평균 15.7개월이면 유효기간이 끝난다: 모델 선택 시 버전별로 다시 테스트해야 하는 이유(5단계 재테스트 체크리스트)
작성자 주: 스탠퍼드 연구에 따르면 LLM에 관한 널리 알려진 결론 중 44%가 이미 유효하지 않으며, 유효 기간은 평균 15.7개월에 불과해요. 이 글에서는 연구 결과를 개발팀이 바로 활용할 수 있는 모델 선정 재검증 체크리스트로 정리했어요. “어떤 모델은 strawberry에 r이 몇 개 있는지 세지 못한다”, “긴 컨텍스트의 중간에 있는 정보는 놓친다”, “모델은 참고문헌을 지어내기 좋아한다” 같은 말을…