Can One Model Run Your App And Evals?
Hamel Husain · 3:16 · Watch on YouTube
같은 모델을 에이전트와 LLM 판사로 모두 사용하는 것은 보통 괜찮습니다. 판사는 다르고 더 좁은 작업을 수행하며, 중요한 것은 그 판정이 보류 데이터에서 인간의 판정과 일치하는지 여부입니다. 좋은 합의를 얻을 수 없을 때만 모델을 전환하세요. 발표자는 또한 가장 강력한 사용 가능한 판사 모델로 시작한 후 나중에 비용을 절감할 것을 권장합니다.