How We Know If a Model Is Any Good 2
Grace Gong · 19:10 · Watch on YouTube
패널 토론에서 다섯 명의 벤치마크 및 평가 전문가들은 공개 모델 벤치마크가 종종 신뢰할 수 없거나 악용될 수 있다고 주장하며, 기업들은 대신 실제 사용자 행동을 기반으로 자체적인 "골든 세트" 평가를 구축해야 한다고 말합니다 — 갓 출시된 GPT-6 Astra("Astra"라고 지칭됨)를 실시간 사례로 사용하면서요. 이들의 합의는 벤치마크는 기껏해야 마케팅 및 방향성 신호일 뿐이며, 신...