Getting Evals Right for LLM Applications | Interrupt 26
LangChain · 17:42 · Watch on YouTube
Hamel과 Shreya는 평가(evals)와 AI "harnesses"가 대부분 데이터 과학이라고 주장합니다: 로그, 메트릭, 추적, 신중한 레이블 지정, 그리고 검증입니다. 많은 AI 엔지니어링 팀이 실패하는 이유는 그 엄격성을 감정적 판단, 기성 메트릭, 그리고 확인하지 않은 LLM 판사로 바꾸기 때문입니다. 이 강연은 4,500명 이상의 사람들을 가르치면서 본 가장 일반적인 평가...