Why Your LLM Evals Are Missing Critical Failures
The TWIML AI Podcast with Sam Charrington · 52:49 · Watch on YouTube
Scott Clark(이전에는 SigOpt의 공동 창립자인 Distributional의 공동 창립자이자 CEO)는 프로덕션에서 AI 에이전트를 실행하는 팀이 로깅 및 모니터링 위에 분석이 필요하다고 주장합니다. 여기서 분석은 비지도 학습과 LLM을 사용하여 에이전트가 호출하지 않은 도구를 호출했다고 주장하는 경우와 같이 프로덕션 추적에서 "알려지지 않은 미지수"를 찾는 것을 의미합니다....