Can Claude Build Your Evals?
Hamel Husain · 47:58 · Watch on YouTube
두 명의 평가(eval) 실무자가 100개의 실제 익명화된 주택 임대 어시스턴트 추적 데이터를 사용하여 Anthropic의 새로운 Claude API 평가 구축 및 언덕 등반 기술을 테스트합니다. 그들의 평가는 실패입니다: Claude는 데이터에서 실제 버그를 발견했지만, 워크플로우는 사용자가 데이터를 살펴보기 전에 테스트를 구축합니다. 그 후 Markdown과 터미널에서 추적 데이터를...