Evaluating Agents with Braintrust
Greylock · 57:34 · Watch on YouTube
Ankur Goyal, Braintrust의 창립자이자 CEO는 에이전트를 평가하는 것이 다른 AI 소프트웨어를 평가하는 것보다 근본적으로 더 어렵지 않다고 주장합니다. 대부분의 좋은 에이전트는 단지 "도구가 있는 for 루프"일 뿐이며, 최고의 팀들은 견고한 엔드-투-엔드 평가를 더 작은 개별 단계 평가와 짝지어 사용합니다. 그는 평가를 벤치마크가 아닌 인간의 주의를 지정하는 방법으로...