The Evolution of Reasoning in Small Language Models [Yejin Choi] - 761
0:00 · Watch on YouTube
Yejin Choi (Stanford CS and HAI)는 오늘날의 AI가 모델 크기보다는 데이터에 의해 더 제약을 받는다고 주장합니다. LLM은 생성하는 것이 놀랍도록 균일하며, 그녀는 작고 개방된 모델이 신중하게 다양화된 합성 데이터, 사전 학습에 내장된 강화 학습, 그리고 "다원주의적" 정렬을 통해 따라잡을 수 있다고 생각하므로, 유능한 AI는 거대한 GPU 예산을 가진 회사들로...