You Only Train Once: 더 효율적으로 Kanana SLM 개발하기 | AI 방향성
0:00 · Watch on YouTube
카카오의 Kana SLM 팀은 반복적인 프루닝 + 증류를 통해 3B/1.3B/0.9B 온디바이스 모델을 구축한 뒤, 반복적인 캐스케이드 탐색 대신 학습된 라우터를 사용해 한 번의 학습으로 여러 중첩 크기를 훈련하는 Kana Elastic Training으로 전환했다.
0:00 · Watch on YouTube
카카오의 Kana SLM 팀은 반복적인 프루닝 + 증류를 통해 3B/1.3B/0.9B 온디바이스 모델을 구축한 뒤, 반복적인 캐스케이드 탐색 대신 학습된 라우터를 사용해 한 번의 학습으로 여러 중첩 크기를 훈련하는 Kana Elastic Training으로 전환했다.