[ifkakao2021] TensorFlow Serving보다 10배 빠르게 서빙하기
kakao tech · 13:45 · Watch on YouTube
카카오의 추천팀이 TensorFlow로 구축한 광고 클릭률(pCTR) 모델을 커스텀 C++ 추론 엔진으로 서빙했습니다. 8코어 VM에서 초당 약 120,000개에서 1,225,000개의 추론(IPS)으로 TensorFlow Serving보다 10.29배 빨랐습니다. 성능 향상은 간단한 누적 최적화에서 비롯되었습니다: 코드 정리, 입력 데이터에 대한 도메인 지식 활용, 범용 설계 제거,...