Stop twisting every dial: One open Inference tuning lesson
Ethereum Foundation · 3:28 · Watch on YouTube
핵심 요약: Digital Ocean의 소프트웨어 엔지니어인 아크사(Aksa)는 대형 모델(큐원 3.5, 400B 파라미터, 8개 GPU)을 vLLM에서 실행하던 중 온콜 크래시 루프 문제를 겪었으며, AMD의 고속 수학 라이브러리인 iτερ를 제거하자 상황이 오히려 악화되었고, 올바른 점검은 GPU 메모리 사용량(gpumemoryutilization) 파라미터로 이어진다고 말합니다....