How to Serve Big LLM over Decentralized GPUs? | Parallax + Dynamic Programming
0:00 · Watch on YouTube
Parallax는 Gradient의 오픈소스 엔진으로, 데이터 센터 대신 산재된 혼합 소비자 GPU와 Mac에서 대규모 LLM을 실행하기 위해 설계되었습니다. 두 단계로 계획합니다: 먼저 어떤 GPU가 어떤 모델 레이어를 보유할지 결정하고, 각 요청에 대해 가장 빠른 사용 가능한 GPU 체인을 선택합니다. GPU가 추가되거나 제거될 때도 조정합니다. 논문의 테스트에서 2024년 분산형...