How to Train Models Too Big for One GPU | ZeRO & FSDP
Jia-Bin Huang · 23:05 · Watch on YouTube
한 GPU에 너무 큰 모델을 학습시키기 위해서는 두 가지 기법이 필요합니다. Mixed precision은 계산을 16비트에서 실행하고 옵티마이저를 위해 32비트 복사본을 유지하는데, 이는 매개변수당 16바이트입니다. ZeRO(Zero Redundancy Optimizer)와 PyTorch의 FSDP는 옵티마이저 상태, 그래디언트, 가중치를 GPU들 간에 분산시켜 각 GPU가 모델 상태...