DeepSeek's New LLM Engine Just Made GPUs 3x More Valuable
bycloud · 19:18 · Watch on YouTube
DeepSeek의 V4.1 Flash 1017 업데이트와 오픈소스된 Deep Infer 엔진은 GPU당 토큰 수익이 2025년 2월 V3/R1 스택의 시간당 약 $12.91에서 오프피크 시간당 약 $38로 뛴 이유로 제시된다. 프리필과 디코드는 서로 다르게 스케줄되고, 전문가 병렬화는 메모리 대역폭이 지배하는 곳에서만 넓어지며, 96% KV 캐시 적중률은 GPU를 25배 빠르게 만들지...