#KV Cache
1개의 글
- 추측 디코딩과 배칭: RTX 3090 2장에서 동시 요청 수가 바꾼 최적 설정
30B급 모델 3종을 vLLM으로 서빙하며 추측 디코딩, KV 캐시 정밀도, NVLink를 동시 요청 1~32에서 측정했다. 추측 디코딩의 이득은 모델과 동시성에 따라 부호가 바뀌었고, 원인 가설과 검증하지 못한 범위를 구분해 정리했다.
1개의 글
30B급 모델 3종을 vLLM으로 서빙하며 추측 디코딩, KV 캐시 정밀도, NVLink를 동시 요청 1~32에서 측정했다. 추측 디코딩의 이득은 모델과 동시성에 따라 부호가 바뀌었고, 원인 가설과 검증하지 못한 범위를 구분해 정리했다.