#벤치마크
2개의 글
- 추측 디코딩과 배칭: RTX 3090 2장에서 동시 요청 수가 바꾼 최적 설정
30B급 모델 3종을 vLLM으로 서빙하며 추측 디코딩, KV 캐시 정밀도, NVLink를 동시 요청 1~32에서 측정했다. 추측 디코딩의 이득은 모델과 동시성에 따라 부호가 바뀌었고, 원인 가설과 검증하지 못한 범위를 구분해 정리했다.
- LLM 벤치마크의 간헐적 지연: 원인 분석과 측정 규약
반복 측정, 로그 대조, CPU 이동 실험으로 decode 지연을 분석했다. 관측 결과와 인과 추론의 한계를 구분하고, 아키텍처 비교에 사용할 측정 규약과 진단 종료 기준을 정했다.