#vLLM

앞 글에서 합성 프롬프트 탓으로 본 EXAONE 4.5 33B의 MTP 수용률 0%를 다시 추적했습니다. vLLM 구현과 실행 설정을 하나씩 배제해 보니, 수용률을 가른 변수는 추론(thinking) 모드 여부였고 원인은 MTP 헤드 가중치였습니다. 본체가 직접 생성한 응답으로 헤드만 다시 학습해, 비추론 응답을 MTP 없이 돌릴 때보다 1.67배 빠르게 만들었습니다. 추론 모드 속도는 원래 MTP와 같은 수준을 유지했습니다.

NVFP4 표기 체크포인트를 GB10 두 대에 올리다 시스템이 34분간 멎었다. 바이트의 약 58%가 BF16 PLE였다. PLE를 FP8로 바꾸고 128개 파일로 나눠 TP=2로 기동한 과정과 최적화 전 기준 성능을 기록한다.

30B급 모델 3종을 vLLM으로 서빙하며 추측 디코딩, KV 캐시 정밀도, NVLink를 동시 요청 1~32에서 측정했다. 추측 디코딩의 이득은 모델과 동시성에 따라 부호가 바뀌었고, 원인 가설과 검증하지 못한 범위를 구분해 정리했다.