#self-distillation

앞 글에서 합성 프롬프트 탓으로 본 EXAONE 4.5 33B의 MTP 수용률 0%를 다시 추적했습니다. vLLM 구현과 실행 설정을 하나씩 배제해 보니, 수용률을 가른 변수는 추론(thinking) 모드 여부였고 원인은 MTP 헤드 가중치였습니다. 본체가 직접 생성한 응답으로 헤드만 다시 학습해, 비추론 응답을 MTP 없이 돌릴 때보다 1.67배 빠르게 만들었습니다. 추론 모드 속도는 원래 MTP와 같은 수준을 유지했습니다.