#DVFS
1개의 글
- SSD로 스트리밍하는 MoE는 왜 느렸을까: 8GB Jetson Orin Nano 2부
1부에서 메모리의 2.7배인 Qwen3.6-35B-A3B를 SSD 스트리밍으로 돌렸을 때 decode가 3 tok/s 안팎에 머문 데는 두 가지 병목이 있었습니다. 첫째, CPU가 expert를 계산하는 동안 GPU가 쉬는 탓에 governor가 GPU를 최저 클럭(306 MHz)에 묶어 두었습니다. 둘째, expert 가중치를 page fault로 읽는 동안 계산 스레드가 멈춰 SSD를 동시 I/O 1~2개로만 쓰고 있었습니다. 2부에서는 두 병목을 GPU 클럭 하한과 사용자 공간 expert 캐시로 풀어 가는 과정과, 이 방법이 통하지 않는 조건을 정리했습니다.