#통합 메모리

8GB급 엣지 기기에서 메모리보다 큰 모델을 돌리는 방법으로 SSD 스트리밍이 주목받고 있다. Jetson Orin Nano Super에서 메모리의 2.7배인 Qwen3.6-35B-A3B를 llama.cpp mmap 스트리밍으로 돌려 보며, 이 방식이 실제로 어디까지 쓸 만하고 속도가 어디서 막히는지 확인했다.

NVFP4 표기 체크포인트를 GB10 두 대에 올리다 시스템이 34분간 멎었다. 바이트의 약 58%가 BF16 PLE였다. PLE를 FP8로 바꾸고 128개 파일로 나눠 TP=2로 기동한 과정과 최적화 전 기준 성능을 기록한다.