#sLLM
1개의 글
- 8GB Jetson Orin Nano에서 메모리보다 큰 MoE를 SSD로 스트리밍하기
8GB급 엣지 기기에서 메모리보다 큰 모델을 돌리는 방법으로 SSD 스트리밍이 주목받고 있다. Jetson Orin Nano Super에서 메모리의 2.7배인 Qwen3.6-35B-A3B를 llama.cpp mmap 스트리밍으로 돌려 보며, 이 방식이 실제로 어디까지 쓸 만하고 속도가 어디서 막히는지 확인했다.
1개의 글
8GB급 엣지 기기에서 메모리보다 큰 모델을 돌리는 방법으로 SSD 스트리밍이 주목받고 있다. Jetson Orin Nano Super에서 메모리의 2.7배인 Qwen3.6-35B-A3B를 llama.cpp mmap 스트리밍으로 돌려 보며, 이 방식이 실제로 어디까지 쓸 만하고 속도가 어디서 막히는지 확인했다.