#llama.cpp
3개의 글
- SSD로 스트리밍하는 MoE는 왜 느렸을까: 8GB Jetson Orin Nano 2부
1부에서 메모리의 2.7배인 Qwen3.6-35B-A3B를 SSD 스트리밍으로 돌렸을 때 decode가 3 tok/s 안팎에 머문 데는 두 가지 병목이 있었습니다. 첫째, CPU가 expert를 계산하는 동안 GPU가 쉬는 탓에 governor가 GPU를 최저 클럭(306 MHz)에 묶어 두었습니다. 둘째, expert 가중치를 page fault로 읽는 동안 계산 스레드가 멈춰 SSD를 동시 I/O 1~2개로만 쓰고 있었습니다. 2부에서는 두 병목을 GPU 클럭 하한과 사용자 공간 expert 캐시로 풀어 가는 과정과, 이 방법이 통하지 않는 조건을 정리했습니다.
- 8GB Jetson Orin Nano에서 메모리보다 큰 MoE를 SSD로 스트리밍하기
8GB급 엣지 기기에서 메모리보다 큰 모델을 돌리는 방법으로 SSD 스트리밍이 주목받고 있다. Jetson Orin Nano Super에서 메모리의 2.7배인 Qwen3.6-35B-A3B를 llama.cpp mmap 스트리밍으로 돌려 보며, 이 방식이 실제로 어디까지 쓸 만하고 속도가 어디서 막히는지 확인했다.
- LLM 벤치마크의 간헐적 지연: 원인 분석과 측정 규약
반복 측정, 로그 대조, CPU 이동 실험으로 decode 지연을 분석했다. 관측 결과와 인과 추론의 한계를 구분하고, 아키텍처 비교에 사용할 측정 규약과 진단 종료 기준을 정했다.