llama-modchip은 희소 MoE 체크포인트를 x86_64·ARM64 CPU의 시스템 RAM만으로 돌리는 ggml/llama.cpp 커널 패치·양자화 도구 모음이다. 284B DeepSeek-V4-Flash를 기본 76.87GiB에서 56.56GiB로 줄여 256K KV 캐시까지 스왑 없이 64GB RAM에 고정하며, SIMD 타일링 커널 패치로 16코어 Zen 5에서 프리필 +77%·디코드 +53%(25.0→44.36 tok/s)를 얻는다. 또 /dev/shm KV 스냅샷으로 40개 도구를 가진 Claude Code 프롬프트의 에이전트 컨텍스트를 13~33ms에 복원한다.
표준 UD-IQ1_S 빌드의 DeepSeek-V4-Flash(284.33B 총 파라미터, 레이어당 활성 13.17B)는 76.87GiB를 차지해 64GB 리눅스의 가용 RAM(~62.5GiB)을 넘겨 페이지 캐시 스래싱이나 OOM을 일으킨다. llama-modchip은 이를 56.56GiB로 줄여 256K KV 캐시를 포함한 전체를 스왑 없이 RAM에 고정한다.
성능은 커널 수준 패치에서 나온다. 프리필 때 단일 열 양자화 행렬-벡터 루프를 ZMM 레지스터·L1D·L2·L3 다단 타일링으로 바꾸고, 레지스터 고정 MQA8 FlashAttention과 비시간적 스트리밍으로 차가운 전문가 가중치가 뜨거운 KV 캐시 라인을 밀어내지 않게 했다. 16코어 Zen 5에서 디코드가 25.0→44.36 tok/s로 올랐다.
에이전트 사용도 염두에 뒀다. Zobrist n-gram 드래프터와 /dev/shm KV 슬롯 스냅샷을 묶어, 40개 도구를 가진 Claude Code 프롬프트의 컨텍스트를 13.1~33ms에 복원한다. AVX-512/AVX2, NEON/SVE, Apple Metal을 지원하는 CPU-우선 설계다.