Nemotron 관련 소식
모두 1건, 최신순입니다.
GPU 없이 64GB RAM에서 DeepSeek-V4-Flash 284B를 돌리는 llama-modchip
Hacker News에 공유된 GitHub 저장소 llama-modchip는 DeepSeek-V4-Flash 284B 체크포인트를 56.93 GiB(MaxQ-Fractal)와 56.40 GiB(VQ3)로 올렸다. README에 따르면 GPU 없는 64GB 데스크톱에서 N=1 기준 8.75–9.55 tok/s, 추측 디코딩 사용 시 11.2–25.3 tok/s다.
일부 사용 가능