Young Tries AI

DeepSeek-V4.1-Flash 관련 소식

모두 1건, 최신순입니다.

  1. tandem.cpp에 AMD ROCm 지원 추가, 16GB 카드로 DeepSeek-V4.1 구동

    한 레딧 사용자가 llama.cpp 패치 모음 tandem.cpp를 업데이트해 AMD(ROCm) 지원을 더했다. VRAM보다 큰 MoE 모델에서 자주 쓰는 전문가는 GPU에 두고 나머지는 CPU가 돕는다. RTX 5070 Ti 16GB, RAM 64GB 환경의 DeepSeek-V4.1-Flash IQ2_XS에서 디코딩은 llama.cpp 7.4 tok/s, tandem.cpp 14.2 tok/s였다.

    지금 사용 가능