Young Tries AI

llama.cpp 관련 소식

모두 2건, 최신순입니다.

  1. tandem.cpp에 AMD ROCm 지원 추가, 16GB 카드로 DeepSeek-V4.1 구동

    한 레딧 사용자가 llama.cpp 패치 모음 tandem.cpp를 업데이트해 AMD(ROCm) 지원을 더했다. VRAM보다 큰 MoE 모델에서 자주 쓰는 전문가는 GPU에 두고 나머지는 CPU가 돕는다. RTX 5070 Ti 16GB, RAM 64GB 환경의 DeepSeek-V4.1-Flash IQ2_XS에서 디코딩은 llama.cpp 7.4 tok/s, tandem.cpp 14.2 tok/s였다.

    지금 사용 가능
  2. llama.cpp와 ggml이 v1.0.0 도달, 호환성 깨짐은 메이저 버전으로 표시

    libllama와 libggml이 v1.0.0에 도달했다. 앞으로 API와 ABI 비호환은 메이저 버전을 올려 알린다. MAJOR는 공개 C API의 호환성 깨짐, MINOR는 호환되는 기능·백엔드 업데이트·모델 지원, PATCH는 버그 수정이다.

    지금 사용 가능