Young Tries AI

vLLM 관련 소식

모두 1건, 최신순입니다.

  1. NVIDIA, DGX Station 2대로 GLM-5.3 NVFP4를 vLLM에 서빙하는 튜토리얼

    Hacker News에 오른 NVIDIA 튜토리얼은 Z.ai의 MoE 모델 GLM-5.3(753 billion 파라미터, 토큰당 활성 40 billion)의 NVFP4 양자화본을 DGX Station 2대에서 vLLM으로 서빙한다. 체크포인트가 약 464GB로 GB300 GPU 한 대의 HBM3e 252GB보다 커서 TP=2로 나눈다. 글 제목에는 607.8 tok/s가 적혀 있다.

    아직 불가