صدور vllm v0.30.0 — نماذج جديدة، Fast Start IPC cache، HiSparse
vllm v0.30.0 (762 commits from 315 contributors (104 new)) يضيف DeepSeek-V4.1-Flash و GLM-5.3-Flash؛ ذاكرة تخزين أوزان IPC لكل GPU لميزة Fast Start؛ Gumbel-max watermarking؛ HiSparse؛ Model Runner V2؛ بالإضافة إلى حزم wheels وصور docker جديدة.
ما الذي تغير
يضيف DeepSeek-V4.1-Flash و GLM-5.3-Flash؛ ذاكرة تخزين أوزان IPC لكل GPU لميزة Fast Start مع --load-format ipc_cache؛ Gumbel-max watermarking؛ طبقة host KV لـ HiSparse؛ تحسينات Model Runner V2 وحزم wheels وصور docker جديدة.
لماذا يهم
يمكن للمطورين تعيين الأوزان post-quantized والمجزأة TP عبر CUDA IPC باستخدام --load-format ipc_cache بدلاً من إعادة التحميل من القرص؛ كما يمكنهم استخدام النماذج والحزم الجديدة للتقييم الفوري.
لمن يهم
المطورونالباحثونالشركات
يستحق التجربة
نعم — ثبّت عبر pip ('pip install vllm') أو docker ('docker pull vllm/vllm-openai:v0.30.0').