vllm v0.31.0 — DeepSeek-V4.1-Flash و preload daemon
تضيف vllm v0.31.0 مسارات أداء DeepSeek-V4.1-Flash، وخادم 'vllm preload' weight-cache، وModel Runner V2 مع speculative decoding، وتحديثات للخدمة على نطاق واسع، وملاحظات أمان وتغييرات كاسرة.
ما الذي تغير
DeepSeek-V4.1-Flash افتراضي على SM100; 'vllm preload' weight-cache daemon; Model Runner V2 speculative decoding; MoonEP all2all backend; عدة تغييرات أمان وكاسرة.
لماذا يهم
سيحصل المطورون والمشغلون الذين يديرون خدمة GPU على عمليات إعادة تشغيل أسرع عبر weight-cache الخاص بـ preload، ونوى SM100/SM103 الجديدة، وإصلاحات MoE/MRV2 التي تقلّل حالات OOM وتحسّن الخدمة على نطاق واسع.
لمن يهم
المطورونالباحثونالشركات
يستحق التجربة
نعم — نُشرت artifacts لـ pip وdocker لـ CUDA 13.0 و ROCm و CPU و XPU.