llama.cpp v0.7.0 يضيف LiliCorr، مخبأ MoE على GPU، والعديد من النماذج الجديدة
الإصدار v0.7.0 يضيف LiliCorr وفك الترميز التخميني MTP لـ GLM5-Next، ومخبأ MoE على GPU في ذاكرة المضيف (--moe-cache-mib، حتى 2.2x في فك الترميز)، والعديد من النماذج الجديدة، وتغييرات في API الخادم وggml v0.27.0.
ما الذي تغير
أُضيف فك الترميز التخميني LiliCorr وMTP لـ GLM5-Next; مخبأ MoE في ذاكرة المضيف على GPU (--moe-cache-mib، حتى 2.2x في فك الترميز); إعادة هيكلة API الخاص بـ common_chat_session; المنفذ الافتراضي للخادم 9931; مدير النماذج في واجهة الويب; ggml v0.27.0.
لماذا يهم
يمكن للمطورين تقليل استخدام VRAM لأحمال عمل التضمين حتى 10x.
لمن يهم
المطورونالباحثونالشركات
يستحق التجربة
نعم — جرّب --moe-cache-mib لتفريغ MoE؛ النماذج الجديدة وواجهات API الخاصة بالخادم متاحة.