انتقل إلى المحتوى

تحديث

تحديث

anthropic-sdk-python v1.15.0: إضافة speed و between_tools وحد إنفاق قابل للقراءة فقط

الإصدار v1.15.0 يضيف معامل speed و usage.speed إلى Messages، ويضيف between_tools إلى أنواع التفكير في النماذج، ويُرجع حد الإنفاق لفئة الاستخدام لمنظمة Console كحد قراءة فقط؛ يتضمن تحديثات في الوثائق والاختبارات وCI.

لماذا يهم

يمكن للمطورين تعيين وقراءة سرعة الرسائل واستخدام between_tools عند فحص قدرات النموذج؛ يمكن لمنظمات Console قراءة حد الإنفاق لفئة الاستخدام الخاص بها لعرض حدود الإنفاق وشفافية الفوترة.

github.com ↗· 2 مصادر
تحديث

llama.cpp v0.7.0 يضيف LiliCorr، مخبأ MoE على GPU، والعديد من النماذج الجديدة

الإصدار v0.7.0 يضيف LiliCorr وفك الترميز التخميني MTP لـ GLM5-Next، ومخبأ MoE على GPU في ذاكرة المضيف (--moe-cache-mib، حتى 2.2x في فك الترميز)، والعديد من النماذج الجديدة، وتغييرات في API الخادم وggml v0.27.0.

لماذا يهم

يمكن للمطورين تقليل استخدام VRAM لأحمال عمل التضمين حتى 10x.

يستحق التجربةgithub.com ↗