صدور Olmo-core 3: بنية تدريب MoE مفتوحة وقابلة للتوسع
Olmo-core 3 هي حزمة تدريب مفتوحة لنماذج mixture-of-experts (MoE) الكبيرة، صُممت لتوسيع تدريب MoE إلى نطاق تريليون المعاملات ولدعم MXFP8 والتوازي الموزع.
ما الذي تغير
استبدال FSDP ببنية MoE قائمة على DDP؛ توسيع مجموعة الخبراء من 8 إلى 128 مع أربعة خبراء لكل token؛ ارتفعت السعة من 4.6B إلى 47B بينما انخفضت الإنتاجية بأقل من 5%.
لماذا يهم
يمكن للمطورين والباحثين استخدام الحزمة المفتوحة لتدريب MoEs أكبر (اختُبرت حتى 1.2-trillion parameters) والحصول على إنتاجية أعلى — على سبيل المثال، MoE بحجم 47B عملت بمعدل 52,000 tokens/sec لكل NVIDIA B300 GPU.
لمن يهم
المطورونالباحثونالشركات
يستحق التجربة
نعم — الكود مفتوح على GitHub؛ يدعم MXFP8 وbenchmarks على NVIDIA B300.