رابط الورقة البحثيّة: DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

1. المقدّمة

تستعرضُ هذه الورقةُ البحثيّةُ، الموسومةُ بعنوان “DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence”، نموذجَ DeepSeek-V4، الذي ينصبُّ تركيزُه الأساسُ على تحقيقِ كفاءةٍ عاليةٍ في معالجةِ السّياقاتِ فائقةِ الطّول التي تمتدُّ إلى مليون وحدةٍ لفظيّةٍ Token. ويضمُّ النموذجُ 1.6 تريليون معامل Parameter، مع تحقيقِ تحسُّنٍ جوهريٍّ في كفاءةِ الاستدلالِ مقارنةً بـ DeepSeek-V3.2؛ إذ لا يحتاجُ DeepSeek-V4-Pro، عند معالجةِ سياقٍ يبلغُ مليونَ وحدةٍ لفظيّةٍ، إلّا إلى نحو 27% من FLOPs اللازمةِ لتوليدِ وحدةٍ لفظيّةٍ واحدةٍ، مع خفضِ استهلاكِ ذاكرة KV Cache إلى نحو 10% من الحجمِ المطلوبِ في الإصدارِ السّابق. وتستهدفُ هذه التحسيناتُ جعلَ معالجةِ السّياقاتِ فائقةِ الطّولِ والمهامِّ ممتدّةِ الأفقِ أكثرَ كفاءةً وقابليّةً للتوسُّعِ والتّطبيقِ العمليِّ.

2. مشكلة البحث

مايزال القصور البنيوي -في معالجة التّسلسلات فائقة الطّول لدى النّماذج مفتوحة المصدر- يُشكّل أحد أبرز التّحدّيات، إذ يحدّ من الاستفادة الكاملة من توسيع القدرة الحاسوبيّة وقت الاستدلال Test-Time Scaling، ويُعيق التّوسّع نحو معالجة السّيناريوهات والمهام طويلة الأمد بكفاءة أعلى.

3. المعماريّة المستخدمة

تميّزت معماريّة DeepSeek-V4 بمجموعةٍ من الابتكارات البنيويّة والخوارزميّة الّتي استهدفت رفع كفاءة النّماذج الضّخمة، وتحسين قدرتها على التّعامل مع السّياقات الطّويلة، وتعزيز استقرار التّدريب والاستدلال، مع تقليل المتطلّبات الحاسوبيّة. ويمكن تلخيص أبرز هذه الابتكارات فيما يأتي:

أولًا: تطوير الوصلات المتبقية

اعتمدت الورقة البحثيّة آليّة Manifold-Constrained Hyper-Connections – mHC لتطوير الوصلات المتبقية Residual Connections بين طبقات نموذج المحوّل.

وتستند هذه الآليّة إلى تقييد عمليّة المزج بين المسارات المتبقية داخل فضاءٍ رياضيٍّ منظَّمٍ Manifold، بما يحافظ على انتظام انتقال الإشارات عبر الطّبقات ويحدّ من الاضطرابات العدديّة أثناء التّدريب.

وأوضّحت الورقة أنّ آليّة Hyper-Connections – HC التّقليديّة، رغم نجاحها في إنشاء مساراتٍ إضافيّةٍ لتدفّق المعلومات وزيادة القدرة التّمثيليّة للنّموذج، تصبح أقلّ استقرارًا كلّما ازداد عمق الشّبكة، وهو ما يحدّ من قابليتها للتّوسّع في النّماذج فائقة الحجم. أمّا آليّة mHC فقد عالجت هذه المشكلة مع الحفاظ على مزايا Hyper-Connections، ممّا مكّن من تدريب نماذج أعمق وأكثر استقرارًا.

ثانيًا: آليّة الاهتمام الهجين للسّياقات الطّويلة

يمثّل الاهتمام attention المصدر الأكبر لاستهلاك القدرة الحاسوبيّة عند التّعامل مع سياقاتٍ تمتد إلى ملايين الوحدات اللّفظيّة؛ لذلك قدّمت الورقة آليّة اهتمامٍ هجينةٍ تجمع بين ثلاث تقنيّاتٍ متكاملةٍ ( الشّكل (1)) :

• Compressed Sparse Attention – CSA تعتمد هذه الآليّة على ضغط ذاكرة المفتاح–القيمة KV Cache عبر دمج كلّ مجموعةٍ من الوحدات اللّفظيّة في تمثيلٍ مضغوطٍ واحدٍ Compressed KV Entry.

بعد ذلك، يستخدم Lightning Indexer لتقدير أهميّة كلّ تمثيلٍ مضغوطٍ من خلال حساب درجات الفهرسة، ثمّ ينتقي Top-k Selector المجموعات الأكثر أهميّة فقط لتطبيق الاهتمام المتناثر Sparse Attention عليها. وبذلك ينخفض عدد عمليّات الاهتمام بصورةٍ كبيرةٍ.

• Heavily Compressed Attention – HCA تعتمد آليّة HCA الفكرة نفسها، إلّا أنّها تستخدم معدّل ضغطٍ أعلى بكثيرٍ من CSA، مع الاستغناء عن الضّغط المتداخل Overlapped Compression بين الكتل، وهو ما يحقّق ضغطًا أكبر لذاكرة KV Cache، ويجعلها مناسبةً لاسترجاع المعلومات من السّياقات البعيدة جدًا بأقلّ تكلفةٍ ممكنة.

• Sliding Window Attention وبما أنّ الضّغط يؤدي إلى تمثيل الرّموز البعيدة بصورةٍ مضغوطةٍ، فإنّه قد يقلّل دقة الوصول إلى العلاقات المحليّة داخل الكتل المضغوطة.

و لمعالجة ذلك، أضاف الباحثون فرعًا مستقلًا يعتمد على Sliding Window Attention، يتيح للنّموذج نمذجة الاعتماديّات المحليّة قصيرة المدى بدقة، بينما تتولّى آليّتا CSA وHCA التّعامل مع العلاقات البعيدة، محققين توازنًا بين الكفاءة الحسابيّة وجودة التّمثيل.

ثالثًا: تحسينات خوارزميّة التّدريب

اعتمدت سلسلة DeepSeek-V4 على Muon Optimizer لتحديث معظم أوزان النّموذج بدلًا من AdamW، لما يوفّره من سرعة تقارب أعلى واستقرارٍ عدديٍّ أفضل في النّماذج فائقة الحجم.

كما طوّر الباحثون النّسخة الأصليّة من Muon باستخدام Hybrid Newton–Schulz Iterations لإجراء عمليّة التّعامد Orthogonalization بصورةٍ أكثر استقرارًا وكفاءة، مع الحفاظ على مزايا Weight Decay وNesterov Momentum.

ولزيادة استقرار التّدريب، استُخدم RMSNorm لتطبيع متّجهات Queries وKeys قبل حساب الانتباه، مما حدّ من تضخم قيم درجات الاهتمام وألغى الحاجة إلى تقنيّة QK-Clip المستخدمة في نماذج أخرى.

رابعًا: تحسينات البنية العامة للنّظام

• Fine-Grained Expert Parallelism تعتمد نماذج Mixture of Experts – MoE تقليديًّا على Expert Parallelism – EP، إلّا أنّ هذه الآليّة تؤدي إلى فترات انتظار بسبب الحاجة إلى اكتمال عمليّات الاتصال بين جميع الخبراء قبل بدء الحساب.

ولمعالجة ذلك، اقترحت الورقة Fine-Grained Expert Parallelism، حيث يُقسَّم الخبراء إلى موجاتٍ صغيرة، وتبدأ كلّ موجةٍ بالحساب فور اكتمال الاتصال الخاصّ بها، بينما تستمرّ عمليّات نقل بيانات الموجات الأخرى بالتّوازي. ويؤدي ذلك إلى زيادة التّداخل بين الاتصال والحساب وتقليل زمن التّنفيذ ورفع كفاءة استغلال وحدات المعالجة الرّسوميّة.

• TileLang والنّوى البرمجيّة المدمجة: اعتمد الباحثون لغة TileLang لتطوير مجموعةٍ كبيرةٍ من Fused Kernels عالية الأداء، استُخدمت في التّدريب والاستدلال بدلًا من العديد من النّوى التّقليديّة.

• كما طُوّرت مكتبات Kernel Libraries حتميّة Deterministic وثابتة بالنّسبة لحجم الدّفعة Batch-size Invariant، بما يضمن تطابق نتائج التّدريب والاستدلال، ويسهّل إعادة إنتاج النّتائج وتصحيح الأخطاء.

خامسًا: تحسين إدارة ذاكرة KV Cache

نظرًا لأنّ آليّة الاهتمام الهجين تنتج أنواعًا متعدّدة من إدخالات KV Cache تختلف في الحجم وآليّة التّحديث، طوّر الباحثون بنية جديدة لإدارة الذّاكرة تتضمّن آليّتين أساسيّتين:

• State Cache for Sliding Window Attention and Uncompressed Tail Tokens، للاحتفاظ بالحالات المحلّيّة غير المضغوطة.
• Sparse Attention Kernel Co-Design، لتصميم نوى الاهتمام بما يتوافق مع البنية الجديدة لذاكرة KV Cache.

وقد مكّن ذلك من الحفاظ على كفاءة التّنفيذ حتّى مع وجود أنواعٍ متعدّدةٍ من تمثيلات الذّاكرة داخل النّموذج.

سادسًا: تقنيّات استقرار التّدريب

يُعدّ تدريب نموذجٍ يضمّ أكثر من تريليون معامل تحدّيًا كبيرًا بسبب ظهور القيم الشّاذة Activation Outliers وعدم استقرار آليّة التّوجيه Routing في نماذج MoE.

• ولمعالجة هذه المشكلة، اقترحت الورقة آليّة Anticipatory Routing، حيث تُحسب قرارات توجيه الخبراء باستخدام نسخةٍ أقدم من معاملات النموذج بدلًا من النّسخة الحالية، وهو ما يكسر حلقة التّغذية الرّاجعة الّتي تؤدي إلى تضخّم القيم الشّاذة.

• كما استخدم الباحثون تقنيّة Clamping داخل دالة SwiGLU للحدّ من تضخّم القيم أثناء التّدريب، ممّا أسهم في تحسين استقرار عمليّة التّعلّم.

سابعًا: ابتكارات مرحلة ما بعد التّدريب

قدّمت الورقة عددًا من المساهمات المنهجيّة المهمّة في مرحلة Post-training، من أبرزها:

• اعتماد مفهوم Reasoning Effort، حيث دُرِّبت ثلاثة أوضاع مختلفة للاستدلال باستخدام إعداداتٍ متنوّعة ٍللتّعلّم المعزّز، تختلف في طول سلاسل التّفكير وحجم السّياق، بما يسمح بموازنة جودة الاستدلال مع التّكلفة الحاسوبيّة.

• استخدام Generative Reward Model – GRM بدلًا من نماذج المكافأة العدديّة التّقليديّة scalar-based reward models ، بحيث تؤدي الشّبكة نفسها دور المولِّد والمقيِّم لمسارات الحلول Policy Trajectories، ممّا يحسّن القدرة على تقييم الاستدلال المنطقي ويقلّل الحاجة إلى كميّاتٍ ضخمةٍ من البيانات البشريّة.

• تطوير آليّة Reasoning State Persistence للاحتفاظ بتاريخ التّفكير الكامل عبر جولات الحوار المختلفة، بدلًا من إسقاط آثار التّفكير عند بداية كلّ تفاعلٍ جديدٍ كما كان الحال في DeepSeek-V3.2، وهو ما يعزّز أداء النّموذج في المهام الوكيليّة طويلة الأمد.

• اعتماد On-Policy Distillation- OPD لنقل المعرفة من أكثر من عشرة نماذج معلِّمة متخصّصة إلى نموذجٍ واحد، مع استخدام Full-Vocabulary Logit Distillation لمحاذاة التّوزيعات الاحتماليّة الكاملة، ممّا أدى إلى نقل أكثر دقة للمعرفة واستقرار أفضل أثناء التّقطير.

4. النّتائج التّجريبيّة

1.4.مقارنة أداء أحدث إصدارات نماذج DeepSeek

أُجريت المقارنة بين ثلاثةٍ من أحدث إصدارات سلسلة DeepSeek، وهي: DeepSeek-V3.2-Base، وDeepSeek-V4-Flash-Base، وDeepSeek-V4-Pro-Base. وقد أظهر DeepSeek-V4-Pro-Base تفوّقًا واضحًا، كما يبيّن الجدول (1)، في طيفٍ واسعٍ من المهام، ولا سيّما تلك الّتي تتطلّب معرفةً واسعةً، وفهمًا عميقًا للسّياقات الطّويلة، إلى جانب تحقيقه أداءً متقدّمًا في معظم معايير الاستدلال والبرمجة.

2.4. مقارنة أداء النّموذج المقترح مع النّماذج مفتوحة المصدر ومغلقة المصدر

تُظهر نتائج الجدول (2) أنّ DeepSeek-V4-Pro-Max أصبح من أقوى النّماذج مفتوحة المصدر، محققًا أداءً متقدّمًا في معظم اختبارات المعرفة والاستدلال والبرمجة. فقد تفوّق على نماذج مثل Kimi وGLM في غالبيّة المعايير، وحقّق نتائج تنافسيّة للغاية مقارنةً بالنّماذج التّجاريّة المغلقة، كما تصدّر بعض الاختبارات، مثل Codeforces وLiveCodeBench وApex Shortlist.

ورغم استمرار تفوّق نماذج مثل Gemini-3.1-Pro وClaude Opus 4.6 وGPT-5.4 في بعض اختبارات المعرفة العميقة، والسّياقات الطّويلة، والمهام الوكيليّة المتقدّمة، فإنّ الفجوة بين النّماذج مفتوحة المصدر والتّجاريّة أصبحت أكثر ضيقًا، ممّا يعكس تطوّرًا ملحوظًا في قدرات النّماذج المفتوحة، ولا سيّما في مجالات البرمجة والاستدلال.

3.4.مقارنة الأداء عبر المهام الواقعيّة Performance on Real-World Tasks

أوّلًا: الكتابة باللّغة الصّينيّة Chinese Writing

حقّق DeepSeek-V4-Pro أداءً متقدمًا في تقييم مهام الكتابة الوظيفيّة والإبداعيّة باللّغة الصّينيّة. ففي المقارنة المباشرة مع Gemini-3.1-Pro، تفوّق في مهام الكتابة الوظيفيّة بمعدل فوزٍ إجمالي بلغ 62.7% مقابل 34.1%، نتيجة قدرته الأعلى على الالتزام بمتطلّبات المستخدم، في حين كان Gemini يميل أحيانًا إلى فرض تفضيلاته الأسلوبيّة على حساب التّعليمات المقدّمة.

وفي مهام الكتابة الإبداعية، حقّق النّموذج معدّل فوزٍ بلغ 60% في اتباع التّعليمات و77.5% في جودة الكتابة مقارنةً بـ Gemini-3.1-Pro، ممّا يعكس قدرته على إنتاج نصوصٍ عالية الجودة والالتزام بالقيود المطلوبة. ومع ذلك، حافظ Claude Opus 4.5 على تفوّقه في بعض السّيناريوهات الأكثر تعقيدًا، خاصّةً تلك الّتي تتضمّن قيودًا متعدّدةً أو محادثات طويلة.

ثانيًا: قدرات البحث والاسترجاع Search

أظهر DeepSeek-V4-Pro تفوّقًا واضحًا على DeepSeek-V3.2 في مهام الإجابة المعزّزة بالبحث، سواء في الأسئلة الموضوعيّة أو التقييمات الذّاتيّة. وبرز التّحسن بشكلٍ خاصٍّ في مهام البحث عن إجاباتٍ دقيقةٍ ومحدّدةٍ ومهام التّخطيط والاستراتيجيّة، ممّا يعكس قدرته على استخراج المعلومات وبناء خططٍ منظّمةٍ اعتمادًا على السّياق المسترجع.

كما أظهر التّقييم تفوّق البحث الوكيلي على أسلوب RAG التّقليدي، بفضل قدرة النّموذج على استخدام أدوات البحث والاسترجاع بصورةٍ تكراريّةٍ أثناء عمليّة التّفكير، ممّا يعزّز الأداء في المهام المعقدة مع الحفاظ على كفاءةٍ عاليةٍ من حيث التّكلفة.

ثالثًا: وكيل البرمجة Code Agent

أظهر DeepSeek-V4-Pro-Max أداءً قويًّا في مهام البرمجة الوكيليّة الواقعيّة، حيث حقّق معدّل نجاحٍ بلغ 67%، متفوّقًا على Claude Sonnet 4.5 الّذي حقّق 47%، ومقتربًا من Claude Opus 4.5 بنسبة 70%، بينما سجّل Claude Opus 4.6 Thinking أعلى نتيجة بلغت 80%.

رابعًا: مهام العمل المكتبي White-Collar Tasks

اعتمد تقييم هذه المهام على مراجعين بشريّين لمقارنة أداء DeepSeek-V4-Pro-Max مع Opus-4.6-Max وفق أربعة معايير: إتمام المهمّة، والالتزام بالتّعليمات، وجودة المحتوى، وجودة التّنسيق.

حقّق النّموذج معدّل عدم خسارة (Non-loss Rate) بلغ 63%، متفوّقًا في مهام التّحليل، وإنشاء المستندات، وتحريرها. كما تميّز بقدرته على استنتاج نوايا المستخدم الضّمنيّة، وتقديم رؤى إضافيّة وخطوات للتّحقق الذّاتي، إضافةً إلى إنتاج مستنداتٍ طويلةٍ ومترابطةٍ والالتزام بالمعايير المهنيّة في الكتابة.

5.  الخلاصة

رغم التّحسينات الكبيرة الّتي قدّمها DeepSeek-V4، والّتي مكّنته من تحقيق أداءٍ متقدّمٍ والاقتراب من النّماذج التّجارية الرّائدة، فإنّ الباحثين يؤكّدون أنّ العمل على تطويره لا يزال مستمرًّا. وتشمل أولوياتهم المستقبليّة تعزيز استقرار التّدريب عبر فهم أسبابه الجوهريّة وتطوير أدوات مراقبته، واستكشاف أبعادٍ جديدةٍ للتّباعد داخل النّموذج إلى جانب معماريّتَي MoE وSparse Attention، وتطوير قدراته في المهام الوكيلة طويلة الأمد ومتعدّدة الجولات مع دمج القدرات متعدّدة الوسائط، فضلًا عن تحسين استراتيجيّات اختيار البيانات وتنقيحها وتوليدها، بما يعزّز ذكاء النّموذج، ومتانته، وكفاءته في مختلف التّطبيقات الواقعيّة.

6. الملحق

يتضمّن هذا القسم الجداول الخاصّة بالنّتائج التّجريبيّة لتقييم النّماذج الإصدار الرّابع من نموذج ديب سييك  Deepseek.

الجدول(1): مقارنة بين الإصدارات الأساسيّة لنماذج DeepSeek-V3.2 وDeepSeek-V4-Flash وDeepSeek-V4-Pro.

الجدول (2): مقارنة أداء النّموذج المقترح مع النّماذج مفتوحة المصدر ومغلقة المصدر.