1. المقدّمة

تستعرضُ هذه الورقةُ البحثيَّةُ، الموسومةُ بعنوان “DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models”، أحدثَ الابتكاراتِ في تصميمِ النماذجِ اللغويَّةِ الضخمةِ LLMs مفتوحةِ المصدر، مع تركيزٍ خاصٍّ على تطويرِ البنيةِ المعماريَّةِ الداعمةِ لمعالجةِ السِّياقاتِ الطَّويلة، والارتقاءِ بقدراتِ الاستدلالِ المنطقيِّ، وتعزيزِ كفاءةِ الوكلاءِ الذكيِّين. وقد مكَّنت هذه التَّحسيناتُ النَّموذجَ من تحقيقِ أداءٍ يُضاهي أبرزَ النماذجِ الرائدةِ، مثل GPT-5 وGemini 3.0 Pro، مع المحافظةِ على كفاءةٍ تشغيليَّةٍ مرتفعةٍ وتكلفةٍ منخفضةٍ. ولم يقتصرِ التَّفوُّقُ على معاييرِ الاستدلالِ فحسب، بل امتدَّ إلى تحقيقِ نتائجَ بمستوى الميداليَّةِ الذهبيَّةِ في عددٍ من أرقى المسابقاتِ العالميَّةِ، من بينها IOI 2025، وICPC World Finals 2025، وIMO 2025، وCMO 2025.

2. مشكلة البحث

تتمثَّلُ مُشكِلَةُ البحثِ في الاتِّساعِ المُتزايدِ لفجوةِ الأداءِ بين النماذجِ اللغويَّةِ مفتوحةِ المصدر ونظيراتِها مُغلقةِ المصدر، ولا سيَّما في المهامِّ المُعقَّدةِ التي تتطلَّبُ استدلالًا متقدِّمًا، وفهمًا عميقًا للتعليمات، وقدرةً على تنفيذِ المهامِّ الوكيليَّةِ متعدِّدةِ الخطوات، الأمرُ الذي يُحدُّ من قدرةِ النماذجِ المفتوحةِ على منافسةِ الأنظمةِ التجاريَّةِ الرائدةِ في التطبيقاتِ الواقعيَّة.

3. الثّغرة البحثيّة

تنطلقُ هذه الدِّراسةُ من معالجةِ ثلاثةِ مواطنِ قصورٍ جوهريَّةٍ تُقيِّدُ إمكاناتِ النماذجِ اللغويَّةِ مفتوحةِ المصدر في المهامِّ المعقَّدة.

•  يتمثَّلُ أوَّلُها في الاعتمادِ على آليَّةِ الاهتمام التقليديِّ Vanilla Attention، التي تُضعِفُ كفاءةَ معالجةِ السِّياقاتِ الطَّويلةِ .
•  أمَّا الثَّاني، فيكمُنُ في محدوديَّةِ المواردِ الحاسوبيَّةِ المُخصَّصةِ لمرحلةِ ما بعدَ التَّدريب Post-Training، وهو ما ينعكسُ سلبًا على قدرةِ النَّموذجِ في معالجةِ المهامِّ عاليةِ التعقيدِ. 
• ويبرزُ التحدِّي الثَّالثُ في القصورِ النسبيِّ لقدراتِ الوكلاءِ الذكيِّين AI Agents في التَّعميمِ، واتباعِ التَّعليماتِ، والتفاعلِ مع البيئاتِ الديناميكيَّةِ، مقارنةً بالنماذجِ مُغلقةِ المصدر، ممَّا يُضعِفُ جاهزيَّتَها للتشغيلِ الفعليِّ في السيناريوهاتِ الواقعيَّة.

4. المعماريّة المستخدمة

تتميّز المعماريّة المقترحة بعدّة مزايا جوهريّة، من أبرزها:

• تعتمد البنية المعمارية المقترحة على آلية الاهتمام المتناثر ديب سييك DeepSeek Sparse Attention – DSA، التي ترتكز على مكوّنين رئيسين: المفهرس فائق السرعة Lightning Indexer، وآلية دقيقة لاختيار الوحدات اللفظية Fine-Grained Token Selection Mechanism، بهدف انتقاء الوحدات اللفظية Tokens الأكثر أهمية وتقليل العمليات الحسابية غير الضرورية، مما يعزز كفاءة معالجة السياقات الطويلة.
  • تعتمد  الآلية DSA على نمط الاهتمام متعدد الاستعلامات Multi-Query Attention – MQA داخل بنية Multi-head Latent Attention – MLA، حيث تتشارك جميع رؤوس Heads الاستعلام الخاصة بالوحدة اللفظية الواحدة في متجهٍ كامنٍ واحد Latent Vector يمثّل التمثيل المضغوط لمصفوفتيّ Key وValue، وهو ما يسهم في تقليل حجم KV Cache وخفض استهلاك الذاكرة بصورةٍ ملحوظة.

 

• أمّا على صعيد تحديثات منهجية التدريب، فقد قدّمت الورقة البحثيّة مجموعةً من التحسينات، من أبرزها: 
  • قدّمت الورقة إطارًا قابلًا للتوسّع للتعلّم التعزيزي Scalable Reinforcement Learning Framework، يهدف إلى تدريب النموذج بكفاءة على المهام الوكيليّة طويلة الأمد، مع تحسين قدراته في التخطيط، واستخدام الأدوات، والاستفادة من ميزانية الاستدّلال.
  • اعتمدت الورقة الاستخلاص المعرفيّ من النّماذج المتخصّصة Specialist Distillation، حيث دُرِّبت نماذج متخصصة في ستة مجالات رئيسة، شملت: الرياضيات، والبرمجة، والاستدلال المنطقيّ، والمهام الوكيليّة العامة، والبرمجة الوكيليّة، والبحث الوكيليّ، إلى جانب مهمتَي الكتابة والإجابة عن الأسئلة العامة، مع دعم وضعيّ التفكير وعدم التفكير، ثم نُقلت المعرفة المكتسبة إلى النّموذج النهائيّ عبر التقطير المعرفيّ.
  • اعتمدت أيضًا التدريب الهجين بالتعلّم التعزيّزيّ Mixed Reinforcement Learning Training، من خلال دمج تدريب الاستدلال، والمهام الوكيليّة، والمواءمة مع التفضيلات البشريّة ضمن مرحلة تعلّم تعزيزيّ واحدة، مما أسهم في الحد من ظاهرة النسيان الكارثيّ وتحقيق توازن أفضل بين مختلف المهام.
  • استخدمت تقنية Off-Policy Sequence Masking لإخفاء التسلسلات القديمة التي أصبحت غير متوافقة مع السياسة الحالية للنّموذج بعد عدة تحديثات للتدرّج Gradient، بما يحافظ على استقرار عملية التعلّم التعزيّزيّ.
  • وقدّمت تقنية Keep Routing، التي تحافظ على مسارات توجيه الخبراء Experts Routing أثناءَ أخذِ العيّناتِ في مرحلةِ الاستدلال، ثمَّ فرضِ استخدامِ المساراتِ ذاتِها خلالَ التّدريب، ممّا يُحافظُ على استقرارِ آليّةِ التوجيهِ بينَ مرحلتَي الاستدلالِ والتّدريب.  
  • كما اقترحت آلية Keep Sampling Mask، التي تحتفظ بأقنعة أخذ العينات الناتجة من السياسة القديمة وتطبّقها على السياسة الجديدة أثناء التدريب، ممّا يضمن توافق فضاء الأفعال بين السياستين ويحسن استقرار التعلّم التعزيّزيّ.
• أمّا التحسينات في المهام الوكيلية فهي: 
  • اعتمدت الورقة استراتيجية Cold-Start لدمج قدرات التفكير مع استخدام الأدوات قبل بدء التدريب التعزيّزيّ، وذلك عبر توجيهات مصممة بعناية تمكّن النموذج من تنفيذ الأدوات ضمن مسار التفكير.
  • كما قدّمت آلية Thinking Context Management، التي تحتفظ بآثار التفكير أثناء تتابع استدعاءات الأدوات، ولا تُزيلها إلا عند وصول رسالة مستخدم جديدة، مع الإبقاء على سجل استدعاءات الأدوات ونتائجها، مما يقلل إعادة الاستدلال ويحسن كفاءة استخدام السياق.
  • وقدّمت أيضًا خط أنابيب واسع النطاق لتوليد المهام الوكيلية Large-Scale Agentic Task Synthesis Pipeline، الذي يعتمد على منظومة متكاملة لتوليد بيانات تدريب وكيليّة عالية الجودة، تشّمل:

• وكيل البحث Search Agent لتوليد مهام بحث واقعيّة متعدّدة الخطوات.
• وكيل البرمجة Code Agent المعتمد على المشكّلات البرمجيّة وطلبات الدمج المستخرجة من GitHub .
• وكيل مفسر الشيفرة Code Interpreter Agent باستخدام بيئة Jupyter Notebook.
• الوكيل العام General Agent الذي أنشأ 1827 بيئة تدريبيّة متنوعة للمهام الوكيليّة.

5. النّتائج التّجريبيّة

1.5. أبرز نتائج تقييم نموذج DeepSeek-V3.2

استعرضت الورقة البحثيّة نتائج تقييم النموذج المقترح DeepSeek-V3.2، حيث تمّت مقارنته (الجدول (1)) بمجموعة من النماذج الرائدة، شملت:
أولًا: النماذج مغلقة الأوزان Closed-weight Models:

• Anthropic Claude 4.5 Sonnet
• OpenAI GPT-5 High.
• Google Gemini 3.0 Pro

ثانيًا: النماذج مفتوحة الأوزان Open-weight Models:

• Kimi K2 Thinking 
• MiniMax M2 

أُجريت المقارنات ضمن مجموعةٍ متنوّعة من المجالات، تضمّنت:المعرفة العامّة والفهم اللغوي، البرمجة، الاستدلال الرياضيّ، المهام البرمجية الوكيليّة، مهام البحث الوكيليّة واستخدام الأدوات Tool Use.

• أظهرت النتائج أنّ DeepSeek-V3.2 حقّق أداءً متقدّمًا مكّنه من التفوّق على معظم النّماذج مفتوحة الأوزان، كما اقترب بصورةٍ ملحوظة من مستوى أداء النّماذج مغلقة الأوزان، مع استمرار تفوّق الأخيرة في بعض مهام الاستدلال المتقدّم، والبرمجة، واستخدام الأدوات.

2.5. مقارنة إصدار DeepSeek-V3.2 Special

يتميّز إصدار DeepSeek-V3.2 Special عن الإصدار القياسيّ بامتلاكه ميزانية استدلالٍ أكبر، ممّا يسمح له باستخدام عددٍ أكبر من الوحدات اللفظيّة التفكير قبل إنتاج الإجابة النهائية.

في المقابل، فُرضت قيودٌ أكثر صرامة على عدد الوحدات اللفظيّة أثناء تدريب الإصدار الرسمي من DeepSeek-V3.2؛ بهدف تحقيق توازنٍ عمليّ بين: جودة الأداء، تكلفة التشغيل والنشر، سرعة الاستجابة.

أُجريت مقارنة إضافيّة (الجدول (2)) بين:
النماذج مغلقة الأوزان:

• GPT-5 High.
• Gemini 3.0 Pro.

النماذج مفتوحة الأوزان:

• Kimi-K2 Thinking.
• DeepSeek-V3.2 Thinking.

شملت هذه المقارنة ثلاثة مجالات رئيسيّة: الاستدلال الرياضيّ، البرمجة، المعرفة العامّة واللّغة.

• في مجال الاستدلال الرياضيّ، حقّق النموذج أعلى مستويات الدقّة عبر مجموعةٍ متنوّعة من الاختبارات المعياريّة.
• أمّا في مجال البرمجة، فقد احتلّ النموذج المرتبة الثانية بعد Gemini 3.0 Pro.
• وفي مجال المعرفة العامّة والفهم اللغويّ، تصدّر نموذج Gemini 3.0 Pro المرتبة الأولى، بينما جاء DeepSeek-V3.2 في المرتبة الثانية، محقّقًا أداءً قريبًا من النّماذج التجاريّة الرائدة.

3.5. أداء معالجة تحدّي طول السياق في المهام الوكيليّة

أشارت الورقة البحثيّة إلى وجود تحدٍّ رئيسيٍّ في سيناريوهات العمل الوكيليّ المعتمدة على البحث؛ إذ قد تتجاوز عمليّات التنفيذ الحدّ الأقصى لطول السياق المتاح، ممّا يؤدّي إلى اقتطاع مسار الاستدلال قبل اكتماله.

لمعالجة هذه المشكلة، قدّم الباحثون تقنية إدارة السياق Context Management، والتي تعتمد على عدّة استراتيجيات، أبرزها:

• Summary:
  • تلخيص المعلومات الأكثر أهميّة داخل السياق، مع الحفاظ على العناصر الضروريّة لاستمرار عمليّة الاستدلال.
• Discard-75%:
  • حذف أوّل 75% من سجلّ استدعاءات الأدوات، بهدف تقليل حجم السياق مع الإبقاء على جزءٍ من المعلومات السابقة.
• Discard-all:
  • حذف كامل سجلّ استدعاءات الأدوات والبدء بسياقٍ جديد لتقليل العبء الناتج عن تراكم المعلومات.

يمكن تطبيق إحدى هذه الاستراتيجيات بصورةٍ تسلسليّةٍ، إلّا أنّ الورقة اقترحت أيضًا استراتيجيةً توازيّة أكثر كفاءة، وهي:
Parallel-fewest-step: بحيث تُنشأ عدة مسارات تنفيذ مستقلة بالتوازي، ثم يُختار المسار الذي وصل إلى الحل بأقلّ عددٍ من الخطوات. 

أظهرت المقارنة بين الاستراتيجيات التسلسليّة والاستراتيجية التوازيّة عبر معيار BrowseComp (الشكل (1)):

• حقّقت استراتيجية Summary تحسّنًا في الأداء، حيث رفعت متوسّط عدد خطوات التنفيذ إلى 364 خطوةً، ووصلت الدقّة إلى 60.2 نقطة.
• أمّا استراتيجية Discard-all فقد كانت الأكثر فاعليّة، إذ حقّقت 67.6 نقطة، مع المحافظة على كفاءةٍ عالية في استخدام الموارد.

6. الخلاصة

تشيرُ الورقةُ البحثيّةُ إلى مجموعةٍ من الجوانبِ الّتي ما تزالُ تتطلّبُ مزيدًا من التّطويرِ في الإصداراتِ المستقبليّة.

فأوّلًا، وبسببِ محدوديّةِ إجماليِّ القدرةِ الحاسوبيّةِ المستخدمةِ في مرحلةِ التّدريب (FLOPs)، لا يزالُ اتّساعُ المعرفةِ العامّةِ لدى DeepSeek-V3.2 أقلَّ من نظيرِه في النّماذجِ التّجاريّةِ الرّائدة. ويعتزمُ الباحثونَ معالجةَ هذه الفجوةِ من خلالِ زيادةِ المواردِ الحاسوبيّةِ المخصّصةِ للتّدريبِ المُسبق، بما يُسهمُ في توسيعِ قاعدةِ المعرفةِ وتعزيزِ الأداءِ في الإصداراتِ القادمة.

وثانيًا، ما تزالُ كفاءةُ استخدامِ الوحداتِ اللّفظيّةِ Tokens تُمثّلُ تحدّيًا جوهريًّا؛ إذ يحتاجُ النّموذجُ في كثيرٍ من الأحيانِ إلى سلاسلَ توليدٍ أطولَ وعددٍ أكبرَ من الرّموزِ للوصولِ إلى مستوىً من جودةِ المخرجاتِ يماثلُ نماذجَ متقدّمةً، مثل Gemini 3.0 Pro. ومن هذا المنطلقِ، ستركّزُ الأعمالُ المستقبليّةُ على زيادةِ كثافةِ الذّكاءِ داخلَ سلاسلِ الاستدلال، ورفعِ كفاءةِ استثمارِ الرّموزِ، بما يحقّقُ أداءً أعلى بتكلفةٍ حاسوبيّةٍ أقل.

وثالثًا، لا يزالُ أداءُ النّموذجِ في معالجةِ المهامِّ المعقّدةِ دونَ مستوى النّماذجِ الرّائدة، وهو ما يستدعي مواصلةَ تطويرِ النّموذجِ الأساسيّ، وتحسينَ استراتيجيّاتِ ما بعدَ التّدريب، بما يعزّزُ قدراتِ الاستدلالِ، ويرفعُ مستوى الأداءِ في المهامِّ ذاتِ التعقيدِ المرتفع.

7. الملحق

يتضمّن هذا القسم الجداول الخاصّة بالنّتائج التّجريبيّة لتقييم النّماذج الاصدار الثالث من نموذج ديب سييك  Deepseek