1. المقدّمة

تقدّم الورقة الموسومة بعنوان “LLaDA2.0-Uni: Unifying Multimodal Understanding and Generation with Diffusion Large Language Model” رؤيةً جديدةً لمستقبل النماذج التأسيسية، من خلال توظيف نموذجٍ لغويٍّ قائمٍ على مفهوم الانتشار Diffusion LLM ضمن بنيةٍ متعددة الوسائط موحّدة. وقد أثمر هذا التوجّه عن نموذجٍ لا يقتصر على فهم النصوص والصور فحسب، بل يمتدّ إلى توليد الصور وتحريرها والتفاعل معها، مع تمكين قدرات الاستدلال متعدد الوسائط ضمن إطارٍ واحدٍ متكاملٍ ومتناسقٍ.

2. مشكلة البحث

لا تزال غالبيّة النّماذج اللّغويّة الكبيرة المعاصرة -المبنيّة على آليّات الانتشار أو الانحدار الذّاتي- تعتمد على بنى متخصّصة ومنفصلة لتنفيذ مهام فهم الصّور وتوليدها وتحريرها، بدلًا من توحيد هذه القدرات ضمن نموذجٍ واحدٍ متكاملٍ للوسائط المتعدِّدة.

3. الثّغرة البحثيّة

على الرَّغم من المزايا التي تُوفِّرها النَّماذج متعدِّدة الوسائط القائمة على إطار الانتشار المقنَّع Masked Diffusion، مثل فكِّ التَّرميز المتوازي وتوحيد أهداف التَّدريب، فإنَّها لا تزال تُعاني فجوةً في الأداء مقارنةً بالنَّماذج المعتمدة على المعماريَّة ذاتيَّة الانحدار Autoregressive Architectures، ولا سيَّما في المهامِّ التي تجمع بين الفهم متعدِّد الوسائط والتَّوليد البصري.

كما تتباين البُنى المعماريَّة للنَّماذج الحاليَّة؛ فبعضها يعتمد على وحداتٍ بصريَّةٍ متخصِّصةٍ ومنفصلة لكلِّ مهمَّة، بينما يُعيد بعضها الآخر توظيف النَّماذج اللُّغويَّة-البصريَّة مع مكوِّناتٍ بصريَّةٍ خارجيَّة، في حين تتَّبع نماذجٌ أخرى المعماريَّة ذاتيَّة الانحدار أو تمزج بينها وبين الانتشار ضمن أطرٍ هجينة. ورغم ذلك، لا تزال هذه المقاربات تعتمد على بُنىً مركَّبةٍ ومتعدِّدة المكوِّنات، ممَّا يحول دون تحقيق نموذجٍ تأسيسيٍّ موحَّدٍ يجمع قدرات الفهم والتَّوليد والاستدلال ضمن إطارٍ معماريٍّ واحد.

4. المعماريّة المستخدمة

تتميّز المعماريّة المقترحة بعدّة مزايا جوهريّة، من أبرزها:

• المقسّم المتقطّع الدّلالي Semantic Discrete Tokenizer: المقسّم المتقطّع الدّلالي Semantic Discrete Tokenizer: يعتمد هذا المقسّم على دمج نموذج SigLIP-VQ لتحويل الصّور المستمرّة إلى متّجهات سماتٍ مرئيّةٍ من خلال استخدام SigLIP2-g ViT، ثمّ تحويلها إلى وحداتٍ لفظيّةٍ متقطعةٍ غنيّةٍ دلاليًّا من خلال المكمّم المتّجهي اعتمادًا على قاموسٍ يتضمّن 16.384 وحدةٍ لفظيّةٍ، لكلٍّ منها متّجه تمثيل بعده 2048. ويركّز هذا النّهج على الحفاظ على الدّلالات البصريّة العميقة بدلًا من إعادة بناء الصّورة على مستوى البكسل. 

• نموذج لغويّ قائم على آليّة الانتشار Diffusion Language Model، ويتألّف من عدّة مكوّناتٍ:

1.  مزيج الخبراء Mixture of Experts – MoE: يُمثِّل نموذج LLaDA-2.0-mini النّواة الأساسيّة للمعالجة اللّغويّة، ويُعدّ النّموذج اللّغوي القائم على الانتشار dLLM في البنية المقترحة. وقد بُني على معماريّة MoE الّتي توزِّع القدرة الحاسوبيّة ديناميكيًّا بين الخبراء، ممّا يعزّز كفاءة النّموذج وقدرته على معالجة المهام متعدّدة الوسائط ضمن إطارٍ موحّدٍ، دون الحاجة إلى تصميماتٍ خاصّةٍ بكلّ نمطٍ. 
2.  الاهتمام على مستوى الكتل Block-wise Attention: يعتمد هذا التّصميم على تقسيم التّسلسل إلى كتلٍ لتنظيم آليّة الاهتمام بينها، بما يسهم في تحسين استقرار التّدريب والحفاظ على سرعة التّوليد المتوازي وجودته في المهام اللّغويّة والبصريّة. 
3. التّرميز الدّورانيّ أحادي البعد 1D Rotary Positional Embedding – RoPE: يعمل على إضافة معلوماتٍ عن موضع كلّ وحدةٍ لفظيّةٍ token. كما تمّ إضافة وحداتٍ لفظيّةٍ خاصّةٍ معبّرةٍ عن أبعاد الصّورة، مثل: قبل تسلسل الوحدات البصريّة أحادي البعد من أجل دعم الصّور ذات الدّقات المختلفة دون الحاجة لتغيير بنية النّموذج.

• مُفكِّك الانتشار Diffusion Decoder: تمّ الاعتماد على نموذج انتشارٍ مدرّبٍ مسبقًا لتحويل الوحدات اللّفظيّة البصريّة Image Tokens إلى صورٍ، مع دعم تحسين دقة الصّور المعاد بناؤها، وتسريع عمليّة الاستدلال، والحفاظ على جودة المخرجات من خلال تطبيق استخلاص النّماذج Model Distillation.
• تسريع عمليّة الاستدلال: تمّ اعتماد تقنيّتين رئيسيّتين لتحسين سرعة الاستدلال وزيادة كفاءته، وهما: الاحتفاظ المتناثر بالبادئة Sparse Prefix Retention، وإزالة القناع غير المنتظمة للوحدات اللّفظيّة (Non-uniform Token Unmasking). وتعمل هاتان الآليّتان على تقليل العبء الحسابي وتسريع توليد المخرجات مع الحفاظٍ على جودة النّتائج.
• ترشيح البيانات: تمّ اعتماد آليّة ترشيحٍ ثنائيّة المراحل لتحسين جودة البيانات وموثوقيّة المخرجات، حيث تتضمّن ترشيح المدخلات Query Filtering بهدف تنقية الاستعلامات قبل معالجتها، وترشيح المخرجات Response Filtering لضمان جودة النّتائج النّهائيّة واتّساقها. 

• تقنيّات تحسين كفاءة التّدريب: تمّ اعتماد مجموعةٍ من التّقنيّات لتعزيز كفاءة عمليّة التّدريب، من أبرزها: 
  • الاستخراج المسبق للوحدات اللّفظيّة البصريّة Image Tokens Pre-extraction: لتقليل الكلفة الحسابيّة.
  • موازنة الحمل عبر حزم البيانات Load Balancing via Data Packing: لتحسين استغلال الموارد الحسابيّة من خلال دمج عيّناتٍ قصيرةٍ متعدّدةٍ ضمن تسلسلاتٍ موحّدةٍ بطولٍ ثابتٍ..
  • إطار التّدريب الموزّع Distributed Training Framework – dFactory: لتنفيذ عمليّة التّدريب على نطاقٍ واسعٍ بكفاءةٍ عاليةٍ ضمن بيئات حوسبةٍ موزّعةٍ.

5. النّتائج التّجريبيّة

فيما يلي أبرز نتائج تقييم النّموذج المقترح في الورقة البحثيّة، وذلك استنادًا إلى أدائه عبر مجموعةٍ متنوّعةٍ من مهام الفهم والتّوليد والتّعديل متعدّدة الوسائط: 

• أداء الفهم لمهام متعددة الوسائط:

جرى تقييم النّموذج على مجموعةٍ من مهام الفهم متعدّدة الوسائط، مع مقارنته بعددٍ من النّماذج الرّائدة المعتمدة على المعماريّة ذاتيّة الانحدار، إلى جانب نماذج قائمةٍ على الانتشار، شملت: Qwen2.5-VL-7B وLLaDA-V وBAGEL وInternVL-U وLumina-DiMOO وLLaDA-o.

وأظهرت النّتائج أنّ نموذج LLaDA2.0-Uni يحقّق أداءً تنافسيًّا يقترب من أداء النّماذج المتخصّصة المتقدّمة في مجال الرّؤية واللّغة، ممّا يعكس قدرته على تضييق الفجوة بين النّماذج الموحَّدة القائمة على الانتشار والنّماذج المتخصّصة عالية الأداء.

• أداء توليد الصّور انطلاقًا من النّصّ: 

جرى تقييم النّموذج المقترح من خلال مقارنته بمجموعةٍ من نماذج توليد الصّور المعتمدة على الانتشار، والنّماذج القائمة على المعماريّة ذاتيّة الانحدار، بالإضافة إلى النّماذج الهجينة.

• في معيار GenEval، أظهر النّموذج المقترح مستوىً تنافسيًّا مرتفعًا؛ إذ تفوَّق بوضوحٍ على جميع النّماذج الموحَّدة، واقترب من أداء النّماذج المتخصّصة في التّوليد. كما حقَّق تميُّزًا ملحوظًا في مهام التّموضع المكانيّ للعناصر Spatial Arrangement مسجلًا 0.90 في مقياس position، بالإضافة لربط الصّفات بالكائنات الصّحيحة والّذي بلغ حوالي 0.84.
• أمّا في معيار DPG-Bench، فقد أكدت النّتائج قدرة LLaDA2.0-Uni على تضييق الفجوة بين النّماذج الموحَّدة العامّة والنّماذج المتخصّصة الرّائدة، محققًا درجةً إجماليّةً بلغت 87.76 ، وهي نتيجةٌ تضعه في مستوى قريبٍ من أفضل النّماذج المتخصّصة.
• وفي معيار OneIG-Bench، وبرغم الأداء القوي الّذي أظهره النّموذج، فإنّه لا يزال يواجه بعض التّحدّيات في توليد النّصوص البصريّة الغنيّة بالمعلومات داخل الصّور مقارنةً بأفضل النّماذج المتخصّصة، وهو ما يُعدّ مجالًا واعدًا للبحث والتّطوير مستقبلًا.
• كما أظهرت نتائج المعيار القياسيّ UniGenBench قدرة النّموذج على تقليص الفجوة الأدائيّة بين النّماذج الموحَّدة والنّماذج المتخصّصة المتقدّمة؛ إذ تفوَّق على جميع النّماذج المُقارنة ضمن هذا المعيار، ممّا يعكس كفاءته العالية وقدرته على تحقيق أداءٍ تنافسيٍّ عبر طيفٍ واسعٍ من مهام توليد الصّور.

• أداء توليد الصّور المرتكزة على النّصوص:

في معيار CVTG-2K، حقّق نموذج LLaDA2.0-Uni أفضل أداءٍ بين النّماذج الموحَّدة، مسجلًا درجةً إجماليّةً average بلغت 0.765. ومن أبرز نقاط قوّته قدرته العالية على توليد النّصوص بدقةٍ واتساقٍ عبر مناطق متعدّدة داخل الصّورة، مع المحافظة على وضوح النّصّ واستقراره البصريّ.

• أداء توليد الصّور المعتمد على الاستدلال:

في معيار WISE-Bench، حقّق النّموذج أداءً قويًّا متقدّمًا بين النّماذج الموحَّدة والمتخصّصة، مع تميّزٍ واضحٍ في توليد الصّور اعتمادًا على الاستدلال والفهم العميق. كما تحسّن الأداء بنسبة 10% عند تفعيل وضع الاستدلال Reasoning Mode، ممّا يعزّز قدرته على معالجة المشاهد المعقدة بدقةٍ أعلى.

• أداء تعديل الصّور المعتمدة على التّعليمات العامّة:

وفق معيار ImgEdit، إنّ النّموذج المقترح حقّق تفوقًا ملحوظًا على جميع النّماذج الموحَّدة، مسجلًا درجةً إجماليّةً بلغت 0.392. وتُبرز هذه النّتائج كفاءة النّموذج العالية في استيعاب أوامر تحرير الصّور المعقدة، وترجمتها إلى تعديلاتٍ دقيقةٍ وفعّالةٍ تحافظ على اتساق العناصر البصريّة وجودتها. 

• أداء تحرير الصّور باستخدام عدّة صورٍ مرجعيّةٍ:

لتقييم قدرات نموذج LLaDA2.0-Uni في دمج وتحرير الصّور اعتمادًا على أكثر من صورةٍ مرجعيّةٍ، أُجريت تجارب باستخدام معيار MICo-Bench. وقد أظهرت النّتائج أنّ النّموذج حقق أفضل أداء إجمالي، مسجلًا رقمًا قياسيًّا جديدًا بلغ 47.1، متفوّقًا على جميع النّماذج الموحَّدة القائمة على الانتشار.

• أداء الاستدلال المتداخل:

تفوّق نموذج LLaDA2.0-Uni بشكلٍ عام على نموذج Emu3.5 في معيار InterGen، حيث حقّق أداءً أعلى في مهام سرد القصص والتّنبؤ بالسّلاسل الزّمنيّة وتقارب بالنّتائج في مهمّة التّفسير. كمّا أظهرت النّتائج أنّ النّموذج قادرٌ على تنفيذ استدلالٍ متداخلٍ يتيح له استنتاج استراتيجيّات منطقيّة في ألعاب الشّطرنج، بالإضافة إلى تقديم حلولٍ خطوة بخطوة لمشكلات فيزيائيّة، ممّا يعكس قدرته الواعدة على معالجة مهام تفكير معقدة متعدّدة المراحل. 

6. الخلاصة

يمثّل النّموذج الموحّد المقترح نظامًا قادرًا على فهم النّصوص اللّغويّة والصّور البصريّة، إلى جانب توليد كلٍّ من النّصوص والصّور، وأداء عمليّات الاستدلال المنطقيّ، ممّا يتيح له منافسة النّماذج الحديثة المعتمدة على المعماريّة ذاتيّة الانحدار وكذلك النّماذج المبنيّة على الانتشار.

ومع ذلك، ما تزال هناك عدّة جوانب تحتاج إلى تطويرٍ مستقبلي، من أبرزها: 

• تحسين التّفاصيل البصريّة، إذ إنّ مُرمِّز SigLIP-VQ يوفّر تمثيلاتٍ دلاليّةٍ جيّدةٍ، لكنّه لا يحافظ بشكلٍ كافٍ على الدّقّة الدّقيقة للتّفاصيل داخل الصّور، ممّا يستدعي تطوير آليّات إعادة بناء أكثر كفاءة، خصوصًا في مهام تحرير الصّور.
• كمّا تشمل مجالات التّحسين توسيع القدرات التداخليّة Interleaved، وذلك من خلال زيادة حجم بيانات التّدريب وتعزيز قدرة النّموذج على التّعامل مع تسلسلاتٍ معقدة تجمع بين النّصّ والصّورة والاستدلال.
• وأخيرًا، يُعدّ التّعلّم المعزّز اتجاهًا واعدًا تمّ البدء في توظيفه ضمن النّماذج الموحّدة، إلّا أنّ تحسين أدائه لا يزال تحدّيًا قائمًا، مع العمل على تطوير إطارٍ أكثر نضجًا وفعاليّة لإتاحته لاحقًا للمجتمع البحثيّ.