1. مقدّمة
2. نموذج التجزئة الشامل
3. مزايا نموذج التجزئة الشامل.
4. البنية المعمارية
   • 1.4. آلية العمل
   • 2.4. تابع الخسارة
   • 3.4. قاعدة البيانات إس إيه-1ب SA-1B
   • 4.4. تجارب النقل بدون أمثلة
5. الخاتمة
6. المراجع

1.  مقدّمة

لقد كان تقسيم الصور تقليديًا أحد أكثر المهام تطلّبًا من حيث القدرة الحاسوبية في مجال الرؤية الحاسوبية، ويرجع ذلك بدرجةٍ كبيرةٍ إلى اعتماده على تعليقاتٍ توضيحيةٍ مكثفةٍ على مستوى البكسل ونماذج متخصصة بالمجال تتطلب إعادة تدريب متكررة. غالبًا ما تتطلب نماذج التجزئة التقليدية تدريبًا مكثفًا على مجموعات بيانات كبيرة وضبطًا دقيقًا لتحقيق أداءٍ دقيقٍ عبر سياقاتٍ متنوعةٍ. [1]

يُعَدُّ تقسيم الأغراض على مستوى البكسل متطلبًا أساسيًا في العديد من تطبيقات الرؤية الحاسوبية الحديثة، بما في ذلك توصيف البيانات واسعة النطاق، والتصوير الطبي، والروبوتات، والأنظمة ذاتية القيادة.
و لمعالجة هذه الحاجة، قدّمت “ميتا إي آي” Meta AI نموذج التجزئة الشامل “سام” Segment Anything Model – SAM، وهو نموذج أساس مُصمَّم لتوليد أقنعة تجزئة عالية الجودة من خلال مدخلاتٍ مرنةٍ موجَّهةٍ بالتلقين prompt.

ومع استمرار تطوّر النظام البيئي لنموذج “سام” SAM، ظهرت عدة نسخٍ متفرعةٍ، بما في ذلك “سام 1″ SAM1، و”سام 2″ SAM2، و”سام 3” SAM3، حيث تضمَّنت كل نسخة تحسيناتٍ معمارية وتطويراتٍ في الأداء.

في هذا المقال، سنقدّم تحليلًا معمّقًا لنموذج التجزئة الشامل سام، مستعرضين آلية عمله بصورةٍ تفصيليةٍ، إلى جانب إجراء مقارنةٍ منهجيةٍ بينه وبين أبرز نماذج وأساليب التجزئة الأخرى.

2. نموذج التجزئة الشامل SAM

صُمِّم النموذج لتنفيذ مهام التجزئة مع حدٍّ أدنى من التدخّل البشري، إذ يوفّر قدراتٍ قويةً في التعلّم دون أمثلة، تمكّنه من تقسيم أغراضٍ objects لم يسبق له رؤيتها من قبل.

جعلت بنيته الداخلية منه نموذجًا قادرًا على تفسير ومعالجة طيفٍ واسعٍ من التلقينات، سواء كانت نصيةً أو معتمدةً على مربعات الإحاطة Bounding Boxes، بما يتيح تحقيق تجزئةٍ دقيقةٍ وفعّالة. [1]

وهو نموذجٌ تفاعليٌ يتيح للمستخدمين توليد أقنعة التجزئة عبر تجزئة جميع الأغراض في الصورة، أو الأغراض المرتبطة بالموجّه النصي، أو الأغراض المرتبطة بنقطةٍ واحدةٍ ضمن الإطار.

وتتمثل إحدى أبرز خصائص النموذج في قدرته على التعلّم دون أمثلةٍ مسبقةٍ، مما يتيح له تجزئة كائناتٍ لم يسبق له التعرّض لها دون الحاجة إلى تدريبٍ إضافي. وعلى خلاف العديد من النماذج التقليدية التي تتطلب مرحلة ضبطٍ دقيقٍ لتحقيق أداءٍ مُرضٍ في سياقاتٍ جديدةٍ، فقد تم تدريب هذا النموذج على نطاقٍ واسعٍ يشمل أكثر من مليار قناع تجزئة وما يزيد على 11 مليون صورة، الأمر الذي عزّز من قدرته على التعميم عبر مشاهد وفئاتٍ متنوعة. [1]

يوضح الشكل (1) قدرة النموذج على تجزئة الأغراض على مستوى البكسل في صورةٍ واقعيةٍ، حيث تم تمييز اليد و الأصابع والسكين والفواكه باستخدام أقنعةٍ دقيقةٍ، مما يعكس فعالية النموذج في التعامل مع أغراضٍ متعددةٍ ومتداخلةٍ ضمن مشهدٍ واحد.

الشكل (1) : مثال التجزئة عن طريق نموذج التجزئة الشامل  [1]

الشكل (2): نتائج تجزئة الصور الموجّهة بالتلقينات.[2]

وفقاً للشكّل (2) يعرض كل عمود ثلاثة أقنعة محتملة (باللون الأحمر) ولّدها نموذج سام SAM اعتمادًا على تلقين نقطي غامض واحد (الدائرة الخضراء).

3.  مزايا نموذج التجزئة الشامل

أصبحت نماذج التجزئة الشاملة أداةً معياريةً في خطوط التوسيم الحديثة، إذ تدعم إنتاج البيانات بسرعة، مع الحفاظ على مستوى الدقّة المطلوب لتدريب أنظمة الرؤية الحاسوبية عالية الأداء.  [3]

1. تحسين سير عمل التجزئة والتوسيم Annotation:
   حسَّنت نماذج التجزئة الشاملة SAM عملية التجزئة عبر الانتقال من الرسم اليدويّ إلى توليد الأقنعة الموجَّه بالتلقينات، مما جعل سير التوسيم أكثر تنظيمًا وسرعةً واتساقًا. كما يتيح توليد عدة أقنعة مرشَّحة اختيار النتيجة الأفضل وتنقيحها سريعًا.
2. تقليل الجهد اليدويّ للتوسيم:
   يُقلِّل النموذج الحاجة إلى تتبّع الحدود يدويًا من خلال أتمتة التوليد الأوّلي للأقنعة، فيتحوَّل دور المعلِّق من الإنشاء الكامل إلى المراجعة والتصحيح. وغالبًا ما تكفي تلقينات قليلة لإنتاج أقنعة عالية الجودة، مما يرفع الكفاءة ويحسِّن جودة البيانات.
3. اعتماد النموذج في خطوط التوسيم الحديثة:
   يُعتمد النموذج على نطاق واسع بفضل مرونته وقابليته للتوسّع، إذ يندمج بسهولة مع أنظمة الرؤية الحاسوبية ومنصّات التوسيم. كما يدعم المعالجة الدفعية والتوليد التلقائي للتلقينات وتتبع الأقنعة في الفيديو، مع قدرة قوية على التعميم دون إعادة تدريب، مما يُقلِّل التعقيد التشغيلي عبر مشاريع متعددة.

4. البنية المعمارية

تم بناء نموذج التجزئة الشامل حول معماريةٍ معياريةٍ مُصمَّمةٍ لدعم تقسيم الصور العام القائم على التلقينات.

يتألف من ثلاثة مكوناتٍ جوهريّةٍ حيث يؤدّي كلّ مكوّنٍ دورًا مميّزًا في تحويل الصور الخام إلى أقنعة تجزئة على مستوى البكسل: [3]

1. مزمّز الصور: يُستخدم المُحوِّل البصريّ لاستخراج تمثيلاتٍ بصريةٍ غنيّةٍ وعالية الأبعاد من الصورة المُدخلة. وقد دُرِّب هذا المُرمِّز لالتقاط المزايا البصريّة العامة القابلة للانتقال عبر فئات الأغراض والمجالات المختلفة، مما يُمكِّن “سام1” SAM1 من التعميم بما يتجاوز مجموعات البيانات الخاصة بمهامّ محدَّدة.
2. مرمّز التلقين: يقوم بتحويل مدخلات المستخدم مثل النقاط، أو مربعات الإحاطة، أو الأقنعة التقريبية إلى تمثيلاتٍ مُضمَّنة تُوجِّه عملية التجزئة. ويُتيح هذا التصميم لنموذج “سام1” SAM1 تكييف مخرجاته بأقلّ قدرٍ من التفاعل، مما يجعله مناسبًا لكلٍّ من سيناريوهات التقسيم التفاعليّ وخطوط المعالجة المؤتمتة.
3. فاكّ ترميز القناع: يعمل على دمج التضمينات الصوريّة مع تضمينات المُدخلات لتوليد قناعِ تجزئةٍ واحدٍ أو عدةِ أقنعةٍ. وقد جرى تحسين وحدة فكّ الترميز لإنتاج حدودِ أغراضٍ عاليةِ الدقّة مع الحفاظ على المرونة في التعامل مع أنواع المُدخلات المختلفة. كما يمكن توليد عدةِ أقنعةٍ مرشَّحةٍ، مما يتيح للأنظمة اللاحقة أو للمستخدمين اختيار النتيجة الأكثر ملاءمةً.

1.4. آلية العمل

يكون دخل النموذج صورةً خامًا، بينما يتمثّل خرجه في مجموعةٍ من أقنعة التجزئة عالية الجودة، مرفقةً بدرجاتِ ثقةٍ Confidence Score لكلّ قناع، بما يعبّر عن مدى موثوقية النموذج في تحديد الكائن المستهدف.

وفقًا للشكّل (3)، تمرّ عملية تدفّق البيانات وتجزئة الصورة عبر المراحل الآتية:

أولاً: مُرمِّز الصورة Image Encoder
يستقبل هذا المكوّن الصورة الخام ويحوّلها إلى تضميناتٍ عدديةٍ تختزل المزايا البصرية الجوهرية، مثل الحواف، والقوام، والأشكال، والعلاقات المكانية. وتُمكِّن هذه التمثيلات النموذجَ من بناء فهمٍ دلاليٍّ غنيٍّ لمحتوى الصورة. [3]

يستخدم نموذجًا من نوع المحوّل البصريّ ViT تم تهيئته مسبقًا باستخدام المُرمِّزات التلقائية المُقنَّعة Masked Autoencoders – MAE. وبالتالي المرمّز التلقائيّ المقنّع هو الأسلوب الذكي الذي يُهيّئ المحوّل البصريّ ليصبح أكثر قدرة على فهم الصورة بشكل عام، و “فيت” ViT هو البنية التي تنفّذ هذا التعلم عبر دُفع الصورة وآليات الاهتمام المحلي والعالمي.

• المحول البصريّ: هو مُحوِّل رؤية ضخم يتعامل مع دُفع patches بحجم ‎16×16‎ بكسل. ويتميّز بآلية اهتمام نافذيّ Windowed Attention بحجم ‎14×14‎، إضافةً إلى أربع كتل اهتمام عالمي موزَّعة بالتساوي ضمن البنية. ممّا يتيح له التقاط العلاقات البصريّة على مستوياتٍ متعددةٍ محلية وعالمية. [4]
• المُرمِّز التلقائي المُقنَّع:  أسلوبُ تعلّمٍ ذاتيِّ الإشراف يُستخدم للتهيئة المسبقة لمحوّل الرؤية. (وفقًا للشكّل (4))، تقوم الفكرة على إخفاء جزءٍ عشوائيٍّ من رقع الصورة، ثم تدريب النموذج على إعادة بناء الأجزاء المفقودة. وبهذا يتعلّم النموذج تمثيلاتٍ بصريةً قويةً وذاتَ معنى، حتى عند غياب جزءٍ من المدخلات. [5]

[4] يستقبل النموذج صورةً بدقّة ‎1024×1024×3‎ ( وهي دقّة شائعة للصور عالية الوضوح ) ثم يحوّلها إلى تضمينٍ كثيفٍ بحجم ‎64×64×256‎.

ثانياً: مُرمِّز التلقينات Prompt Encoder

 بالتوازي مع معالجة الصورة، يُزوَّد النموذج بإشاراتٍ توجيهيةٍ من المستخدم، تشّمل نوعين من التلقينات:[3]

• متناثرة  Sparse : وتشّمل (وفقاً للشكّل (5)):
  • مثل نقاط محدَّدة بإحداثيات (x, y) مع وسوم أمامية/خلفية.
  • أو مربعات إحاطة (x1, y1)، (x2, y2).
  • أو تلقينات نصية. 

تُؤدّي هذه المُدخلات دورًا محوريًا في توجيه النموذج للتركيز على الأجسام ذات الاهتمام داخل الصورة. ويقوم مُرمِّز التلقينات بتحويل هذه الإشارات البشرية إلى تضميناتٍ عدديةٍ قابلةٍ للدمج مع تمثيل الصورة.

• كثيفة Dense: هي أقنعةٌ، أي صورٌ صغيرةٌ لها نفس توزيع المكان داخل الصورة (كل بكسلٍ يقابل موقعًا محددًا). (وفقاً للشكّل (3)). وتشّمل عدة مراحل: [4]
  • تُخفَّض دقّة القناع بمعاملٍ يساوي 4 قبل إدخالها إلى النموذج.
  • ثم تُخفَّض مرةً أخرى بمعامل 4 بعد إدخالها إلى النموذج عبر طبقتين من الطيّ Convolution بحجم ‎2×2‎ وخطوة تحريك مرشّح الطيّ Stride مقدارها 2، مع عدد قنوات خرج يساوي 4 ثم 16.
  • وأخيرًا، تُطبَّق طبقة الطيّ النهائية بحجم ‎1×1‎ لتحويل القنوات إلى 256 قناة.
  • يُضاف تضمين القناع إلى تضمين الصورة جمعًا عنصريًا Element-wise Addition.
  • في حال عدم توفير قناعٍ كتلقين، يُستخدم تضمينٌ متعلَّمٌ يمثّل حالة “عدم وجود قناع”، ويُضاف إلى كلِّ موقعٍ مكانيٍّ في تضمين الصورة.

ثالثاً: فاكّ الترميز Mask Decoder

يتلقّى هذا الجزء التضميناتِ المدمجةَ الناتجةَ عن المُرمِّزين السابقين، ويولِّد مجموعةً من أقنعةِ التجزئة على مستوى البكسل. كما يُرفَق بكلِّ قناعٍ درجةُ ثقةٍ تعبّر عن تقدير النموذج لجودةِ ودقّةِ عمليةِ التقسيم للغرض المحدَّد.

العنصر الجوهريّ في هذه المرحلة هو تضمينٌ متعلَّم output token، بحيث يُضاف إلى تضمينات التلقينات قبل دخولها إلى المُفكِّك، ليعمل كعنصرٍ موجِّهٍ لعملية فكّ الترميز في التجزئة، إذ يحمل معلوماتٍ شاملةً تساعد النموذج على إنتاج أقنعةِ تجزئةٍ دقيقةٍ وتوجيهِ عملية التنبؤ بفعالية.

وفقاً للشكّل (6)، تنفِّذ كل طبقة في المُفكِّك أربع خطوات رئيسية وتُكرر هذه الطبقة مرتين (x2) ويكون خرجها دمج وفهم عميق بين التلقينات والصورة البصريّة: [4]

1. اهتمام ذاتي  .Self Attn: بين الوحدات اللفظيّة للتلقين لفهم السياق فيما بينها.
2.  اهتمام تبادلي من الوحدات اللفظيّة إلى الصورة .token to image attn: ربط التوجيهات بالمحتوى البصريّ.
3.  شبكة عصبية متعددة الطبقات نقطيّة mlp :تحديث تمثيل كل واحدة لفظيّة بشكل مستقل.
4.  اهتمام تبادلي من الصورة إلى الوحدات اللفظيّة .image to token attn : حقن معلومات التلقين داخل تمثيل الصورة.

 في هذه المرحلة الأخيرة، يُمثَّل تضمين الصورة كمجموعةٍ من ‎64^2 متجهًا، كلٌّ منها ببُعد 256، مما يسمح بدمجٍ مكانيٍّ دقيقٍ لمعلومات التلقين داخل الخريطة البصرية.

بعدها يتم  رفع الدقّة المكانيّة عبر طبقتيّ الالتفاف المنقول Conv Transpose.

بعد ذلك، يتم توليد عدة أقنعةٍ مرشَّحةٍ عن طريق الوحدة اللفظية المخصَّصة لكلِّ قناع output token per mask، والتي تُمرَّر إلى شبكةٍ عصبيةٍ متعددة الطبقات ، بحيث تُدمَج مع التضمينات المُكبَّرة الدقّة لإنتاج قناعٍ نهائيٍّ عالي الدقّة. [5]

ثم يُؤشَّر متوسطُ مؤشر التقاطع على الاتحاد mean Intersection over Union – IoU عن طريق الوحدة اللفظية IoU token من أجل حساب احتماليةُ انتماءِ كلِّ بكسلٍ في الصورة إلى الغرض المطلوب.[5]

وبذلك يوفّر النموذج إطارًا مرنًا ودقيقًا لتجزئة الصور موجَّهًا بالتلقينات، وقابلًا للاستخدام في كلٍّ من التطبيقات التفاعلية والمؤتمتة.

2.4. تابع الخسارة

أولاً: تابع خسارة التركيز Focal Loss: هو تعديل على خسارة الانتروبيا المتقاطعة، صُمم لمعالجة اختلال توازن الفئات عن طريق إعطاء وزن أكبر للأمثلة الصعبة في التصنيف. ويُعد هذا أمرًا بالغ الأهمية في مهام التجزئة، حيث إنّ قناع الغرض غالبًا ما يشغل جزءًا صغيرًا من الصورة، مما يؤدي إلى اختلال بين بكسلات القناع وبكسلات غير القناع. [5]

Focal Loss=−i=1∑n​(i−pi​)γ logb​(pi​)

المعادلة (1): خسارة التركيز

حيث γ غاما هو معامل التركيز التي يتم ضبطه باستخدام التحقق المتبادل Cross-Validation.

ثانياً: خسارة دايس Dice Loss: تُستخدم لقياس التشابه بين الأقنعة المتوقعة وأقنعة الحقيقة الأرضية. ويتم حسابها عن طريق مضاعفة مساحة التداخل (القيمة المتوقعة predicted  و القيمة الحقيقية ground truth)مقسومة على المساحة الكلية(كما هو موضّح بالشكل(7))، بحيث تكون الخسارة هي واحد ناقص قيمة دايس Dice. تضمن هذه الطريقة أداءً قويًا ودقيقًا في توليد أقنعة التجزئة. [5]

3.4. قاعدة البيانات إس إيه-1ب SA-1B

تتكوَّن قاعدة البيانات “إس إيه-1ب” SA-1B من 11 مليون صورة متنوعة وعالية الدقة، و1.1 مليار قناع تجزئة عالي الجودة تمّ جمعها باستخدام محرك بيانات خاص. وتم تطوير النموذج باستخدام أسلوب التوسيم داخل الحلقة مع النموذج model-in-the-loop. ويتكوَّن محرك البيانات من ثلاث مراحل:[2]

1- التوسيم اليدوي المُساعَد Assisted-Manual: استخدم مُوَسِّمون محترفون أداةً تفاعليةً عبر المتصفح، مدعومةً من قبل نموذج التجزئة الشامل، لتحديد الأقنعة عبر النقر على نقاط المقدَّمة والخلفية. تم جمع 4.3 مليون قناع من 120 ألف صورة في هذه المرحلة.

2- التوسيم شبه التلقائيّ Semi-Automatic: كان الهدف منها زيادة تنوّع الأقنعة لتحسين قدرة النموذج على تجزئة مختلف الأجسام. جُرِي أولًا اكتشاف الأقنعة الواثقة تلقائيًا، ثم عُرضت الصور على المعلِّقين وهي مملوءة مسبقًا بهذه الأقنعة، وطُلب منهم وسم الأجسام غير المعلَّمة فقط، ولا سيما الأقل بروزًا. خلال هذه المرحلة، جُمِع 5.9 مليون قناع إضافي من 180 ألف صورة ليصل الإجمالي إلى 10.2 مليون قناع، مع إعادة تدريب النموذج خمس مرات. ورغم ارتفاع زمن التوسيم إلى 34 ثانية للقناع بسبب صعوبة الأجسام المتبقية، فقد ارتفع متوسط الأقنعة لكل صورة من 44 إلى 72، مما عزَّز تنوّع البيانات بشكل ملحوظ.

3- التوسيم التلقائي بالكامل Fully Automatic: عند بداية هذه المرحلة، تمّ جمع عدد كافٍ من الأقنعة شملت تنوّعًا كبيرًا من المرحلة السابقة، مما حسَّن أداء النموذج. ثانيًا، تم تطوير النموذج الواعي للغموض ambiguity-aware model، ممّا سمح بتوقع أقنعةٍ صحيحةٍ حتى في الحالات الغامضة. تم تزويد النموذج بشبكة نقاط 32×32 للتنبؤ بمجموعات من الأقنعة لكل نقطة، بحيث إذا كانت النقطة تقع على جزء أو جزء فرعي، يعيد النموذج القناع الخاص بالجزء الفرعي والجزء الكلي والكل. يُستخدم وحدة توقع مؤشر التقاطع على الاتحاد IoU لاختيار الأقنعة الموثوقة، كما تم اختيار الأقنعة المستقرة فقط (أي التي لا تتغير عند عتبة احتمالية ±0.5). بعد ذلك، طُبّق كبت القمم غير الأعظمية non-maximal suppression – NMS لإزالة التكرارات، ولتحسين جودة الأقنعة الصغيرة، عُولِجت صور مكبَّرة ومتداخلة. باستخدام هذه الطريقة، تم توليد 1.1 مليار قناع عالي الجودة من 11 مليون صورة، مكوّنة قاعدة البيانات “إس إيه-1ب” SA-1B.

4.4. تجارب النقل بدون أمثلة

تمّت دراسة خمس مهام وتُقيَّم هذه التجارب أداء نموذج “سام” SAM على مجموعات بيانات ومهام لم تظهر أثناء التدريب. [2]

أولاً: تقييم القناع الصحيح بنقطة واحدة في إعداد النقل بدون أمثلة: 

• عند التقييم التلقائيّ باستخدام مؤشر متوسط التقاطع على الاتحاد mIoU على 23 مجموعة بيانات، تفوّق نموذج “سام” SAM على إحياء التدريب التكراريّ باستخدام توجيه القناع Reviving Iterative Training with Mask Guidance – RITM في 16 من أصل 23 مجموعة.
• في الدراسة البشرية، قيَّم المعلِّقون أقنعة نموذج “سام” SAM بأنها أعلى جودة بشكل ملحوظ من “آر آي تي إم” RITM. كما أن نسخة نموذج “سام” SAM غير الواعية للغموض حصلت على تقييم أقل، لكنها بقيت أفضل من “آر آي تي إم” RITM.
• متوسط تقييم نموذج “سام” SAM تراوح بين 7 و9، ما يشير إلى أنّ الغرض واضح والأخطاء صغيرة ونادرة.
• أظهرت المقارنة مع نماذج مثل نموذج للتجزئة التفاعلية يعتمد على نقطة بسيطة SimpleClick ونموذج تجزئة تفاعلية يركّز على النقاط الحرجة FocalClick أداءً أدنى من كلٍّ من نموذجي “آر آي تي إم” RITM و “سام” SAM في إعداد النقطة الواحدة.
• عند استخدام اختيار نقاط عشوائيّ بدل النقطة المركزية، اتّسعت الفجوة لصالح نموذج “سام” SAM، مع حفاظه على أداء متقارب في كلا أسلوبيّ أخذ العينات.

ثانياً: اكتشاف الحواف  Edge Detection:

• رغم أنّ نموذج “سام” SAM لم يُدرَّب خصيصًا للكشف عن الحواف، إلا أنّه يولّد خرائط حواف معقولة، كما هو موضَّح بالشكل (8)، بحيث تفوَّق على طرق التعلّم العميق التقليدية مثل الكشف عن الحواف بطريقة متداخلة شمولياً Holistically-Nested Edge Detection – HED.

ثالثاً: توليد مقترحات الأغراض  Object Proposals: 

• نموذج “سام” SAM قوي جدًا في الكشف عن معظم أنواع الأغراض، خصوصًا الكبيرة والنادرة، لكنّه يقل أداءً على الأغراض الصغيرة والمتكررة مقارنةً بنموذج كشف أغراض كبير يعتمد على بنية المحول البصريّ ViTDet-H المدرَّبة على مجموعة بيانات ضخمة مخصَّصة لتعلُّم تجزئة الكائنات بالأغراض الفردية LVIS.

رابعاً:  تجزئة المثيل Instance Segmentation:

• يمكن استخدام نموذج “سام” SAM كوحدة قوية لتجزئة الأغراض داخل أنظمة رؤية أكبر ببساطة عن طريق تزويده بمربعات الأغراض الناتجة عن كاشف آخر، مثل كاشف الأغراض المعتمد على المحول البصريّ ViTDet.
• ينتج نموذج “سام” SAM أقنعة عالية الجودة بصريًا، ويكون أقل عرضة للتحيّزات الخاصة بالبيانات.

خامساً: التقسيم الموجه بالنص Text-to-Mask: 

• يمكن لنموذج “سام” SAM التعلم من صور نموذج “كليب” CLIP، لكنه يعمل مع النصوص في الاستدلال، ما يسمح بتجزئة الأغراض باستخدام أوصاف نصية مرنة، مع إمكانية تحسين النتائج بإضافة نقاط توجيهية.

وفقاً للشكّل (9) تمّ التعرف على الأغراض النصيّة “a wheel – عجلة” و “beaver tooth grille – شبكة السيارة الأمامية على شكل أسنان القندس” مباشرةً بدون نقاط توجيهية. أمّا في الصف الثاني والثالث النص “a wiper – ماسحة زجاج“ أو “wipers – ماسحات زجاج“ وحده لم يكن كافيًا، فظهرت أخطاء في التجزئة (✗) لذلك كان من الضروري إضافة نقاط توجيهية.

5. الخاتمة

يقدّم نموذج “سام” SAM حلاً متقدّمًا وقويًا لتجزئة الأجسام في الصور. وبفضل سرعته العالية في المعالجة وأنماط الاستدلال المتعددة، يعزز نموذج “سام” SAM مجموعات البيانات بأقنعة تجزئة دقيقة وموثوقة. ويتيح استخدامه المبتكر للمحوّلات البصرية والمشفّرات التلقائية المقنّعة التعامل مع مدخلات متنوعة في الوقت الفعلي، مما يجعله أداة قيّمة لتطبيقات متعددة في رؤية الحاسوب.

تتميز قدرة النموذج على التنبؤ بدون أمثلة مسبقة بتمكينه من اكتشاف الحواف والأغراض الكبيرة والنادرة التي لم يتم تدريبه عليها، بالإضافة إلى إمكانية دمجه مع نماذج كشف الأغراض ليصبح نواة قوية في أنظمة رؤية حاسوبية أكبر.

كما يمتلك النموذج القدرة على بناء قاعدة بيانات خاصة به، مستفيدًا من مكوناته الداخلية، وعلى رأسها وحدة الترميز القادرة على دمج التضمينات البصرية مع تضمينات التلقينات. وتعتمد هذه العملية على مراحل متعددة لفهم دلالي ومكاني للأغراض المراد تجزئتها في الصورة، مع احتساب درجة الثقة لكل قناع، مما يضمن إنتاج أقنعة دقيقة وموثوقة.

تجدون في المرجع المشار اليه كود التّنفيذ البرمجيّ لنموذج “سام1” SAM1. [6]

6. المراجع

1. arXiv:2408.06305v1 [cs.CV] 12 Aug 2024
2. arXiv:2304.02643v1 [cs.CV] 5 Apr 2023
3. Complete Guide to SAM Models: Architecture, Performance Comparison & Use Cases
4. cases/ Segment Anything Model (SAM): Explained | medium
5. SAM: Segment Anything Model | medium
6. segment-anything | github