أنواع المحوّلات Types of Transformers

في عالم الذّكاء الإصطناعيّ وتعلّم الآلة، برز نموذج المحوّل Transformer كمعماريّةٍ رائدةٍ غيّرت قواعد اللّعبة؛ فقد عزّزت بشكلٍ كبيرٍ من أداء وكفاءة النّماذج في مجالاتٍ مختلفةٍ، بما في ذلك معالجة اللّغة الطّبيعيّة ورؤية الحاسوب، والّذي تمّ تقديمه لأوّل مرّةٍ من قبل فاسواني وآخرون vaswani et al في الورقة البحثيّة عام 2017 بعنوان “الاهتمام هو كلّ ما تحتاجه” Attention Is All You Need [1] [4].

يمكنكم الاطّلاع على هذه المقالة للفهم الأعمق لنموذج المحوّل، ويوضّح الشّكل 1 بنية نموذج المحوّل:

ومنذ ذلك الحين، تمّ تطوير العديد من المحوّلات المتخصّصة، كلٌّ منها مصمّمٌ للتّعامل مع مهام وتحدّياتٍ محدّدةٍ. سنستعرض في هذه المقالة الأنواع المختلفة من المحوّلات، وهي المحوّلات ذوات المشفّر التلقائي  Autoencoder Transformers، المحوّلات التّنبؤيّة Autoregressive Transformers ومحوّلات سلسلة إلى سلسلة Sequence-to-Sequence Transformers، مع تقديم رؤيةٍ مفصّلةٍ لكلّ نوعٍ وتسليط الضّوء على النّماذج الموجودة في كلّ فئةٍ.

تتفوّق المحوّلات ذوات المشفّر التلقائي في تقليل الأبعاد وتعلّم الميّزات، حيث تقوم بترميز البيانات المدخلة إلى تمثيلاتٍ ذات حجمٍ ثابتٍ في أبعاد مخفّضةٍ، ثمّ تقوم بإعادة بناء المخرجات من هذا التّمثيل مع الاحتفاظ بالمعلومات الأساسيّة من البيانات المدخلة.

النّموذج الموجود: نموذجٌ يُعرف باسم بيرت، وهو اختصارٌ لـ “التّمثيلات المشفّرة ثنائيّة الاتّجاه من المحوّلات” Bidirectional Encoder Representations from Transformers،  ويطلق عليه أيضًا  Encoder Only؛ لأنّه يستخدم جزء ال مُشفَّرٌ Encoder من المحوّل. [1][5]

تخيّل جملةً مثل: “هي تعزف الكمان بشكل رائع.”
النّماذج التّقليديّة، مثل RNN  الشَّبَكَاتُ العُصبُونِيَّةُ الإرجاعِيَّةُ أو الشَّبَكَةُ العُصبُونِيَّةُ ذاتُ الذَّاكِرةِ الطَّويلةِ قصيرةِ المَدى  LSTM كانت تعتمد على قراءة النّصّ إمّا من اليمين إلى اليسار أو العكس؛ ممّا قد يفوّت عليها الحقيقة الحاسمة وهي أنّ هويّة الآلة الموسيقيّة (الكمان) تؤثّر على فهم الجملة بأكملها.
أمّا بيرت، فيفهم أنّ العلاقة السّياقيّة بين الكلمات تلعب دورًا محوريًّا في استنباط المعنى. فهو يعتمد على ثنائيّة الاتّجاه؛ ممّا يُمكّنه من أخذ السّياق الكامل المحيط بكلّ كلمةٍ في الاعتبار، وهذا ما أحدث ثورةً في دقة وعمق فهم اللّغة.[5] 

يعتمد  بيرت  في جوهره على بنية شبكاتٍ عصبيّةٍ قويّةٍ تُعرف باسم المحوّلات Transformers. هذه البنية تتضمّن آليّةً تُسمّى الاهتمام الذّاتي Self-Attention، والّتي تسمح لـ  بيرت  بتحديد أهميّة كلّ كلمةٍ بناءً على السّياق المحيط بها سواء كان السّياق السّابق أو اللاّحق. هذا الفهم العميق للسّياق يُمكّن بيرت من توليد تمثيلاتٍ سياقيّةٍ للكلمات؛ أي تمثيلاتٍ تُعبّر عن معنى الكلمة بناءً على موقعها في الجملة.
يمكن تشبيه عمل  بيرت  بقراءة الجملة وإعادة قراءتها ليفهم بعمقٍ دور كلّ كلمةٍ.

لنأخذ جملةً، مثل: (ذهب إلى السوق ليشتري ذهبًا.)
قد تواجه النّماذج التّقليديّة صعوبةً في التّعامل مع غموض الكلمة “ذهب” (الّتي يمكن أن تكون اسمًا أو فعلًا)، لكنّ بيرت يميّز بسهولةٍ أنّ ذهب هي فعل في حين أنّ الثّانية اسم ممّا يُبرز قدرته الفائقة على حلّ الغموض اللّغويّ.[5] 

قبل أن يتمكّن بيرت من العمل بجدارةٍ على النّصوص، يحتاج إلى تحضير النّصوص وتنسيقها بطريقةٍ يفهمها.

 سنستعرض الخطوات الأساسيّة لمعالجة النّصوص قبل إدخالها إلى بيرت، بما في ذلك: 

1. التَّقسيمُ إلى وحداتٍ لُغويَّةٍ  Tokenization. 
2. تنسيق المدخلات Input Formatting.
3. النّموذج اللّغويّ المُقنّع Masked Language Model – MLM.

أي تقسيم النّص إلى أجزاء ذات معنى. 

تخيّل أنّك تقوم بتعليم  كيفيّة قراءة كتابٍ. لن تسلّمه الكتاب بأكمله دفعةً واحدةً، بل ستقوم بتقسيمه إلى جملٍ وفقراتٍ. وبالمثل، يحتاج  إلى تقسيم النّصّ إلى وحداتٍ أصغر تُعرف باسم وحداتٍ لفظيَّةٍ tokens ، ولكن هنا توجد لمسةٌ خاصّة حيث يستخدم  طريقةً تسمّى جزء من كلمة WordPiece لتجزئة الكلمات. يقوم بتقسيم الكلمات إلى أجزاء أصغر، مثل في اللّغة الإنكليزيّة تحويل كلمة “running” إلى “run” و”ning”. هذا يساعد في التّعامل مع الكلمات الصّعبة ويضمن أنّ بيرت لا يضيع في الكلمات غير المألوفة. في اللّغة العربيّة استخدام جزء من كلمة WordPiece يختلف عن المثال الإنجليزيّ بسبب طبيعة اللّغة الاشتقاقيّة والمعقدة، حيث أنّ تقسيم الكلمات في اللّغة العربيّة يحتاج إلى التّعامل مع اللّواحق Suffixes والسّوابق Prefixes بشكلٍ دقيقٍ.

باستخدام جزء من كلمة WordPiece يمكن لبيرت أن يقسّم الكلمة إلى:

الكلمة : كتابكم

• “كتاب ” (الجذر).
• “##كم” (لاحقة ملكيّة).

بمعنى أنّ بيرت يتعرّف على الجذر “كتاب” ككلمةٍ معروفةٍ، ويعامل “كم” كلاحقة ملكيّةٍ يتمّ إضافتها. هذا يساعد  بيرت في التّعامل مع الكلمات الجديدة والمشتقة في اللّغة العربيّة بطريقةٍ فعاّلةٍ.

في هذا السّياق، بيرت  لا يقوم بتقسيم الكلمة إلى أجزاءٍ غير مفهومةٍ، مثل “كت” و “اب”، بل يفهم الجذر الرّئيسيّ للكلمة ويضيف اللّواحق المناسبة؛ ممّا يجعله قادرًا على معالجة الكلمات بشكلٍ أفضل في اللّغة العربيّة.

وبهذه الطّريقة، يمكن لبيرت التّعامل مع البادئات، مثل “الـ” في “الكتاب” واللّواحق، مثل “كم” في “كتابكم” وهي سمةٌ مهمّةٌ لمعالجة النّصوص باللّغة العربيّة.

مثال: 

النّصّ الأصلي: “سيذهبون إلى منازلكم غدًا.”

التّقسيم باستخدام جزء من كلمة WordPiece:

“سي”

“##ذهب”

“##ون”

“إلى”

“منازل”

“##كم”

“غدًا”

التّوضيح:

“سيذهبون” تمّ تقسيمها إلى ثلاثة أجزاءٍ: “سي” (بادئة تشير إلى المستقبل)، “ذهب” (الجذر الرئيسيّ للفعل)، و”##ون” (لاحقة تدلّ على الجمع).

“منازلكم” تمّ تقسيمها إلى “منازل” (الجذر)، و”##كم” (لاحقة ملكيّة تشير إلى “أنتم”).

الكلمات “إلى” و”غدًا” بقيت كما هي لأنّها بسيطةٌ ومفهومةٌ.

في هذا المثال، نرى كيف تتعامل جزء من كلمة WordPiece مع السّوابق، مثل “سي” الّتي تدلّ على المستقبل واللّواحق، مثل “ون” للجمع و”كم” للملكيّة؛ ممّا يساعد النّموذج على فهم السّياق والتّراكيب المعقدة في اللّغة العربيّة بشكلٍ أكثر فعاليّة.

أي تقديم السّياق لـبيرت BERT .

إنّ بيرت يفهم السّياق؛ ويجب علينا أن نقدّمه له بطريقةٍ واضحةٍ. وللقيام بذلك، نقوم بتنسيق الوحدات اللّفظيّة tokens بطريقةٍ يفهمها بيرت. نضيف رموزًا خاصّةً مثل [CLS] (والّتي ترمز إلى التّصنيف) في بداية النّصّ و [SEP] (والّتي ترمز إلى الفصل) بين الجمل، بالإضافة إلى ذلك، نضيف تضمينات الفقرات (segment embeddings) لإخبار  بيرت  أي ال وحداتٌ  لفظيَّةٌ تنتمي إلى أيّ جملةٍ.

التّقسيم باستخدام WordPiece جزء من كلمة :

[“[CLS]”, “ال”, “##ذكاء”, “ال”, “##اصطناعي”, “مثير”, “ل”, “##لاهتمام”, “.”, “[SEP]”]

التوضيح:

“[CLS]” و “[SEP]” هما رمزان خاصّان مثلما هو الحال في المثال الإنجليزي.

“الذكاء” تمّ تقسيمه إلى جزأين: “ال” (السّابقة) و”##ذكاء” (الجذر).

“الاصطناعي” تمّ تقسيمه إلى ثلاثة أجزاءٍ: “ال” (السّابقة)، “##اصطناع” (الجذر) و “ي” لاحقة. 

“مثير” بقيت كما هي لأنّها كلمةٌ بسيطةٌ.

“للاهتمام” تمّ تقسيمها إلى جزأين: “ل” (سابقة) و التي هي حرف جر  و”##لاهتمام” (الجذر).

“.” بقيت كما هي لأنّها رمزٌ بسيطٌ.

بهذا الشّكل، يقوم بيرت بتقسيم الكلمات إلى سوابق وجذور ولواحق بطريقةٍ تجعل النّموذج يفهم السّياق اللّغويّ بشكلٍ أفضل.

يعمل نموذج شات جي بي تي Chat GPT من خلال المراحل التّالية:

• التّدريب المسبق. 

المرحلة الأولى هي التّدريب المسبق، وهي بالضّبط ما مررنا به للتّو. تتطلّب هذه المرحلة كمّياتًا هائلةً من البيانات لتعلّم التّنبؤ بالكلمة التّالية. في تلك المرحلة يتعلّم النّموذج ليس فقط إتقان قواعد اللّغة وتركيب الجمل، بل أيضًا يكتسب قدرًا كبيرًا من المعرفة.

تتمثّل مهمّة التّدريب المسبق النّموذجيّة في التّنبؤ بالكلمة التّالية في تسلسل. مع وجود مجموعة البيانات التّدريبيّة الكاملة كخلفيّةٍ، يمكن للنّموذج تطبيق الأنماط الّتي تعلّمها في هذه المهمّة.

على سبيل المثال، قد يتعلّم أنّ الكلمة “going” غالبًا ما تتبعها “to”، أو أنّ “thank” تتبعها عادةً “you”.

تسجّل الشّبكة هذه الأنماط وتخزّنها كمعاملاتٍ parameters، ثمّ يمكنها الإشارة إليها لإجراء مزيدٍ من التّوقعات أو التّنبؤات .

في نهاية عمليّة التّدريب المسبق، قالت شركة أوبن أيه آي OpenAI: إنّ شات جي بي تي قد طوّر 175 مليار معاملٍ parameters. وهذه الكمّيّة الهائلة من البيانات تعني خيارات أكثر للنّظام للاستفادة منها من أجل الحصول على استجابةٍ دقيقةٍ. [6] [7]

• الضَبطٌ الدقيقٌ Fine Tuning

نأخذ النّموذج اللّغوي الكبير المدرّب مسبقًا بقدراته الحالية، ونقوم بشكلٍ أساسيٍّ بما قمنا به سابقًا —أي تعلّم التّنبؤ بكلمةٍ واحدةٍ في كلّ مرّةٍ— لكنّنا الآن نفعل ذلك باستخدام أزواجٍ من التّعليمات والاستجابات عالية الجودة كبيانات تدريبنا (نخصّصه على بيانات التّدريب الخاصّة بنا). 

• التّعلّم المعزّز من التّغذية الرّاجعة البشريّة [7] reinforcement learning from human feedback (RLHF). 

توجد أيضًا مرحلةٌ ثالثةٌ تمرّ بها بعض النّماذج اللّغوية الكبيرة، مثل شات جي بي تي ChatGPT وهي التّعلّم المعزّز من ملاحظات البشر (reinforcement learning from human feedback (RLHF.

قام البشر بتقييم استجابة نموذج لغويٌ كبير من حيث الفعاليّة، وأعادوا إدخال هذه التّقييمات إلى النّموذج حتّى يفهم أدائه.

لقد أدّى ضبط التّعلّم المعزّز من التّغذية الرّاجعة البشريّة الدّقيق إلى جعل شات جي بي تي أكثر فعاليّة في توليد استجاباتٍ ذات صلة ومفيدةٍ في كلّ مرّة.

يمكنكم قراءة المقال التّالي الّذي يشرح إمكانيّة توليد النّصوص باستخدام شات جي بي تي توليدُ النّصوصِ العربيّةِ مع نموذجِ GPT

يتطلّب تشغيل بيرت إعداد النّصّ بطريقةٍ دقيقةٍ. تتضمّن هذه العمليّة تجزئة الكلمات إلى أجزاء صغيرة باستخدام WordPiece، إضافة رموزٍ خاصّةٍ لتنسيق المدخلات بشكلٍ صحيحٍ وتعليم بيرت كيفيّة التّنبؤ بالكلمات المخفيّة في الجمل؛ لتعزيز فهمه للسّياق اللّغويّ.

يعتمد ChatGpt على التّوليد التّنبؤي Predictive Text Generation أي يمكنه توليد نصٍّ بناءً على المدخلات الّتي يتلقاها. عند تقديم سؤالٍ أو جملةٍ، يقوم النّموذج بتحليل الكلمات الأولى، ثمّ يبدأ في توليد الجملة التّالية بطريقةٍ منطقيّةٍ بناءً على المعلومات الّتي تعلّمها أثناء التّدريب المسبق، ويستخدم التّدريب باستخدام ردودٍ بشريّةٍ Fine-tuning with Human Feedback. بعد مرحلة التّعلم المسبق، يتمّ تحسين ChatGPT باستخدام ردودٍ بشريّةٍ عبر تقنيّة RLHF. يقوم المدرّبون البشر بتقديم أمثلةٍ عن الإجابات الصّحيحة أو يقيّمون الإجابات الّتي ينتجها النّموذج؛ وهذا يساعده في تحسين أدائه وجعله أكثر توافقًا مع التّوقعات البشريّة.

تستمر مجموعةٌ متنوّعةٌ من نماذج المحوّلات _بما في ذلك بيرت للمهام المعتمدة على المحوّلات ذوات المشفّر التلقائي و GPT-3 للمهام التّنبؤيّة و T5 لمهام سلسلة إلى سلسلة_ في تحقيق تقدّمٍ كبيرٍ في مجالات الذّكاء الإصطناعيّ وتعلّم الآلة. إنّ المعماريّات والقدرات الفريدة لهذه النّماذج تجعلها مناسبةً لمجموعةٍ واسعةٍ من المهام، ممّا يضمن استمرار تطوّرها وتكيّفها في المستقبل. توضّح الأمثلة العمليّة الفوائد والتّطبيقات الواقعيّة لهذه النّماذج، ممّا يبرز تأثيرها وأهمّيتها في تطوير التّكنولوجيا وحلّ المشكلات المعقّدة. [1][5][6][7]