إنّ الضّبط الدّقيق في النّماذج اللّغويّة الكبيرة LLMs مهمٌّ عندما تكون هناك حاجةٌ لتكييف نموذجٍ مدرّبٍ مسبقًا؛ لأداء مهمّةٍ محدّدةٍ أو حالة استخدامٍ معيّنةٍ. ومن خلال استخدام تقنيّات الضّبط الدّقيق، يمكن أن يُظهر النّموذج أداءً أفضل في مهمّةٍ أو مجالٍ معيّنٍ.

يتطلّب ضبط النّموذج بدقّةٍ كمّيةً كبيرةً من بيانات التّدريب، الذّاكرة، الجهد، والوقت. ومن أحد العيوب الرّئيسيّة في هذه العمليّة أنّ النّموذج النّاتج يحتوي على عددٍ كبيرٍ من المعاملات parameters يوازي تقريبًا عدد معاملات النّموذج الأصليّ، حيثأنّ ضبط النّماذج الكبيرة من البداية إلى النّهاية ليس بالأمر السّهل.

والسّؤال هنا: هل من الممكن أن يتمّ ضبط النّماذج الكبيرة بطريقةٍ أكثر كفاءة في الحوسبة والبيانات، وتقليل استهلاك الذّاكرة مع المحافظة على أداء الضّبط الشّامل الدّقيق؟

الحل:[2] نحن بحاجةٍ إلى نهجٍ مرنٍ يتجنّب تعديل جميع المعاملات، ممّا يُتيح استخدام موارد بنيةٍ تحتيّةٍ أقل وبياناتٍ أقل أيضًا. وهذا ما يسمّى بالضّبط الدّقيق بكفاءةٍ للمعاملات PEFT=Parameter-Efficient Fine-Tuning.

بمعنى آخر، يتمّ تعديل جزءٍ صغيرٍ من معاملات النّموذج أو إضافة معاملاتٍ أثناء عمليّة الضّبط الدّقيق، حيث يحتوي كلّ نموذجٍ مضبوطٍ بدقّةٍ على عددٍ صغيرٍ من المعاملات الخاصّة بمهمّةٍ محدّدةٍ والّتي تخزّن أو تُحمّل، ممّا يؤدّي إلى تخفيف الحمل على الذّاكرة وعمليّات الحوسبة وتبسيط عمليّة التّطوير. [1]

من أجل تحقيق ضبط المعاملات بكفاءةٍ، يتمّ استخدام تقنيّتين رئيسيّتين لذلك هما: طبقات المحوّل الإضافيّة Adapter Layers والضّبط المسبق Prefix Tuning.

يوضح الشكل (2) كيف يتطلب الضبط الدقيق Fine-tuning تدريب نموذج منفصل لكل مهمة (مثل الترجمة، التلخيص وتحويل الجدول إلى نص)، بينما في الضبط المسبق Prefix-tuning نحتفظ بنموذج واحد مسبق التدريب مع بادئات مخصصة لكل مهمة.

إنّ كلًّا من الضّبط المسبق وطبقات المحوّل الإضافيّة يساهم في تقليل متطلّبات الحوسبة، استهلاك الذّاكرة، وعدد المعاملات القابلة للتّدريب المرتبطة بعمليّة الضّبط الدّقيق للنّماذج اللّغويّة الكبيرة.

ورغم أنّ هذه الأساليب تُعتبر بدائل فعّالةً من حيث عدد المعاملات وأداءٍ جيّدٍ مقارنةً بالضّبط الكامل للنّموذج، إلّا أنّها لا تخلو من بعض القيود: [1]

• طبقات المحوّل Adapters تُضيف طبقاتٍ جديدةٍ إلى النّموذج الأساسيّ. ورغم أنّ هذه الطّبقات تحتوي على عددٍ قليلٍ من المعاملات، إلّا أنّها تتطلّب معالجةً تسلسليّةً أثناء التّمرير الأماميّ، ممّا يؤدّي إلى زيادةٍ في زمن الاستجابة وبطءٍ في التّدريب.
• أمّا الضّبط المسبق Prefix Tuning، ففي كثيرٍ من الأحيان يكون من الصّعب تحسينه، أي أنّ عمليّة الضّبط تكون أقلّ استقرارًا من غيرها. كما أنّ تقليل حجم نافذة السّياق المتاحة للنّموذج لفهم المدخلات قد يؤثّر على الجودة والتّنبؤ، بالإضافة إلى أنّه لا يقدّم دائمًا أداءً أفضل عند زيادة عدد المعاملات القابلة للتّدريب.

إنّ التّكيّف منخفض الرّتبة Low-Rank Adaptation يسعى لمعالجة هذه التّحدّيات مع الحفاظ على أداءٍ مماثلٍ تقريبًا للضّبط الكامل للنّموذج.

نستنتج أنّنا نحتاج إلى نهجٍ متكاملٍ للضّبط الدّقيق للنّماذج اللّغويّة الكبيرة لا يقتصر فقط على كفاءة المعاملات وإنّما على:[1]

• كفاءة الحوسبة: أي أنّ عمليّة التّدريب تتمّ بسرعةٍ وبدون تكلفةٍ.
• كفاءة الذّاكرة: أي لا نحتاج إلى وحدات معالجة رسوماتٍ GPUs ضخمةٍ من أجل ضبط نموذجٍ لغويٍّ كبيرٍ LLM.
•  سهل النّشر: أي لا نحتاج إلى تنفيذ ونشر عدّة نسخٍ من نموذجٍ لغويٍّ كبيرٍ ما من أجل مهمّةٍ محدّدةٍ.

مع طريقة التّكيّف منخفض الرّتبة LoRA والتّكيّف الكمّيّ منخفض الرّتبة QLoRA للضّبط الدّقيق للنّماذج اللّغويّة الكبيرة، نستطيع تحقيق كلّ ما سبق والتّبديل بسهولةٍ بين الإصدارات المختلفة للنّموذج دون زيادةٍ في زمن الاستجابة أثناء الاستدلال inference latency.

لنتعرّف أكثر على هاتين الطّريقتين وطرق عملهما.

يتمّ تدريب عددٍ صغيرٍ من المعاملات فقط بدلًا من تدريب جميع معاملات النّموذج. وتُعرف هذه المجموعة الصّغيرة من المعاملات باسم مصفوفات التّكيّف منخفضة الرّتبة Low-Rank Adaptation Matrices، وهو ما اشتُقّ منه اسم تقنيّة لورا   LoRA.

وسبب تسميتها بـ “منخفضة الرّتبة“ يعود إلى أنّ هذه المصفوفات تحتوي على عددٍ قليلٍ من المعاملات مقارنةً بالمصفوفات الأصليّة، ويتمّ دمجها مع نتائج معاملات النّموذج الأصليّ أثناء عمليّة التّدريب.

تُتيح لنا تقنيّة لورا LoRA تدريب بعض الطّبقات الكثيفة Dense Layers في الشّبكة العصبونيّة بشكلٍ غير مباشرٍ من خلال تحسين مصفوفات تفكيك الرّتبة Rank Decomposition Matrices الّتي تمثّل التّغيّرات الّتي تطرأ على هذه الطّبقات أثناء التّكيّف، مع إبقاء الأوزان المدرّبة مسبقًا مجمّدة دون أيّ تعديلٍ. نستطيع من خلال استبدال قيم المصفوفات منخفضة الرّتبة الإنتقال من مهمّةٍ إلى أخرى بكفاءةٍ مع المحافظة على النّموذج المشترك المدرّب مسبقًا، وأيضًا نلاحظ انخفاضًا في متطلّبات التّخزين مع إمكانيّة التّبديل بين المهام بفعّاليّةٍ وكفاءةٍ. تُقلّل تقنيّة لورا LoRA حاجز الدّخول Barrier Entry بما يصل إلى 3 مراتٍ عند استخدام خوارزميّات التّحسين التّكيّفيّة Adaptive Optimizers؛ لأنّه لم يعد هناك من حاجةٍ لحساب التّدرّجات Gradients أو الاحتفاظ بحالات المحسّن Optimizer States لمعظم المعاملات. وبدلًا من ذلك، نقوم فقط بتحسين المصفوفات منخفضة الرّتبة الصّغيرة الّتي تمّت إضافتها. يُتيح لنا التّصميم الخطّيّ البسيط دمج المصفوفات القابلة للتّدريب مع الأوزان المجمّدة عند النشر، ممّا يعني أنّه لا يتمّ إدخال أيّ تأخيرٍ إضافيٍّ أثناء الاستدلال مقارنةً بنموذجٍ مضبوطٍ بالكامل.  [4]

والسّؤال هنا؟ لماذا يُظهر النّموذج أداءً جيّدًا رغم تخصيص عددٍ قليلٍ جدًّا من المعاملات لعمليّة الضّبط الدّقيق؟

ألن نستفيد أكثر لو قمنا بتدريب عددٍ أكبر من المعاملات؟

ممّا يُظهر أنّ النّماذج الكبيرة تميل إلى أن تكون ذات بُعدٍ جوهريٍّ منخفضٍ Low Intrinsic Dimension.
ورغم أنّ هذه الفكرة قد تبدو معقّدةً، إلاّ أنّها ببساطةٍ تعني أنَ مصفوفات الأوزان في هذه النّماذج الضّخمة غالبًا ما تكون منخفضة الرّتبة. وتستطيع النّماذج اللّغويّة الكبيرة التّعلّم بكفاءةٍ على الرّغم من الإسقاط العشوائيّ إلى حيّزٍ فرعيٍّ أصغر. [4]

بمعنى آخر: ليست كلّ هذه المعاملات ضروريّةً بشكلٍ فعليٍّ، حيث يمكننا تحقيق أداءٍ مماثلٍ من خلال تفكيك مصفوفات الأوزان إلى تمثيلٍ يحتوي على عددٍ أقلّ بكثيرٍ من المعاملات القابلة للتّدريب.

وبالتّالي، فإنّ التّقنيّات مثل LoRA _الّتي تُقارب تحديث الضّبط الدّقيق من خلال تفكيكٍ منخفض الرّتبة Low Rank Decomposition_ قادرةٌ على التّعلُّم بكفاءةٍ وفعّاليّةٍ، ممّا يُنتج نموذجًا ذي أداءٍ مميّزٍ رغم احتوائه على عددٍ قليلٍ من المعاملات القابلة للتّدريب.

أيضًا تُدعى بمصفوفة التّكيّف منخفض الرّتبة؛ للمحافظة على أداء جودة النّموذج. المصفوفتان هما مجرّد إسقاطين خطّيّين Linear Projections، حيث يتمّ تقليل أبعاد المدخلات وبعدها استعادة الأبعاد الأصليّة. ويتمّ بعد ذلك جمع ناتج هذين الإسقاطين مع ناتج النّموذج المستمدّ من الأوزان المدرّبة مسبقًا. [1]

فبدلًا من ضبط معاملات طبقات النّموذج المدرّب مسبقًا LLM بشكلٍ مباشرٍ، تقوم تقنيّة لورا LoRA فقط بـتحسين (تدريب) مصفوفات تفكيك الرّتبة، ممّا يُنتج نتيجةً تُقارب تحديث الضّبط الكامل للنّموذج.

يمكننا صياغة تحديث المعاملات النّاتج عن عمليّة الضّبط الدّقيق كما هو موضّحٌ في المعادلة أدناه:

تكمن الفكرة الأساسيّة لـ لورا LoRA في دمج مجموعةٍ إضافيّةٍ من تعديلات الأوزان إلى قيم الأوزان الموجودة. يتمّ تهيئة المصفوفة A بقيمٍ صغيرةٍ وعشوائيّةٍ، بينما تُهيَّأ المصفوفة B بقيمٍ تساوي الصّفر؛ وذلك لضمان أن تبدأ عمليّة الضّبط الدّقيق من نفس أوزان النّموذج الأصليّة المدرّبة مسبقًا. كما هو موضّحٌ بالشّكل (4):  [3]

يتمّ تشكيل الطّبقة المُحدّثة من خلال جمع هذين التحويلين المتوازيين كما هو موضّحٌ أدناه. وكما نرى، فإنّ إضافة لورا إلى الطّبقة يتيح تعلّم التّحديث مباشرةً لأوزان الطّبقة الأساسيّة.[1]

حيث لدينا: r الرّتبة (r ≪ min (d, k ،عادةً تكون قيمها بين 1-64؛ للحفاظ على قيم المعاملات القابلة للتّدريب صغيرًا.

[4] يساعد في إنقاص الحاجة الى إعادة ضبط المعاملات الأساسية hyperparameters عندما يتمّ تغيير قيم r. أيضًا يتمّ تجنّب القيم الكبيرة جدًّا أو الصغيرة جدًّا والّتي قد تؤثّر على استقرار التّدريب وتحسين سرعة وكفاءة التّدريب، خصوصًا عند استخدام محسّناتٍ مثل خُوارِزْميَّةُ توقُّعِ المُلاءمةِ اللَّحظِيَّةِ (آدم).    

بمجرّد اشتقاق التّحديث منخفض الرّتبة لمصفوفة الأوزان، نقوم بالتّوسيع بواسطة عامل قياس (α) قبل إضافته إلى أوزان النّموذج المدرّبة مسبقًا كما هو موضّحٌ أدناه. يمكن تغيير قيمة α لتحقيق التّوازن بين أهمّيّة أوزان النّموذج المدرّب مسبقًا والتّكيّف الجديد الخاصّ بالمهمّة المحدّدة.[1]

qi​ هو مستوى التّكميم, أي واحدةٌ من القيم الّتي سيتمّ تحويل البيانات المستمرّة إليها ضمن مجموعة القيم المتاحة.

Qx هو دالّة الكمّيَة Quantile Function، والمعروفة أيضًا بـدالّة التّوزيع العكسيّ التّراكميّ لتوزيعٍ طبيعيٍّ معياريٍّ (N(0,1.

2k هو العدد الإجماليّ لمستويات التّكميم Quantization Bins عند استخدام تكميمٍ بعدد ثابت من البتات. أي أنّه يتمّ تمثيل الأوزان أو القيم المستمرّة بـ 16 قيمةٍ فقط بدلًا من قيم غير محدودةٍ.

مثالٌ توضيحيٌّ: بيانات 4-بت سوف تقسم ما بين القيمة 1- والقيمة 1 بعدد خاناتٍ 16 رقمًا. كما هو موضّحٌ بالمصفوفة المرفقة، ولنفترض أنّ قيمة وزن بمصفوفة الأوزان هو 0.2121 القيمة الأقرب له هي 0.1997 أي رقم الخانة العاشرة. فبدلًا من تخزين عددٍ عشريٍّ بدقّة 32-بت يتمّ تخزين الرقم 10.[2]

o   التّكميم المزدوج Double Quantization: يتمّ تطبيق التّكميم مرّتين لتقليل الحجم واستهلاك الذّاكرة.

o   مثالٌ توضيحيٌّ: لنفترض أنّه لدينا نموذجٌ يحتوي على 1 مليون معامل. كلّ 64 معاملٍ يتمّ تجميعهم ضمن بلوكٍ واحدٍ، ويتمّ تطبيق تكميمٍ ثابتٍ لهم. سوف يتمّ تطبيق التّكميم ذو 32-بت.  وسيتمّ استهلاك 0.5 بتٍ لكلّ معاملٍ وبالتّالي سوف يكون لدنيا 500.000 بتٍ. باستخدام التّكميم المزدوج نقوم بتجميع 256 ثابت تكميمٍ في مجموعةٍ واحدةٍ وتطبيق تكميم 8-بت. من شأن هذا التّكميم  التّقليل من حجم الثّوابت إلى ما يعادل 0.127 بتٍ لكلّ وزنٍ. وبالتّالي سوف يتمّ استخدام 125.000 بتٍ لكلّ 1 مليون وزنٍ.

o   محسّنات الذاكرة المجمّعة Paged Optimizers: تستفيد من ميزة الذّاكرة الموحّدة الّتي تسمح بإجراء نقلٍ سلسٍ للبيانات بين ذاكرة وحدة معالجة الرسوميات وذاكرة وحدة المعالجة المركزية عند الحاجة؛ من أجل تجنّب انهيار النّموذج أو توقّف التّدريب بسبب تجاوز الذّاكرة، ولمنع حدوث ارتفاعاتٍ مفاجئةٍ في استهلاك الذّاكرة أثناء عمليّة تخزين التّدرّجات Gradient Checkpointing، والّتي قد تتسبّب في أخطاء نفاذ الذّاكرة Out-of-Memory Errors، ممّا قد يجعل عادةً عمليّة الضّبط الدّقيق للنّماذج الكبيرة على جهازٍ واحدٍ مهمّةً صعبةً للغاية. تعمل هذه الميزة بطريقةٍ مشابهةٍ لتقسيم الذّاكرة التّقليديّ Memory Paging بين ذاكرة الوصول العشوائيّ للمعالج CPU RAM والقرص الصّلب؛ ولذلك نستخدم هذه الميزة لتخصيص ذاكرةٍ مجزّأةٍ Paged Memory لحالات المُحسِّن Optimizer States، بحيث يتمّ نقلها تلقائيًّا إلى ذاكرة الرام RAM الخاصّة بالمعالج عندما تنفد ذاكرة وحدة معالجة الرّسومات GPU، ثمّ إعادتها إلى ذاكرة وحدة معالجة الرّسومات عندما تكون هناك حاجةٌ لاستخدامها أثناء خطوة تحديث المُحسِّن Optimizer Update Step.[5]