1. المقدّمة

تتناول هذه الورقة البحثيّة، الموسومة بعنوان “AI Hallucination from Students’ Perspective: A Thematic Analysis”، هلوسات نماذج اللّغة الكبيرة من منظور طلّاب الجامعات، وذلك من خلال دراسة كيفيّة اكتشافهم للمعلومات الخاطئة، واستراتيجيّاتهم للتحقق من مخرجات النّماذج، وتصوّراتهم حول أسباب حدوث الهلوسة.

2. مشكلة البحث

أدّى تزايد اندماج نماذج اللّغة الكبيرة في التّعليم الأكاديمي إلى ظهور تحدّيات متعلّقة بموثوقيّة المحتوى، من بينها تقديم معلومات غير دقيقة وظهور الهلوسة Hallucination في بعض الإجابات المولّدة.

3. الثّغرةُ البحثيّة

على الرّغم من تزايد الأبحاث حول استخدام الطّلاب للذّكاء الإصطناعيّ التّوليديّ وتصوّراتهم تجاهه، لا تزال هناك فجوةٌ بحثيّةٌ تتمثّل في محدوديّة الدّراسات النّوعيّة المعتمدة على التّحليل الموضوعي والّتي تتناول تجارب الطّلاب مع هلوسات نماذج اللّغة الكبيرة بصورةٍ مباشرة، حيث ركزت الدّراسات السّابقة إمّا على تطوير تقنيّاتٍ لاكتشاف الهلوسة والحدّ منها على مستوى النّظام، أو على دراسة تصوّرات الطّلاب واستخداماتهم العامّة للذّكاء الإصطناعيّ، في حين لم تحظَ كيفيّة اكتشاف الطّلاب للهلوسات وتفسيرهم لأسبابها واستراتيجيّاتهم للتّحقق من مخرجات النّماذج باهتمامٍ بحثيٍّ كافٍ ضمن السّياق التّعليمي.

وعليه، تبرز الحاجة إلى فهم التّجارب الفّعليّة للطّلاب ونماذجهم الذّهنيّة تجاه الهلوسة.

4. مجموعة البيانات المستخدمة

اعتمدت الدّراسة مجموعة من الرّكائز المنهجيّة لفهم تجارب طلّاب الجامعات مع هلوسات نماذج اللّغة الكبيرة، والكشف عن تصوّراتهم ومفاهيمهم الذّهنيّة تجاهها ضمن السّياقات التّعليمية.

إشراك الطّّلاب:
شملت الدّراسة نحو 63 طالبًا من تخصّص هندسة الحاسوب، ممّن لديهم اهتمام بالبرمجة وتوظيف نماذج اللّغة الكبيرة في كتابة الأكواد، وتفسير الخوارزميّات، والبحث الأكاديمي، وتصحيح المفاهيم والمعلومات التّقنيّة.
الأسئلة المفتوحة:
طُلب من المشاركين الإجابة عن مجموعةٍ من الأسئلة المفتوحة، تمحورت حول:

وصف أمثلة واقعيّة لاحظوا فيها حدوث هلوسة من أحد نماذج اللّغة الكبيرة.
توضيح الطّرق والاستراتيجيّات الّتي يعتمدونها لاكتشاف هلوسات نماذج اللّغات الكبيرة والتّحقق من صحة مخرجاتها.
تفسير فهمهم لأسباب حدوث ظاهرة الهلوسة في نماذج اللّغة الكبيرة ومناقشة تصوّراتهم حولها.

5. المنهجيّة المستخدمة

تصميم الدّراسة:
اعتمدت الدّراسة منهجًا نوعيًّا Qualitative Design، من خلال طرح مجموعةٍ من الأسئلة المفتوحة بهدف استكشاف تجارب الطّلاب الفعليّة مع هلوسات LLMs، وفهم كيفيّة إدراكهم لها وتفسيرهم لأسباب حدوثها وطرق تعاملهم معها.
تحليل البيانات:
حُلِّلت إجابات المشاركين باستخدام التحليل الموضوعي Thematic Analysis للكشف عن الأنماط والموضوعات المتكررة في البيانات النوعية، بالاستعانة بأداة Taguette المجانية والمفتوحة المصدر. ومرّ التحليل بأربع مراحل: الترميز المبدئي، بتقسيم الإجابات إلى مقاطع ذات معنى وترميزها وفق الأفكار والمفاهيم المرتبطة بها؛ تطوير الرموز، بإنشاء رموز جديدة للمفاهيم المستجدة وتنظيم الرموز المتشابهة؛ التحقق من موثوقية الترميز، للتأكد من اتساق عملية الترميز؛ وأخيرًا بناء الموضوعات، بتجميع الرموز المتقاربة لاستخلاص الأنماط والموضوعات الرئيسة.

6. النّتائج التّجريبيّة

أنماط الهلوسة: شارك 58 طالبًا من أصل 63 طالبًا بإجاباتٍ ذات معنى عن السّؤال الأوّل (RQ1).

كما يوضّح الشّكل (1) عن تنوّع في أنماط الهلوسة التي واجهوها. وجاء اختلاق الاستشهادات والمعلومات في صدارة الأنماط بنسبة 26%، وهي أنماطٌ يمكن للمستخدم اكتشافها والتّحقق منها نسبيًّا بسهولة. في المقابل، برز الاستدلال المعيب Flawed Reasoning، الّذي يتطلّب مستوى من الخبرة التّخصّصيّة لاكتشاف الخلل فيه بدقّةٍ. كما يصبح اكتشاف الهلوسة أكثر تعقيدًا عندما تتعلّق الإجابات بقضايا ذات طابعٍ ذاتيٍّ يصعب التّحقق منها موضوعيًّا، أو بموضوعاتٍ تتجاوز مستوى خبرة المستخدم. ووفقًا للشّكل (2)، شكّلت هندسة الحاسوب المجال الأكثر ورودًا في تجارب الطّلاب للمجالات التّعليميّة التّخصّصيّة بنسبة 20%.

أُجري نقاش على نطاقٍ موسّعٍ حول أنماط الهلوسة، تمّ التّوصّل من خلاله إلى وجود هلوساتٍ ناتجةٍ عن عدم الالتزام بالتّعليمات الموجّهة حيث أظهرت النّتائج أنّ دقة الإجابة لا تضمن بالضّرورة خلوّها من الهلوسة؛ فقد يفشل النّموذج في اتباع التّعليمات حتّى عندما تكون المعلومات الّتي يقدّمها صحيحة، ممّا قد يؤدي إلى ظهور هلوسات الوفاء Faithfulness Hallucinations، كالإجابات النّاقصة أو غير الملائمة أو الّتي لا تنفذ المهمّة المطلوبة بصورةٍ صحيحةٍ.

وأيضًا وجود هلوسات مرتبطة بطريقة طرح المحتوى الخاطئ الصّارمة حيث لا ترتبط صعوبة اكتشاف الهلوسة بالمحتوى الخاطئ وحده، بل أيضًا بالطّريقة الّتي يُقدَّم بها؛ إذ قد يعرض النّموذج معلومات غير دقيقة بأسلوبٍ واثقٍ ومقنعٍ ومنطقي، الأمر الّذي قد يدفع الطّلاب إلى قبول الإجابة دون التّحقّق منها، وهو ما يرتبط بـ Chat-Chamber Effect.

كما وأنّ عدم فاعليّة الحوار التّفاعلي شغل حيّزًا مهمًّا من النّقاش حيث يلجأ الطّلاب إلى الحوار التّفاعلي بوصفه آليّةً للوصول إلى الحقيقة Truth-Finding Mechanism، من خلال تصحيح إجابات النّموذج. إلّا أنّ النّموذج قد يستمر في تكرار الخطأ أو يلجأ إلى المسايرة المفرطة Sycophancy، فيوافق المستخدم دون معالجة الخطأ فعليًّا. ويجعل ذلك من الصّعب التّمييز بين التّصحيح الحقيقي والموافقة الشّكليّة، ويحدّ من موثوقيّة الحوار التّفاعلي بوصفه وسيلة للتّحقق من صحة المعلومات.

الاستراتيجيات المستخدمة في اكتشاف الهلوسة: أجاب 54 طالبًا من أصل 63 طالبًا عن السّؤال الثّاني (RQ2). وكما يوضّح الشّكل (3)، أشارت أقلّ قليلًا من نصف الإجابات إلى أنّ الطّلاب يشتبهون بوجود الهلوسة عندما تبدو استجابة الذّكاء الإصطناعيّ غير متّسقة أو غير منطقيّة أو غير متوقعة. واعتمد معظم الطّلاب على الإدراك الحدسي، متأثّرين بخبراتهم السّابقة مع حالات الهلوسة الواضحة. في المقابل، لجأ بعضهم إلى تحليل مجموعةٍ من المؤشرات المتزامنة بدل الاعتماد على إشاراتٍ منفردة، ممّا أتاح لهم التّعرّف إلى أنماطٍ أكثر تعقيدًا في سلوك النّماذج اللّغويّة. ومع ذلك، أظهرت النّتائج أنّ الطّلاب يميلون إلى الثّقة بمخرجات الذّكاء الإصطناعيّ بدرجةٍ أكبر عند التّعامل مع المهام الصّعبة أو المعقدة، ولا سيّما عندما تفتقر لديهم الخبرة اللازمة للتّحقق من صحة تلك المخرجات، الأمر الّذي قد يزيد من احتماليّة اعتمادهم عليها دون تحقق كافٍ.
تفسير ظاهرة الهلوسة من منظور الطّلاب : أجاب 52 طالبًا من أصل 63 طالبًا عن السّؤال الثّالث (RQ3)، وكشفت إجاباتهم عن مجموعةٍ من التّصوّرات حول أسباب حدوث الهلوسة. وفيما يتعلّق بالهلوسة النّاجمة عن آليّة توليد النّصوص، أشارت 41% من التّعليقات إلى الطّبيعة الاحتماليّة للذّكاء الإصطناعيّ التّوليدي، الّذي يعتمد على التّنبؤ بالكلمة التّالية استنادًا إلى الأنماط الإحصائيّة المستخلصة من البيانات، كما يوضّح الشّكل (4).

كما أرجع نصف التّعليقات حدوث الهلوسة إلى فجواتٍ في بيانات التّدريب، بما يشير إلى إدراك الطّلاب لدور جودة البيانات واتساعها في التّأثير في مخرجات النّماذج، كما هو موضّح في الشّكل (5).

وبناءً على تحليل الاستجابات، برزت أربعة نماذج ذهنيّة اعتمدها الطّلاب في تفسير ظاهرة الهلوسة:

نموذج محرّك البحث Search-Engine Model: ينظر إلى الذّكاء الإصطناعيّ بوصفه نظامًا شبيهًا بمحرّك بحث أو قاعدة بيانات، يسترجع المعلومات المخزّنة لديه.
نموذج اكتشاف الأنماط الاستقرائي Inductive Pattern Detection Model: يفهم الذّكاء الإصطناعيّ بوصفه نظامًا احتماليًّا يتنبأ بالمخرجات اعتمادًا على الأنماط الّتي تعلّمها من البيانات.
نموذج الإدراك غير المُؤسَّس Ungrounded Cognition Model: يرى أنّ النّموذج يفتقر إلى أساس معرفي يتيح له فهم الحقيقة والتّحقق من صحة المعلومات الّتي يولّدها.
نموذج قيود التّلقين Prompt-Constraint Model: يربط حدوث الهلوسة، وفق عددٍ أقل من الطّلاب، بضعف صياغة التّلقينات أو عدم كفايتها في توجيه النّموذج نحو الاستجابة المطلوبة.

7. الخلاصة

يُعدّ من الضّروري أن تؤكّد المنصّات التّعليميّة على أنّ الذّكاء الإّصطناعي ليس مصدرًا معصومًا من الخطأ، بل يتطلّب اعتماد آليّات تحقّق مستقلّة، ولا سيّما في المهام الإدراكيّة ذات الطّابع المفاهيمي.

تواجه الورقة البحثيّة عددًا من المحدوديّات الّتي ينبغي أخذها في الاعتبار عند تفسير نتائجها؛ إذ اقتصرت الدّراسة على طلابٍ من تخصّصٍّ أكاديميٍّ محدّد، ممّا قد يحدّ من إمكانيّة تعميم النّتائج على تخصّصاتٍ وسياقاتٍ تعليميّةٍ أخرى. كما اعتمدت على التّجارب والتّصوّرات الذّاتيّة للطّلاب دون قياسٍ فعليٍّ لدقة قدرتهم على اكتشاف الهلوسات والتّحقق منها. إضافةً إلى ذلك، جُمعت البيانات من خلال أسئلةٍ مفتوحة، الأمر الّذي قد يحدّ من عمق الإجابات واكتمالها، فضلًا عن عدم إمكانيّة الجزم بما إذا كان الطّلاب قد اعتمدوا على ذاكرتهم، أو استعانوا بمصادر خارجيّة، أو استخدموا أدوات الذّكاء الإصطناعيّ أثناء صياغة إجاباتهم.

وقد أُشير كذلك إلى نقطتين محوريّتين؛ الأولى أنّ دور الطّلاب لا يقتصر على التّحقّق من صحة المخرجات فحسب، بل ينبغي عليهم أوّلًا التّأكّد من أنّ النّظام قد فهم المهمّة بدقّة، واستند إلى معلوماتٍ ملائمةٍ، وقدّم استجابة مكتملة، وذلك قبل الشروع في تقييم مدى دقّتها. أمّا النقطة الثانية فتتمثّل في محدوديّة الحوار التّفاعلي المتكرّر في الوصول إلى الحقيقة، إذ إنّ كلّ تفاعلٍ لاحقٍ قد يعزّز حالة التّوافق الظّاهري بدلًا من أن يسهم في تصحيح الخطأ الأساسي.

كما ينبغي على المعلّمين توضيح أنّ النّماذج اللّغويّة لا تقوم باسترجاع الحقائق بشكلٍ مباشرٍ، وإنّما تولّد النّصوص اعتمادًا على التّنبؤ الإحصائي. وغياب هذا الفهم قد يدفع الطّلاب إلى التّقليل من مخاطر ظاهرة الهلوسة، وإلى سوء تفسير الأخطاء، ممّا ينعكس سلبًا على إدراكهم لموثوقيّة هذه الأنظمة.

وفي السّياق ذاته، يتعيّن على المناهج التّعليميّة أن تتجاوز التّركيز الحصري على الجوانب التّقنيّة لهندسة التّلقينات، وأن تمنح أولويّة لمفهوم اليقظة المعرفيّة، من خلال تدريب الطّلاب على بروتوكولات منهجيّة للتّحقّق من المعلومات، وتعزيز مهارات القراءة الجانبيّة، بما يحدّ من تأثير الثّقة الإقناعيّة الّتي تُظهرها النّماذج اللغوية الكبيرة.