رابط الورقة البحثيّة:

 Configurable Clinical Information Extraction with Agentic RAG: What Works, What Breaks, and Why

إعداد: م. نادية عبد الجواد

التدقيق العلميّ و اللغوي: م. ماريّا حماده

1. المقدّمة

تستعرضُ هذه الورقةُ البحثيّةُ، الموسومةُ بعنوان “Configurable Clinical Information Extraction with Agentic RAG: What Works, What Breaks, and Why”، نظامَ استخراجِ المعلوماتِ السّريريّةِ الوكيلي Agentic Clinical Information Extraction – ACIE، الّذي يعتمدُ على نموذجٍ لغويٍّ كبيرٍ LLM بالاستنادِ إلى التّوليدِ المعزَّزِ بالاسترجاعِ الوكيلي Agentic RAG، حيث يعملُ النّظامُ بصورةٍ تكراريّةٍ على الاستدلالِ ضمنَ سياقِ المريضِ لاستخراجِ المعلوماتِ الطّبيّةِ، مع إسنادِ كلِّ معلومةٍ إلى مصدرِها للتّحقُّقِ منها من قِبَلِ الأطبّاءِ.

2. مشكلة البحث

على الرّغم من قدرة النّماذج اللّغويّة الكبيرة LLMs على تنفيذ مهام استخراج المعلومات السّريريّة Clinical Information Extraction دون الحاجة إلى تدريبٍ مخصّصٍ لكلِّ مهمّةٍ، فإنّ انتقال هذه التّقنيّة من نطاق التّقييمات البحثيّة إلى التّطبيق السّريري الفعلي لا يزال محدودًا. ويُعزى ذلك، من جهةٍ، إلى تحدّيات الخصوصيّة ومتطلّبات النّشر داخل المؤسّسات الصّحيّة، ومن جهةٍ أخرى، إلى قصور Standard RAG عن التّعامل بكفاءةٍ مع الطّبيعة المعقّدة للسّجلّات الطّبيّة الواقعيّة، ولا سيّما في ظلّ نقص موثوقيّة البيانات الوصفيّة Metadata، وتشابك الوثائق وترابطها، والحاجة إلى توظيف الاستدلال الزّمنيّ لحلّ التّعارضات بين المعلومات واستخلاص التّسلسل الزّمنيّ الصّحيح للأحداث السّريريّة.

3. الثّغرةُ البحثيّة

تتمثّلُ الثّغرةُ البحثيّةُ في غيابِ إطارٍ متكاملٍ يجمعُ بين استخراجِ المعلوماتِ السّريريّةِ وفقَ مخطّطاتٍ قابلةٍ للتهيئةِ من قِبَلِ الأطبّاءِ، والاسترجاعِ المُعزّزِ بالسّياقِ السّريريّ، والنّشرِ الفعليّ ضمنَ بيئاتِ المستشفياتِ. كما تبرزُ فجوةٌ في القياسِ المنهجيّ لمدى توافقِ البياناتِ الوصفيّةِ المتاحةِ في صادراتِ البياناتِ السّريريّةِ مع متطلّباتِ أنظمةِ الذّكاءِ الاصطناعيّ، وفي تفسيرِ العلاقةِ بينَ القراراتِ المعماريّةِ وإخفاقاتِ جودةِ البياناتِ أثناءَ التّشغيلِ الفعليّ.

4. الآليّة المُستخدمة

يوضِّحُ الشَّكلُ (1) البِنيةَ التَّشغيليَّةَ لنّموذجِ ACIE وآليَّةَ عملِهِ في استخراجِ المعلوماتِ السَّريريَّةِ، بدءًا من بناءِ السِّياقِ السَّريريِّ الشَّاملِ للمريضِ، مرورًا بعمليَّةِ الاسترجاعِ والاستخراجِ القائمةِ على الوكيلِ، وانتهاءً بإسنادِ القيمِ المُستخرَجةِ إلى مصادرِها والتّحقُّقِ منها بشريًّا، بما يضمنُ دقَّةَ النّتائجِ وقابليَّةَ التّحقُّقِ منها.

1.4. السِّياق السّريريّ الشّامل للمريض Patient Context

يتكوَّن السِّياقُ من الوثائقِ الطِّبيَّةِ والبياناتِ المُنظَّمةِ وفقَ معيارِ FHIR، المُتراكمةِ عبرَ التَّاريخِ السَّريريِّ للمريضِ. ويُقسَّمُ كلُّ مُستندٍ إلى مستويينِ من الوحداتِ الدّلاليَّةِ Semantic Chunks: مستوىً خَشِنًا مُخصَّصًا للاسترجاعِ Coarse Retrieval Chunks يحافظُ على السِّياقِ المُحيطِ بالمعلومةِ، ومستوىً دقيقًا من المقاطعِ Fine-grained Passages يعملُ كوحداتٍ ذَرِّيَّةٍ يُستندُ إليها عندَ توثيقِ مصدرِ المعلومةِ. ونظرًا إلى أنَّ أنظمةَ الاسترجاعِ الكثيفِ تميلُ إلى تفضيلِ المقاطعِ القصيرةِ منخفضةِ المعلوماتِ، يعتمدُ النَّموذجُ المُقترَحُ ACIE آليَّةَ درجةِ استرجاعٍ مُعاقَبةٍ بحسبِ طولِ المقطعِ Length-penalized Retrieval، الّتي تُوازِنُ بينَ صلةِ المقطعِ بالسُّؤالِ والحفاظِ على السِّياقِ الكافي لفهمِ المعلومةِ بدقَّةٍ.

2.4.  عمليّة الاستخراج Extraction Process

يُتيحُ النَّموذجُ المُقترَحُ ACIE للأطبّاءِ تحديدَ أهدافِ الاستخراجِ من خلالَ مُخطَّطاتٍ مُنظَّمةٍ وقابلةٍ للتّهيئةِ Typed Schemas، ممّا يَسمحُ بتكييفِ النِّظامِ مع حالاتٍ سَريريَّةٍ متنوِّعةٍ دونَ الحاجةِ إلى تعديلِ الشِّفرةِ البرمجيَّةِ أو إعادةِ تدريبِ النَّموذجِ. ويعتمدُ النِّظامُ على وكيلٍ قائمٍ على استدعاءِ الأدواتِ للبحثِ في السِّياقِ الكاملِ للمريضِ باستخدامِ البحثِ الدِّلاليِّ، واستعراضِ الوثائقِ ذاتِ الصِّلةِ مُرفقةً بملخَّصاتٍ مرتبطةٍ بالاستعلامِ، وفحصِ الوثائقِ المُحدَّدةِ بصورةٍ تفصيليَّةٍ، إلى جانبِ الاستعلامِ المباشرِ عن البياناتِ المُنظَّمةِ. وبذلكَ يتمكَّنُ الوكيلُ من الاستدلالِ عبرَ البياناتِ السَّريريَّةِ غيرِ المُنظَّمةِ والبياناتِ المُنظَّمةِ معًا، بدلًا من حصرِ عمليَّةِ البحثِ في وثيقةٍ واحدةٍ.

3.4.  التّوثيق والتّحقّق Grounding & Verification

يُواصلُ الوكيلُ عمليَّةَ البحثِ الدّلاليِّ بصورةٍ تكراريَّةٍ حتّى يجمعَ أدلَّةً كافيةً، ثمَّ يُرجعُ كلَّ قيمةٍ مُستخرَجةٍ مُسنَدةً إلى مقاطعَ مصدرٍ مُحدَّدةٍ Citation Chunks. ويُعَدُّ ذلكَ مُتطلَّبًا جوهريًّا للسّلامةِ السَّريريَّةِ، إذ يُراجِعُ الأطبّاءُ كلَّ قيمةٍ في ضوءِ مصدرِها، ثمَّ يقبلونَها أو يرفضونَها قبلَ إدراجِها في التَّوثيقِ السَّريريِّ، بما يضمنُ قابليَّةَ التّحقُّقِ من المعلوماتِ المُستخرَجةِ ومصداقيَّتَها.

5. النّتائج التّجريبيّة

تمَّ اختبارُ النّظام في بيئةٍ سريريّةٍ واقعيّةٍ واسعةِ النّطاق، دمجت ما يقارب ملياري موردٍ سريريٍّ لنحو 1.7 مليون مريض، جُمعت من نظام المعلومات الرّئيس في المستشفى، وأقسام الأشعة والمختبرات، إضافةً إلى المستشفيات التّابعة، ممّا يجعله واحدًا من أكبر مستودعات البيانات السّريريّة المعتمدة على FHIR في أوروبا.

قُيِّم النّموذج المقترح ACIE ضمن دراسةٍ استعاديّةٍ مستقلّةٍ لمرضى Lymphoma خضعوا للتّصوير الجزيئي، حيث حدّد طبيبٌ اختصاصيٌّ في الطّبّ النّووي 74 هدفًا للاستخراج باستخدام Typed Schemas دون الحاجة إلى أيّ جهدٍ هندسيٍّ. استخرج النّظام هذه الحقول لـ99 مريضًا، بإجمالي 7,326 قيمة، ثمّ تحقّق طبيبان اختصاصيّان في الطّبّ النّووي من كلّ قيمةٍ ومصادرها بالرّجوع إلى الأنظمة السّريريّة المستخدمة في الممارسة الرّوتينيّة.

أظهر ACIE موثوقيّةً مرتفعةً (الجدول 1)؛ فبالنّسبة إلى القيم الّتي استخرجها النّظام، بلغت الدّقة الّتي تحقّق منها الأطباء 96.4%، وكان عدد العيّنات 4,440، بينما كانت 96.8% من حالات الامتناع عن الاستخراج صحيحةً، بإجمالي 2,886 حالة، ممّا يشير إلى قدرة النّظام على تجنّب إنتاج قيمٍ غير مدعومةٍ بالأدلّة، مع الحفاظ على معدّلات منخفضة من فقدان المعلومات. كما اتسم الأداء بالاتّساق عبر المرضى، إذ حققت 78 من أصل 99 حالة معدّل قبول لا يقل عن 95%.

ويختلف أداء ACIE باختلاف نوع البيانات (الجدول 2)؛ إذ حققت الحقول الفئويّة والعدديّة والمنطقيّة والنّصّيّة معدّلات قبول مرتفعة، بينما انخفضت إلى 84.3% للحقول الزّمنيّة و79.8% للحقول الجدوليّة. وترتبط معظم هذه الأخطاء بمتطلّبات الاستدلال الزّمني عبر السّياق السّريري الكامل، سواءً في تحديد الحدث السّريري الصّحيح من بين عدّة تواريخ، أو في بناء الجداول الزّمنيّة للعلاج من معلومات موزّعة عبر السّجل.

أمّا من ناحية الأخطاء والسّلامة، فقد تركزت معظم حالات الرّفض في أخطاء الاستخراج الّتي بلغ عددها 241 حالة (الجدول 3)، مع بلوغ معدّل القبول المنسوب إلى الاستخراج 96.7% بعد استبعاد مشكلات تهيئة النّظام. وتوزّعت الأخطاء بين قيمٍ غير صحيحةٍ استخرجها النّظام وعددها 221، وقيمٍ موجودةٍ لم يتمّ استخراجها وعددها 9، وتركز معظمها في عددٍ محدودٍ من الحقول، ولا سيّما التّواريخ والجداول الزّمنيّة للعلاج. ولم يُسجَّل أيّ اختلاقٍ لقيمةٍ دون دعمٍ من مقطعٍ مصدريٍّ مستشهدٍ به، ممّا يشير إلى أنّ الخطر المتبقي يتمثّل أساسًا في قيمةٍ خاطئةٍ أو مفقودةٍ، وليس في إنتاج معلوماتٍ غير مدعومةٍ بالأدلّة.

6. الخلاصة

قدَّم نموذج ACIE نهجًا قائمًا على الوكلاء لاستخراج المعلومات السَّريريَّة من السِّياق الكامل للمريض، جامعًا بين الوثائق الطِّبيَّة غير المُنظَّمة والبيانات المُنظَّمة وفق معيار FHIR. وقد عالج الفجوة البحثيَّة المتمثِّلة في عدم كفاية البيانات الوصفيَّة Metadata السَّريريَّة وصعوبة الاعتماد عليها في عمليَّات الاسترجاع، من خلال تمكين الوكيل من إجراء بحثٍ دلاليٍّ تكراريٍّ، وفحص الوثائق ذات الصِّلة، والاستعلام المباشر عن البيانات المُنظَّمة، ثمّ الاستدلال بالاعتماد على محتوى المصادر بدلًا من الاقتصار على خصائصها الوصفيَّة. كما يُرجع النّظام كلَّ قيمةٍ مُستخرَجةٍ مدعومةً بمقاطعَ مصدرٍ مُحدَّدةٍ، ممَّا يُتيح للطّبيب التّحقُّق من كلِّ نتيجةٍ قبل اعتمادها. وبذلك، يسدُّ النّموذج الفجوة بين قدرات نماذج الذّكاء الإصطناعيّ في استخراج المعلومات ومتطلَّبات البيانات السَّريريَّة الواقعيَّة وقابليَّة التّحقُّق منها، مُحقِّقًا معدَّل قبولٍ سريريٍّ بلغ 96.5%، مع عدم تسجيل أيِّ حالات هلوسةٍ في التّقييم.

وتتمثَّل أبرز قيود الدّراسة في كونها دراسةً استعاديَّةً أحاديَّةَ المركز، شملت 99 مريضًا وفي مجالٍ مرضيٍّ واحدٍ ولغةٍ واحدةٍ، ممَّا يحدُّ من إمكانيَّة تعميم النّتائج على مؤسَّساتٍ وبيئاتٍ سريريَّةٍ أخرى. كما قيَّم كلَّ حقلٍ خبيرٌ واحدٌ فقط، دون إجراء تقييمٍ مستقلٍّ لـ موثوقيَّة الاتفاق بين المُقيِّمين Inter-rater Reliability. كذلك، لم تُقارَن ACIE بخطِّ أساسٍ غير قائمٍ على الوكلاء أو بنظامٍ تجاريٍّ مماثلٍ، وبالتّالي لا يمكن عزل الأثر الفعلي للتّصميم الوكيلي عن بقيَّة مكوِّنات النّظام. ويعتمد أداء النّظام أيضًا على قدرات النّموذج المحلي المُستخدَم، وعلى جودة البيانات السَّريريَّة المُتاحة في مستودع FHIR داخل المؤسَّسة المدروسة.

7. الملحق

يتضمّن هذا القسم الجداول الخاصّة بالنّتائج التّجريبيّة لتقييم نموذج  ACIE.

الجدول (1): قبول النّظام حسب نوع الحقل وحالة الاستخراج.

الجدول(2): معدّل قبول الأطباء وفقًا لنوع الحقل.

الجدول (3): تصنيف أخطاء الاستخراج وحالات الرفض.