دراسة مقارنة للاسترجاع المعجمي والكثيف والهجين للكشف عن التشابه في مقترحات التخرج ثنائية اللغة

الملخص

نُجري في هذه الدراسة مقارنة بين ثلاث استراتيجيات استرجاع لاكتشاف التشابه في مقترحات مشاريع التخرج ثنائية اللغة (عربي-إنجليزي): وهي النموذج المرجعي المعجمي (BM25)، ومسار المعالجة الكثيف (Dense pipeline) (والمكون من نموذج تشفير ثنائي متعدد اللغات Multilingual-E5 Bi-Encoder مُحسّن بدقة، مع إعادة الترتيب باستخدام نموذج تشفير متقاطع Cross-Encoder)، ومسار المعالجة الهجين (Hybrid pipeline) الذي يدمج بينهما باستخدام خوارزمية الدمج التبادلي للرتب (Reciprocal Rank Fusion - RRF).

تمت مواءمة نموذج التشفير الثنائي (Bi-Encoder) مع مجال الدراسة باستخدام 6000 مقترح مُصطنع، وجرى تقييمه بناءً على معيار ذهبي مطلق يضم 300 زوج من المقترحات العربية الحقيقية التي تُرجِمت إلى الإنجليزية عبر أداة (DeepL) وخضعت لمراجعة بشرية. وقد أُجري التقييم في ظل مهمة صارمة للبحث عابر اللغات، حيث يتوجب على كل استعلام باللغة الإنجليزية تحديد نظيره العربي المتطابق بدقة من بين 300 مقترح مُرشح.

أظهرت خوارزمية BM25 تدهوراً حاداً في الأداء ضمن بيئة البحث عابر اللغات، حيث حققت معدل دقة عند النتيجة الأولى (Precision@1) بلغ 0.113، وهو ما يعادل فعلياً مستوى الاسترجاع العشوائي غير المُوجَّه (Uninformed retrieval). ومما يكتسي أهمية بالغة، أن المسار الكثيف تفوق بشكل ملحوظ إحصائياً على المسار الهجين (p < 0.001، وفقاً لاختبار ويلكوكسون للرتب ذات الإشارة).

وفي هذه البيئة الصارمة للبحث عابر اللغات، أدت خوارزمية RRF إلى تعزيز تطابقات الكلمات المفتاحية غير ذات الصلة الناتجة عن BM25، مما تسبب في إدخال المكون المعجمي لمرشحات زائفة (Spurious candidates) أدت إلى تدهور دقة مرحلة إعادة الترتيب عبر إزاحة المرشحات الكثيفة الصحيحة. وعلاوة على ذلك، كشف التقييم النوعي أن المسار الهجين يُنتج نتائج إيجابية خاطئة (False positives) عند معالجة الاستعلامات غير المألوفة (Novel queries)، في حين يرفضها المسار الكثيف بشكل صحيح استناداً إلى التقييمات السلبية الصادرة عن نموذج التشفير المتقاطع (Cross-Encoder).

وبناءً على هذه النتائج، نوصي باعتماد مسار المعالجة الكثيف الخالص (Pure Dense pipeline) للتطبيق المؤسسي، وذلك نظراً لدقته الفائقة، ومناعته العالية ضد النتائج الإيجابية الخاطئة، فضلاً عن بساطة اعتماده على فهرس أحادي. وأخيراً، يؤكد التحقق الخارجي باستخدام معيار STS17 المرجعي أن النماذج الكثيفة تمتلك فهماً دلالياً حقيقياً عابراً للغات (حيث سجلت 0.77 للأزواج العربية).