المرجع الأكاديمي
نتائج ديوان على Fann-or-Flop (EMNLP 2025)
لماذا نقيس؟
الأرقام فقط تفصل بين محرّك بحث فعلي ومجرّد ادعاء. قِسنا ديوان على مرجع أكاديمي مُحكَّم منشور، لا على أمثلة اخترناها بأنفسنا.
المهمة
مرجع Fann-or-Flop يضمّ ٥٣٬٠٤٧ شرحًا نثريًا كتبها باحثون لأبيات شعر، مقرونًا بأسماء الشعراء. المهمة: من الشرح النثري وحده، استرجع الشاعر الصحيح من بين آلاف. البحث الكلمي التقليدي يفشل هنا — الشرح يكاد لا يشترك في كلماته مع البيت ذاته.
النتيجة
الشاعر الصحيح ضمن أفضل ١٠ نتائج في ٣٫١٣٪ من الاستعلامات. خط الأساس العشوائي ~٠٫١٤٪. يعني ذلك تفوّقًا يُعادل ٢٢ ضعفًا على العشوائي. على حدّ علمنا، هذه أوّل مرة يُقاس فيها محرّك بحث شعري عربي على مرجع أكاديمي منشور.
كلما ارتفع العمود كان أفضل. ٢٢× الاحتمال العشوائي، مقيسًا على كامل المدوّنة (٦٫٥٧ مليون بيت).
| النظام | النسبة |
|---|---|
| الاحتمال العشوائي | ~0.14% |
| ديوان (Arabic-Triplet-Matryoshka-V2) | 3.13% |
| SILMA (تم رفضه بعد القياس) | 1.03% |
مقارنات مخطّطة (نقولها صراحة)
المقارنة العادلة على الحجم نفسه تقتضي إعادة تمثيل كامل مدوّنة ديوان (٦٫٥٧ مليون بيت) بكل نموذج مرجعي، وهي خطوة تتطلّب موارد حوسبة مخصّصة مؤجّلة لتقرير تقني لاحق. أجرينا تجارب أوّلية على مجموعة Fann-or-Flop وحدها فلم تكن مفيدة للمقارنة، إذ تهيمن على المجموعة حفنة من الشعراء الأكثر تمثيلًا، حتى إنّ الأساس العشوائي سجّل هناك نحو ٤٠٪ — وهو ما لا يترك هامشًا للتمييز بين الأنظمة. رقم ٣٫١٣٪ المعلن أعلاه مقيس على كامل مدوّنة ديوان، حيث يسجّل العشوائي ~٠٫١٤٪ فقط، وفارق الـ ٢٢ ضعفًا ذو دلالة حقيقية.
- BM25 على فهرس كامل من ٦٫٥٧ مليون بيت — الأساس الكلمي الكلاسيكي
- تمثيلات AraBERT على كامل المدوّنة — بديل عربي مُدرَّب
- BGE-M3 وmultilingual-E5 على كامل المدوّنة — معاير متعدّدة اللغات
الباحثون الراغبون بالتعاون على المقارنة الكاملة مع توفّر موارد حوسبة مرحَّب بهم للتواصل.
للاستشهاد
يمكنك الإشارة إلى هذا الرابط وإلى ورقة Fann-or-Flop المرجعية. ورقة تقنية مفصّلة تحت الإعداد.