الانتقال إلى المحتوى الرئيسي

مواصفات الجائزة

الغرض. تُحدِّد هذه الوثيقة هيكل صندوق الجوائز، وشروط العتبات، وعملية المطالبة، وقواعد MT Eval Arena. وهي تُحدِّد بدقة ما يعنيه مصطلح "قادر على الترجمة الآلية" بمقاييس قابلة للقياس، والشروط التي يتم بموجبها صرف أموال الجائزة. تشير هذه الوثيقة إلى SCORING_SPEC لتعريفات المقاييس وإلى BENCHMARK_SPEC لبروتوكول التقييم — ولا تُكرِّر محتواهما.

الحالة: فعّالة. جائزة المؤسِّس (§2.1) مموَّلة ونشطة.

آخر تحديث: 2026-06-04


1. الفلسفة

1.1 الجوائز تكافئ الإنجازات الكبرى، لا المشاركة

تُصرَف أموال الجائزة فقط عندما تُثبت طريقةٌ ما تحقيقها لعتبة قدرة محددة بشكل ملموس. لا توجد جوائز للمشاركة، ولا جوائز للمراكز الثانية، ولا مدفوعات ترضية. إذا لم يتجاوز أحدٌ العتبة، فلن يحصل أحدٌ على أموال. وهذا أمر مقصود — إذ يعني أن الرعاة يدفعون فقط مقابل نتائج تعمل فعلًا.

1.2 التحقق المجتمعي غير قابل للتفاوض

المقاييس الآلية هي مؤشرات تقريبية (SCORING_SPEC §1.1). يمكن لطريقةٍ ما أن تحقق درجات جيدة في chrF++ وقبول FST مع إنتاج مخرجات لا يقبلها أي متحدث. كل مطالبة بجائزة تتطلب تحققًا مجتمعيًا — يجب على متحدثين ثنائيي اللغة تأكيد أن المخرجات قابلة للاستخدام. هذه هي بوابة التحقق البشري (BENCHMARK_SPEC §7).

1.3 نقل الملكية جزء من الاتفاق

تخضع الطرق التي تطالب بجائزة لبند نقل الملكية (BENCHMARK_SPEC §8.3). يحتفظ المطوِّر بحقوق النسبة إليه والنشر. وتكتسب منظمة الحوكمة حق استخدام الطريقة وتعديلها وتوزيعها وتحقيق الدخل منها لصالح لغتها. هذا ليس عقوبة — بل هو الهدف بحد ذاته. أموال الجائزة تموِّل إنشاء تقنية تعود ملكيتها إلى مجتمع اللغة.

1.4 مكافحة التلاعب

تُحدَّد عتبات الجوائز بناءً على التقييم المعياري الذهبي (مجموعة اختبار سرية، تُشغِّلها منظمة الحوكمة في بيئة معزولة). لا يرى المطوِّرون بيانات الاختبار أبدًا. هذا الأمر مفروض معماريًا — وليس سياسة تعتمد على حسن النية. انظر BENCHMARK_SPEC §8.2.

1.5 ترخيص المدوَّنات: المدوَّنات غير التجارية تبقى خارج مسار الجوائز

تحمل بعض المدوَّنات المستخدمة أثناء تطوير الطرق تراخيص غير تجارية — على سبيل المثال، مدوَّنة EdTeKLA Cree Language Textbook مرخَّصة بـ CC BY-NC-SA 4.0. هذه المدوَّنات مخصصة لمسار البحث/التطوير فقط:

  1. يجب ألا تتضمَّن مدوَّنات الجائزة المعيارية الذهبية محتوى مدوَّنات مرخَّصة بتراخيص NC. مقاطع اختبار المعيار الذهبي هي نصوص أصلية بتكليف من المجتمع (انظر استراتيجية شراكة المدوَّنات) — مؤلَّفة بشريًا لأجل الجائزة، مع تسوية حقوقها للتقييم والنشر التجاري منذ البداية.
  2. يجب ألا تتضمَّن الطريقة التي تطالب بجائزة محتوى مدوَّنات مرخَّصة بتراخيص NC (مثل: بيانات توجيه، أو أمثلة مضمَّنة، أو جداول بحث). الطريقة المنقولة مخصصة للنشر التجاري من قِبل منظمة الحوكمة (BENCHMARK_SPEC §8.3، اتفاقية تقديم الطريقة §6)؛ ووجود محتوى مرخَّص بترخيص NC داخلها سيُفسد ذلك النشر.
  3. يجوز للمطوِّرين استخدام المدوَّنات المرخَّصة بتراخيص NC بحرية للتطوير والتقييم الذاتي — فهذا هو الغرض من مسار التطوير. ينطبق القيد على ما يُقدَّم وما يُنشَر، لا على كيفية تعلُّم المطوِّر.

1.6 فئات التبعيات تحدِّد أهلية الجائزة

يجري كل تقييم للجوائز في بيئة معزولة (§1.4)، وتُنقل الطرق الفائزة بالجائزة إلى منظمة الحوكمة (§1.3). كلتا الحقيقتين تفرضان القيد ذاته: كل ما تعتمد عليه الطريقة يجب أن يكون شيئًا يحق للمطوِّر وضعه في البيئة المعزولة ونقله إلى المجتمع. يُعلِن كل تقديم عن فئة تبعية — معرَّفة في مواصفات Method Interface، مع شروط القبول في اتفاقية تقديم الطريقة §2.6 — وتتبع الأهلية الفئةَ:

فئة التبعيةمؤهَّلة للجائزة؟الشروط
S — مكتفية ذاتيًا✅ نعملا شيء سوى شروط العتبات في §2
O — خارجية مفتوحة (مثل: FST بترخيص AGPL منسوخة عند التقديم)✅ نعمتثبيت المكوِّنات وإدراجها داخل التقديم؛ تسمح التراخيص بالنقل إلى المجتمع؛ الحفاظ على شروط copyleft (يحصل المجتمع على الحقوق نفسها التي يمنحها الترخيص للجميع)
A1 — استدلال LLM قابل للاستبدال⚠️ مشروطةيجب الإعلان عن النموذج وتثبيته وجعله قابلًا للاستبدال (يجب أن يعمل مقابل نموذج مفتوح الأوزان يستضيفه المجتمع)؛ يمر التقييم عبر بوابة LLM في البيئة المعزولة (🔲 مخطَّط — لا يمكن لطرق A1 إنتاج درجات معيارية ذهبية حتى تصبح البوابة جاهزة للتشغيل)؛ يَنقل النقلُ الوصفةَ الكاملة (التعليمات النصية، والتوجيه، والشيفرة)، لا النموذج
A2 — واجهة API لبيانات/خدمة خارجية غير قابلة للاستبدال❌ ليس بعدغير مؤهَّلة حتى يمنح صاحب الحقوق أذونات الإدراج في البيئة المعزولة والنقل. مسموح بها في لوحة المتصدرين المفتوحة مع وسم ظاهر "تبعية خارجية"
X — محتوى مضمَّن دون حقوق❌ أبدًاغير مقبولة في أي مسار

فئة الطريقة هي الفئة الأكثر تقييدًا من بين تبعياتها المُعلَنة. التبعيات غير المُعلَنة من أي فئة تؤدي إلى الإقصاء (§5).


2. صناديق الجوائز النشطة

2.1 جائزة المؤسِّس — EN→Plains Cree (nêhiyawêwin)

الحقلالقيمة
صندوق الجائزة10,000 دولار كندي
زوج اللغاتالإنجليزية → Plains Cree (EN→CRK)
بتمويل منمؤسِّس مشروع Champollion
الحالةنشطة — تستقبل التقديمات
تُفتحعند جاهزية المدوَّنة المعيارية الذهبية ومنظمة الحوكمة
تنتهيلا تاريخ انتهاء. تبقى الجائزة نشطة حتى المطالبة بها أو سحبها صراحةً.

شروط العتبات

تطالب طريقةٌ ما بجائزة المؤسِّس عند استيفاء جميع الشروط التالية في آنٍ واحد:

#الشرطالمقياسالعتبةالمسوِّغ
1الدرجة المركَّبة (composite score)composite (SCORING_SPEC §4)≥ 0.80بين مستوى Deployable ‏(0.70) ومستوى Fluent ‏(0.85). يتطلب جودة عالية عبر جميع أبعاد المقاييس — وليس الصحة الصرفية فحسب.
2قبول FSTfst_acceptance_rate (SCORING_SPEC §2.2)≥ 0.99 (99%+)يجب فعليًا أن تكون جميع كلمات المخرجات صيغًا صحيحة صرفيًا يتعرف عليها GiellaLT FST. يراعي هامش التسامح البالغ 1% الحالات الحدِّية (أسماء الأعلام، والمستحدثات، والكلمات المقترضة) التي قد لا يغطيها FST بشكل مشروع. هذه هي بوابة الجودة المحدِّدة للترجمة الآلية للغات متعددة التركيب — فإذا رفض FST أكثر من 1% من الكلمات، فإن الطريقة تنتج صيغًا لا وجود لها في اللغة. الهدف الكامل لهذه الجائزة هو شراء نظام لا يشوِّه اللغة.
3chrF++chrf_plus_plus (SCORING_SPEC §2.1)≥ 55.0يجب أن يتجاوز تداخل n-gram الحرفي قيمة 55 على مقياس 0–100. يضمن التشابه على مستوى السطح مع الترجمات المرجعية، وليس الصحة الصرفية فقط.
4التحقق المجتمعيالمراجعة البشرية (BENCHMARK_SPEC §7)≥ 70% «مقبول» أو «ممتاز»تُراجَع عيِّنة طبقية من المخرجات (≥30 مدخلًا عبر مستويات الصعوبة 2–5) من قِبل ≥2 من متحدثي CRK ثنائيي اللغة. يجب أن تحصل 70% على الأقل من المدخلات المُراجَعة على تقييم «مقبول» أو «ممتاز».
5التقييم المعياري الذهبيالتنفيذ في بيئة معزولة (BENCHMARK_SPEC §8.2)مطلوبيجب حساب جميع المقاييس الآلية مقابل مقطع مدوَّنة gold_standard، الذي تُشغِّله منظمة الحوكمة في بيئة معزولة. درجات مجموعة التطوير لا تُحتسَب.
6قابلية إعادة الإنتاجتطابق البصمة (BENCHMARK_SPEC §3.8)±2%يجب أن تتمكن منظمة الحوكمة من إعادة تشغيل الطريقة وتحقيق درجات ضمن ±2% من بطاقة التشغيل المقدَّمة.

لماذا 99+% من FST؟ المشكلة المركزية في الترجمة الآلية للغات متعددة التركيب هي الهلوسة — تنتج نماذج LLM سلاسل تبدو مثل اللغة الهدف لكنها غير صحيحة صرفيًا. الطريقة التي تنتج مخرجات صحيحة بنسبة 95% لا تزال تحتوي على 5% من الكلمات المُختلَقة — وهي ضوضاء غير مقبولة لأي استخدام إنتاجي. تتطلب عتبة 99%+ هلوسة شبه معدومة مع السماح بالحالات الحدِّية النادرة (اسم عَلَم لا يعرفه FST، أو مستحدث لغوي مشروع). إذا لم تستطع طريقةٌ ما تحقيق قبول FST بنسبة 99%+، فإنها لم تحل المشكلة.

لماذا 0.80 للدرجة المركَّبة؟ تقع هذه القيمة بين Deployable ‏(0.70) وFluent ‏(0.85). الطريقة عند 0.80 مع قبول FST بنسبة 99%+ تنتج مخرجات تكون فيها كل كلمة تقريبًا كلمة كرية حقيقية وتكون جودة الترجمة الإجمالية عالية عبر الأبعاد السطحية والبنيوية والدلالية. تضمن بوابة التحقق المجتمعي (الشرط #4) ألا يكون الأمر مجرد تلاعب بالمقاييس — إذ يجب على المتحدثين تأكيد أن المخرجات قابلة للاستخدام فعلًا.

ماذا تعني هذه العتبة عمليًا

عند درجة مركَّبة ≥ 0.80 مع FST ‏≥ 0.99 وchrF++ ‏≥ 55، سيرى المتحدث ثنائي اللغة عادةً:

  • كل كلمة في المخرجات تقريبًا هي كلمة كرية حقيقية (يصادق FST على 99%+ — صيغ مهلوَسة شبه معدومة)
  • الفئات النحوية الرئيسية (الشخص، والعدد، والزمن) صحيحة في معظم المدخلات
  • ترتيب الكلمات طبيعي بشكل عام
  • المعنى محفوظ بشكل موثوق
  • الأخطاء المتبقية هي أخطاء لغوية حقيقية (تصريف خاطئ، أو إحالة غير صحيحة، أو عدم تطابق في الحيوية النحوية) — وليست كلمات مُختلَقة
  • يمكن للمتحدث الطليق استخدام المخرجات كمسودة عالية الجودة وتصحيحها بسرعة أكبر بكثير من الترجمة من الصفر

هذا نظام لا يشوِّه اللغة. قد لا يكون مثاليًا، لكن كل كلمة ينتجها هي كلمة حقيقية. وهذا هو الحد الأدنى للترجمة الآلية المحترمة للغة متعددة التركيب.


3. عملية المطالبة بالجائزة

3.1 التقديم

  1. يقدِّم المطوِّر طريقته الكاملة القابلة للتشغيل إلى منظمة الحوكمة:

    • جميع الشيفرات المصدرية
    • جميع التبعيات (بيانات التوجيه، والقواميس، وإعدادات FST، والتعليمات النصية)
    • تعليمات التثبيت والتنفيذ
    • ملف README يصف نهج الطريقة
    • بطاقة تشغيل على مجموعة التطوير تُظهر درجات تقريبية (للفحص المسبق)
  2. يوقِّع المطوِّر شروط المشاركة، بما في ذلك:

    • بند نقل الملكية (BENCHMARK_SPEC §8.3)
    • إقرار بعدم التدريب على بيانات التقييم
    • الالتزام بقابلية إعادة الإنتاج

3.2 التقييم

  1. تثبِّت منظمة الحوكمة الطريقة وتشغِّلها في إطار معزول مقابل مدوَّنة gold_standard
  2. تُحسَب المقاييس الآلية (الدرجة المركَّبة، وFST، وchrF++، وغيرها)
  3. إذا استُوفيت العتبات الآلية (الشروط 1–3)، تنتقل منظمة الحوكمة إلى المراجعة المجتمعية
  4. إذا لم تُستوفَ العتبات الآلية، يتلقى المطوِّر الدرجات والملاحظات. ولا تُطلَق المراجعة المجتمعية.

3.3 المراجعة المجتمعية

  1. تُعرَض عيِّنة طبقية من المخرجات (≥30 مدخلًا تغطي مستويات الصعوبة 2–5) على متحدثين ثنائيي اللغة
  2. يقيِّم كل مدخلٍ مراجعان مستقلان على الأقل
  3. سلَّم التقييم: مرفوض / مفهوم إجمالًا / مقبول / ممتاز
  4. إذا حصلت ≥70% من المدخلات على «مقبول» أو «ممتاز» من كلا المراجعَين، يجتاز التقديم التحقق المجتمعي

3.4 الصرف

  1. استيفاء جميع الشروط الستة
  2. تأكيد منظمة الحوكمة للنتيجة
  3. تُصرَف الجائزة خلال 30 يومًا من التأكيد
  4. تُنقل ملكية الطريقة وفق BENCHMARK_SPEC §8.3
  5. تُنشَر النتيجة على لوحة المتصدرين مع مستوى التحقق «مُصدَّق مجتمعيًا»

3.5 التقديمات المتعددة

  • يجوز للمطوِّر/الفريق نفسه التقديم عدة مرات
  • يُقيَّم كل تقديم بشكل مستقل
  • إذا حُسِّنت طريقةٌ وأُعيد تقديمها، تُحتسَب أحدث بطاقة تشغيل فقط
  • تُمنح الجائزة لأول طريقة تتجاوز جميع العتبات — ولا تُقسَّم

3.6 تقديمات الفرق

  • الفرق وأزواج الكبار والشباب مؤهَّلون
  • توزيع الجائزة داخل الفريق هو مسؤولية الفريق
  • يجب على جميع أعضاء الفريق توقيع شروط المشاركة
  • يُدرَج في النسبة على لوحة المتصدرين جميع أعضاء الفريق

4. صناديق الجوائز المستقبلية

جائزة المؤسِّس هي البذرة. تُموَّل صناديق الجوائز الإضافية من قِبل الرعاة. يُوثَّق كل صندوق جوائز جديد كقسم فرعي جديد ضمن §2 مع ما يخصه من:

  • مبلغ الجائزة وعملتها
  • زوج اللغات
  • نسبة الرعاية
  • شروط العتبات (التي قد تختلف عن جائزة المؤسِّس)
  • تاريخ الانتهاء (إن وُجد)
  • أي شروط خاصة

4.1 قالب جائزة الرعاة

يموِّل الرعاة صناديق الجوائز بأي مبلغ. الفئات المقترحة:

الفئةالمبلغالعتبة المقترحة
Seed5,000–15,000 دولارDeployable (درجة مركَّبة ≥ 0.70) + تحقق مجتمعي
Breakthrough25,000–50,000 دولارFluent (درجة مركَّبة ≥ 0.85) + تحقق مجتمعي
Grand Prize100,000 دولار فأكثرFluent + تغطية متعددة السجلات اللغوية + تكامل النشر

يجوز للرعاة أيضًا تمويل:

  • مكافآت التحسين — مبلغ ثابت مقابل كل تحسُّن بمقدار 5 نقاط في chrF++ عن أفضل نتيجة حالية
  • جوائز السجلات اللغوية — جوائز منفصلة لسجلات محددة (رسمي، احتفالي، تعليمي)
  • جوائز السرعة — أفضل درجة معدَّلة بالتكلفة (SCORING_SPEC §6.3)

4.2 ضمان أموال صندوق الجوائز

تُحتفَظ جميع أموال الجوائز في حساب ضمان (يديره المشروع أو وصي معيَّن) حتى استيفاء شروط العتبات. إذا انتهت جائزة دون المطالبة بها، تُعاد الأموال إلى الراعي أو يُعاد توجيهها إلى صندوق جوائز جديد وفق تقدير الراعي.


5. الإقصاء

يُقصى التقديم إذا:

  1. التدريب على بيانات التقييم. تعرَّضت الطريقة لمدخلات مدوَّنة gold_standard أو held_out. (يُمنَع هذا معماريًا عبر التنفيذ في بيئة معزولة — لكن إذا وُجد دليل على التلوُّث، تُلغى النتيجة.)
  2. عدم قابلية إعادة الإنتاج. لا تستطيع منظمة الحوكمة إعادة إنتاج الدرجات ضمن ±2%.
  3. تبعيات غير مُعلَنة أو غير مؤهَّلة. تتطلب الطريقة وصولًا إلى خدمات خارجية وقت التشغيل بما يتجاوز ما يُعلِنه بيان تبعياتها، أو تكون فئة تبعيتها الفعلية A2 أو X (§1.6). يُسمح باستدلال LLM المُعلَن من الفئة A1 الموجَّه عبر بوابة التقييم؛ أي تبعية شبكية أخرى وقت التشغيل — وأي تبعية غير مُعلَنة من أي فئة — تؤدي إلى الإقصاء.
  4. عدم توقيع شروط المشاركة. يجب على جميع أعضاء الفريق الموافقة على نقل الملكية.
  5. اكتشاف تلاعب. المخرجات محسَّنة للمقياس بدلًا من جودة الترجمة (يُكشَف ذلك عبر المراجعة المجتمعية و/أو فحوصات مكافحة التلاعب وفق BENCHMARK_SPEC §9.3).

6. العلاقة بالمواصفات الأخرى

هذه الوثيقةتشير إلىلأجل
§2 شروط العتباتSCORING_SPEC §4 (الدرجة المركَّبة)، §2.1–2.2 (المقاييس)، §5 (المستويات)تعريفات المقاييس ومقاييسها
§2 التحقق المجتمعيBENCHMARK_SPEC §7بروتوكول المراجعة البشرية
§3 التنفيذ في بيئة معزولةBENCHMARK_SPEC §8.2آلية السيادة
§3 نقل الملكيةBENCHMARK_SPEC §8.3شروط نقل الملكية الفكرية
§1.6 فئات التبعياتمواصفات Method Interface؛ اتفاقية تقديم الطريقة §2.6؛ BENCHMARK_SPEC §8.6تعريفات الفئات، وشروط القبول، وسياسة الشبكة في البيئة المعزولة
§4 الجوائز المعدَّلة بالتكلفةSCORING_SPEC §6.3معادلة التعديل بالتكلفة

7. مزامنة الشيفرة والمواصفات

7.1 المصدر المرجعي

هذه الوثيقة (arena/website/docs/specifications/prize-spec.md) هي المصدر المرجعي لما يلي:

  • تعريفات صناديق الجوائز (§2)
  • شروط العتبات (§2.x)
  • عملية المطالبة (§3)
  • قواعد الإقصاء (§5)

7.2 متطلبات التنفيذ

عند تفعيل صندوق جوائز:

  1. يجب أن تعرض واجهة لوحة المتصدرين الجوائز النشطة وشروط عتباتها
  2. يجب وضع علامة على بطاقات التشغيل التي تستوفي العتبات الآلية (الشروط 1–3) لإحالتها إلى المراجعة المجتمعية
  3. يلتقط الحقل quality_tier في مخطط بطاقة التشغيل المستوى بالفعل ("deployable"، "fluent")
  4. لا حاجة لتغييرات برمجية جديدة في الإطار — مواصفات الجائزة هي طبقة سياسات فوق نظام التقييم القائم

يجب أن تكون هياكل الجوائز متوافقة مع شروط نقل الملكية. يمكن للفائز المطالبة بالجائزة، لكن الطريقة تصبح ملكًا لمنظمة الحوكمة إذا وصلت إلى مستوى Deployable. هذا أمر مقصود — فالجائزة تموِّل إنشاء تقنية تعود ملكيتها إلى مجتمع اللغة.