ข้ามไปยังเนื้อหาหลัก

MT Eval Arena

Think you can solve it? Prove it.

เกณฑ์มาตรฐานอิสระสำหรับการแปลด้วยเครื่องสำหรับภาษาที่มีทรัพยากรน้อย — คอร์ปัสพัฒนา 48 ชุด รายการเมตริกการให้คะแนน 19 รายการ bootstrap confidence intervals และการตรวจสอบทางสัณฐานวิทยาด้วย FST สำหรับภาษาที่บริการเชิงพาณิชย์จะไม่รองรับ

MT Eval Arena คือ evaluation engine ของโครงการ Champollion

📐

เกณฑ์มาตรฐานที่เป็นมาตรฐานเดียวกัน

การประเมินที่ทำซ้ำได้ด้วย chrF++, exact match, FST acceptance, semantic scoring และ bootstrap confidence intervals ทุก run จะถูกบันทึก fingerprint

🏴

อำนาจอธิปไตยของชุมชน

วิธีการที่ชนะจะโอนความเป็นเจ้าของให้แก่ชุมชนภาษา ยึดหลัก OCAP® ชุมชนควบคุมข้อมูล วิธีการ และรายได้ของตนเอง

🔌

สถาปัตยกรรม Plugin แบบเปิด

นำวิธีการใดก็ได้มาใช้: coached LLM, fine-tuned model, FST-gated pipeline หรือ custom plugin หากสามารถสร้างคำแปลได้ harness จะให้คะแนนได้

🚀

Deployment Bridge

วิธีการที่ผ่านการพิสูจน์แล้วจะ deploy สู่ production ผ่าน champollion นักพัฒนาใช้งานผ่าน API และรายได้จะไหลกลับสู่ชุมชน

เกณฑ์มาตรฐานปัจจุบัน

EDTeKLA Dev Set v1

  • ภาษา: English → Plains Cree (SRO)
  • รายการ: คู่ที่คัดสรรแล้ว 486+ คู่
  • สัญญาอนุญาต: CC BY-NC-SA 4.0
  • แหล่งที่มา: University of Alberta

FLORES+ Devtest

  • ภาษา: อังกฤษ → 39 ภาษา
  • รายการ: 1,012 ประโยคต่อภาษา
  • สัญญาอนุญาต: CC BY-SA 4.0
  • แหล่งที่มา: OLDI / HuggingFace