Lumaktaw sa pangunahing nilalaman

MT Eval Arena

Think you can solve it? Prove it.

Ang independiyenteng benchmark para sa machine translation ng mga wikang may limitadong resource — 48 development corpora, 19-metric scoring inventory, mga agwat ng kumpiyansa ng bootstrap, at FST morphological validation para sa mga wikang hindi kailanman susuportahan ng commercial services.

Ang MT Eval Arena ang evaluation engine ng proyektong Champollion.

📐

Mga Standardized Benchmark

Reproducible na ebalwasyon gamit ang chrF++, exact match, FST acceptance, semantic scoring, at mga agwat ng kumpiyansa ng bootstrap. Bawat run ay may fingerprint.

🏴

Soberanya ng Komunidad

Inililipat ng mga nananalong method ang pagmamay-ari sa komunidad ng wika. Mga prinsipyo ng OCAP®. Kontrolado ng mga komunidad ang kanilang data, kanilang mga method, at kanilang revenue.

🔌

Open Plugin Architecture

Magdala ng anumang method: coached LLM, fine-tuned model, FST-gated pipeline, o custom plugin. Kung nakagagawa ito ng mga translation, masusukat ito ng harness.

🚀

Tulay sa Deployment

Ang mga napatunayang method ay dine-deploy sa production sa pamamagitan ng champollion. Gumagamit ang developers sa pamamagitan ng API. Ang revenue ay bumabalik sa komunidad.

Mga Kasalukuyang Benchmark

EDTeKLA Dev Set v1

  • Wika: English → Plains Cree (SRO)
  • Mga entry: 486+ curated pairs
  • Lisensya: CC BY-NC-SA 4.0
  • Pinagmulan: University of Alberta

FLORES+ Devtest

  • Mga wika: English → 39 na wika
  • Mga entry: 1,012 pangungusap bawat wika
  • Lisensiya: CC BY-SA 4.0
  • Pinagmulan: OLDI / HuggingFace