Accéder au contenu principal

MT Eval Arena

Think you can solve it? Prove it.

L'indépendant benchmark pour la traduction automatique des langues peu dotées — 48 corpus de développement, un inventaire de 19 métriques, intervalles de confiance par bootstrap, et validation morphologique FST pour les langues que les services commerciaux ne supporteront jamais.

MT Eval Arena est le moteur d'évaluation du projet Champollion.

📐

Benchmarks standardisés

Évaluation reproductible avec chrF++, correspondance exacte, acceptation FST, scoring sémantique, et intervalles de confiance par bootstrap. Chaque exécution est empreinte numérique.

🏴

Souveraineté communautaire

Les méthodes gagnantes transfèrent la propriété à la communauté linguistique. Principes OCAP®. Les communautés contrôlent leurs données, leurs méthodes et leurs revenus.

🔌

Architecture de plugin ouverte

Apportez n'importe quelle méthode : LLM entraîné, modèle affiné, pipeline contrôlé par FST, ou plugin personnalisé. Si elle produit des traductions, le système peut la scorer.

🚀

Pont de déploiement

Les méthodes éprouvées se déploient en production via champollion. Les développeur·se·s consomment via API. Les revenus reviennent à la communauté.

Benchmarks actuels

EDTeKLA Dev Set v1

  • Langue : Anglais → Cri des Plaines (SRO)
  • Entrées : 486+ paires curées
  • Licence : CC BY-NC-SA 4.0
  • Source : Université de l'Alberta

FLORES+ Devtest

  • Langues : Anglais → 39 langues
  • Entrées : 1 012 phrases par langue
  • Licence : CC BY-SA 4.0
  • Source : OLDI / HuggingFace