Ir al contenido principal

MT Eval Arena

Think you can solve it? Prove it.

El benchmark independiente para traducción automática de idiomas con pocos recursos — 48 corpus de desarrollo, un inventario de 19 métricas, intervalos de confianza bootstrap y validación morfológica FST para idiomas que los servicios comerciales nunca soportarán.

MT Eval Arena es el motor de evaluación del proyecto Champollion.

📐

Benchmarks estandarizados

Evaluación reproducible con chrF++, coincidencia exacta, aceptación FST, puntuación semántica e intervalos de confianza bootstrap. Cada ejecución tiene una huella digital.

🏴

Soberanía comunitaria

Los métodos ganadores transfieren la propiedad a la comunidad lingüística. Principios OCAP®. Las comunidades controlan sus datos, sus métodos y sus ingresos.

🔌

Arquitectura de plugins abierta

Traiga cualquier método: LLM entrenado, modelo ajustado, pipeline controlado por FST o plugin personalizado. Si produce traducciones, el sistema puede calificarlo.

🚀

Puente de implementación

Los métodos probados se implementan en producción a través de champollion. Las personas desarrolladoras consumen a través de API. Los ingresos fluyen de vuelta a la comunidad.

Benchmarks actuales

EDTeKLA Dev Set v1

  • Idioma: English → Plains Cree (SRO)
  • Entradas: 486+ pares curados
  • Licencia: CC BY-NC-SA 4.0
  • Fuente: University of Alberta

FLORES+ Devtest

  • Idiomas: Inglés → 39 idiomas
  • Entradas: 1.012 oraciones por idioma
  • Licencia: CC BY-SA 4.0
  • Fuente: OLDI / HuggingFace