📐
Benchmarks Padronizados
Avaliação reproduzível com chrF++, correspondência exata, aceitação FST, scoring semântico e intervalos de confiança bootstrap. Cada execução é impressa digitalmente.
🏴
Soberania Comunitária
Métodos vencedores transferem propriedade para a comunidade de idioma. Princípios OCAP®. Comunidades controlam seus dados, seus métodos e sua receita.
🔌
Arquitetura de Plugin Aberta
Traga qualquer método: LLM treinado, modelo fine-tuned, pipeline com gate FST ou plugin customizado. Se produz traduções, o harness consegue avaliar.
🚀
Ponte de Implantação
Métodos comprovados são implantados em produção via champollion. Desenvolvedores consomem via API. Receita retorna para a comunidade.
Benchmarks Atuais
EDTeKLA Dev Set v1
- Idioma: English → Plains Cree (SRO)
- Entradas: 486+ pares curados
- Licença: CC BY-NC-SA 4.0
- Fonte: University of Alberta
FLORES+ Devtest
- Idiomas: Inglês → 39 idiomas
- Entradas: 1.012 sentenças por idioma
- Licença: CC BY-SA 4.0
- Fonte: OLDI / HuggingFace