📐
標準化されたベンチマーク
chrF++、完全一致、FST受理、意味的スコアリング、ブートストラップ信頼区間による再現可能な評価。すべての実行にフィンガープリントが付与されます。
🏴
コミュニティの主権
優れた手法の所有権は言語コミュニティに移転されます。OCAP®原則に基づき、コミュニティがデータ・手法・収益を管理します。
🔌
オープンプラグインアーキテクチャ
coached LLM、ファインチューニング済みモデル、FST-gatedパイプライン、カスタムプラグインなど、あらゆる手法を持ち込めます。翻訳を出力できるものであれば、ハーネスがスコアリングします。
🚀
デプロイメントブリッジ
実証済みの手法はchampollionを通じて本番環境にデプロイされます。開発者はAPIで利用でき、収益はコミュニティに還元されます。
現在のベンチマーク
EDTeKLA Dev Set v1
- 言語： 英語 → 平原クリー語（SRO）
- エントリー数： 486件以上のキュレーション済みペア
- ライセンス： CC BY-NC-SA 4.0
- ソース： University of Alberta
FLORES+ Devtest
- 言語： 英語 → 39言語
- エントリー数： 言語ごとに1,012文
- ライセンス： CC BY-SA 4.0
- 出典： OLDI / HuggingFace