📐
Đánh giá chuẩn hóa
Đánh giá có thể tái lặp với chrF++, khớp chính xác, chấp nhận FST, chấm điểm ngữ nghĩa và khoảng tin cậy bootstrap. Mỗi lượt chạy đều được định danh duy nhất.
🏴
Chủ quyền cộng đồng
Các phương pháp chiến thắng sẽ chuyển giao quyền sở hữu cho cộng đồng ngôn ngữ. Nguyên tắc OCAP®. Các cộng đồng tự kiểm soát dữ liệu, phương pháp và doanh thu của họ.
🔌
Kiến trúc plugin mở
Áp dụng mọi phương pháp: coached LLM, mô hình fine-tune, pipeline kiểm soát bằng FST hoặc plugin tùy chỉnh. Chỉ cần tạo ra bản dịch, khung đánh giá đều có thể chấm điểm.
🚀
Cầu nối triển khai
Các phương pháp đã được chứng minh sẽ được triển khai lên môi trường production thông qua champollion. Các nhà phát triển tích hợp qua API. Doanh thu sẽ được chuyển ngược lại cho cộng đồng.
Các đánh giá hiện tại
EDTeKLA Dev Set v1
- Ngôn ngữ: Tiếng Anh → Plains Cree (SRO)
- Bản ghi: 486+ cặp được tuyển chọn
- Giấy phép: CC BY-NC-SA 4.0
- Nguồn: Đại học Alberta
FLORES+ Devtest
- Ngôn ngữ: Tiếng Anh → 39 ngôn ngữ
- Số mục: 1.012 câu mỗi ngôn ngữ
- Giấy phép: CC BY-SA 4.0
- Nguồn: OLDI / HuggingFace