メインコンテンツへスキップ

スピーカーへの報酬について

透明性に関する注記。 このページに記載されているすべての数値は、ベンチマーク仕様書 §10、スピーカー検証プロトコル、および賞金仕様書にすでに公開されています。このページは、スピーカーの時間がここでどのように評価されるかを確認するために仕様書を読む必要がないよう、それらの情報を平易な言葉で一か所にまとめたものです。これらの文書にすでに記載されている内容を超えた約束は一切行いません。

機械が生成した文が自然で流暢であり、正しい意味を持つかどうかを判断できるバイリンガルのスピーカーは、このシステム全体において最も希少で最も価値ある参加者です。ハーネス、メトリクス、リーダーボードといったその他のすべては、そのような方の限られた時間を最大限に活かすために存在しています。

したがって、最初のルールはシンプルです。スピーカーには、結果がどうであれ、専門家としての報酬が時間に応じて支払われます。

スピーカーへの報酬が不可欠な理由​

言語技術の研究には、流暢なスピーカーを無償のリソースとして扱う長い慣習があります。スピーカー以外のすべての人々にデータセット、論文、キャリアをもたらす「コミュニティ参加」として扱われてきたのです。私たちはそのようなパターンを搾取的であると考えています。この作業を行う最も適した立場にある人々は、まさにその言語での教育、翻訳、子育てという緊急の仕事によって時間がすでに占められている人々です。

これには三つの設計上の帰結があります。

  1. ボランティアのパイプラインは設けません。 スピーカーに対して、研究への貢献として評価作業を無償で提供するよう求めることはありません。参加は有償の業務であり、断ってもスピーカーに不利益は生じません。
  2. 報酬は無条件です。 スピーカーへの報酬は、評価結果が使用されるかどうかにかかわらず支払われ、結果に左右されることはありません。公開されているプロトコルでは、各タスクブロック完了後2週間以内に支払うことが定められています。
  3. 報酬がすべてではありません。 評価を提供したスピーカーは、クレジット（記名または匿名、本人の選択による）、その評価を使用した出版物への共著者としての参加の選択肢、いつでも貢献を撤回する権利、および問題があると判断した結果の公開に対する拒否権も得られます。これらの条件はスピーカー検証プロトコル §5–6に記載されており、別途の覚書には記載されていません。

公開されている報酬レート​

ベンチマークのコストフレームワークでは、コーパスおよび検証作業におけるバイリンガルスピーカーへの報酬を時給 $50〜65 CADと定めています。各役割における具体的な内容は以下のとおりです。

ベンチマークコーパスの構築​

すべての手法がスコアリングされる基準となる参照翻訳の作成は、スピーカーの基本的なタスクです。言語ごとに公開されている整備予算は以下のとおりです。

作業公開されている範囲根拠
コーパスのキュレーション（50〜150エントリ）$2,500〜6,000時給 $50〜65、バイリンガルスピーカーの作業時間
手法の出力レビュー$500〜1,500同じ時給レート

完全なコーパスの作成には従来スピーカーが約80時間を要しますが、計画中のエージェント支援ワークフロー（文の下書きと書式設定はツールが担当し、翻訳は常に人間が行う）により、30〜40時間程度に短縮することを目指しています。繰り返し作業の時間を減らし、時給は同じまま、スピーカーは本当に人間が必要な部分のみを担当します。

メトリクスの検証​

自動スコアが意味を持つためには、スピーカーが人間の判断と照合して確認する必要があります。スピーカー検証プロトコルには、具体的なタスク、時間、報酬が公開されています。

タスク時間スピーカー1人あたりの報酬
A — 200件の機械翻訳を適切性と流暢さの観点で評価する約8時間$400〜520 CAD
B — 50組の「同等」翻訳ペアをレビューする約2時間$100〜130 CAD
C — 形態素解析器が拒否した100語をレビューする約1.5時間$75〜100 CAD

3つすべてに参加するスピーカーは、2〜4週間にわたって約11.5時間を費やし、$575〜750 CADを受け取ります。スピーカー3名による完全な検証ラウンドのプロジェクトへのコストは $1,475〜1,920 です。これがまさに要点です。スピーカーの検証はプロジェクトにとって小さなコスト項目であり、コスト削減の対象にすべきではありません。

賞金申請のレビュー​

自動スコアのみで賞金が支払われることはありません。創設者賞（$10,000 CAD、英語→Plains Cree）では、少なくとも2名のバイリンガルスピーカーが少なくとも30件の出力の層別サンプルを独立してレビューし、70%以上が「許容できる」または「優秀」と評価されることが求められます。このレビューは同じレートによる有償のスピーカー作業であり、また審査の関門でもあります。スピーカーは賞金申請を却下することができ、それは意図的な設計です。

コンテストに応じたスケーリング​

このモデルは、スピーカーへの報酬がプラットフォームの成長とともに増加し、希薄化されないよう設計されています。

  • 新しい言語ごとに有償のコーパス整備業務から始まります。 言語ごとに公開されている整備コスト（総額 $3,350〜8,500）の大部分はスピーカーへの報酬であり、意図的に最大の単一コンポーネントとなっています。
  • 新しい賞金プールにはそれぞれ有償のレビューが伴います。 賞金テンプレートに従うすべてのスポンサー付きコンテストには同じコミュニティ検証要件が課されており、すべてのコンテストがその言語のスピーカーレビュー作業に資金を提供することになります。
  • デプロイされた手法が継続的なレビューに資金を提供します。 コミュニティが所有する手法がAPIの収益を得た場合、90%がコミュニティのガバナンス組織に還元され（経済モデル）、継続的なレビュー、コーパスの拡充、言語プログラムなどに活用できます。その配分はコミュニティの決定であり、私たちが決めることではありません。

約束していないこと​

誠実さのために、限界を明示しておく必要があります。

  • 上記のレートは、現在の Plains Cree の作業に対して公開されているレートです。将来の言語に対するレートはパートナーコミュニティと協議して設定され、同様の方法で公開されます。作業開始前に仕様書に記載されます。
  • フライホイール（収益 → コミュニティ → より多くの有償作業）は外部資金を必要とし、現時点では自立していません。経済モデルはその仕組みを説明するものであり、保証ではありません。
  • 「公正な報酬」は必要条件ですが、十分条件ではありません。報酬だけでプロジェクトが非搾取的になるわけではありません。所有権と管理権こそが重要であり、だからこそ報酬は主権アーキテクチャの中に位置づけられており、それに取って代わるものではありません。

あなたにとっての意味​

:::info コミュニティメンバーの方へ サービスが不十分な言語と英語のバイリンガルであれば、あなたの判断はこのシステムで最も価値ある入力です。公開されている条件は、時給 $50〜65 CAD、柔軟なスケジュール、2週間以内の支払い、ご自身の条件によるクレジット、そして貢献を撤回する権利です。プログラミングの知識は不要です。言語コミュニティの方へまたはスピーカー検証プロトコル §7からお始めください。 :::

:::info 研究者の方へ スピーカーへの報酬を第一級の研究コストとして予算に組み込んでください。公開されている数値（メトリクス検証ラウンドで $1,475〜1,920、コーパスキュレーションで $2,500〜6,000）は助成金の基準からすれば小さなものであり、自動スコアを信頼できるものにするために不可欠です。コーパスパートナーシップ戦略では、学術部門が有償のスピーカー作業を組み込んだ形でこの仕組みに参加する方法を示しています。 :::

:::info 開発者の方へ 資金を提供しない場合でも、有償のスピーカー作業の恩恵を受けることができます。検証済みのメトリクスがあなたのリーダーボードスコアを意味あるものにし、有償のコミュニティレビューがあなたの手法と賞金の間に立つ審査となります。受賞した場合、スピーカーがあなたの出力を精査するために報酬を受け取っていることを前提としてください。また、あなたの手法の所有権がその言語を使用するコミュニティに移転することも想定してください。 :::

関連情報​