AIリテラシー 公平性指標（Fairness Metrics）

公平性指標とは

公平性指標とは、AIエージェントの出力が「特定の属性の人々に対して不利益を与えていないか」を客観的に判定するための数値的基準です。例えば、人事採用AIにおいて、男性の合格率が50%であるのに対し、女性の合格率が10%しかない場合、これは明らかに不公平と言えます。このような格差を検知するために、多くの数学的定義が考案されています。

代表的な指標には以下のものがあります。

• 統計的パリティ（Statistical Parity）: 全てのグループにおいて、「合格（ポジティブ）」と予測される確率が等しいこと。結果の平等を重視する。
• 機会均等（Equal Opportunity）: 「実際に能力がある人（真陽性）」の中で、正しく合格と判定される確率が等しいこと。能力主義的な公平さを重視する。
• Equalized Odds: 偽陽性率（誤って合格させる率）と真陽性率（正しく合格させる率）の両方が、グループ間で等しいこと。

「公平性の不可能性定理」

監査人が理解しておくべき重要な事実は、「すべての公平性指標を同時に満たすことは数学的に不可能」というジレンマです。例えば、統計的パリティを満たそうとして合格率を無理やり揃えると、機会均等が損なわれる（能力の低い人を合格させることになる）可能性があります。したがって、監査においては「このAIシステムにとって、どの定義の公平性が最も重要か」を事前にステークホルダーと合意形成しておく必要があります。

実務での課題と対策

指標の計算には、「保護属性（性別や人種など）」のデータが必要です。しかし、プライバシー保護の観点から企業がこれらの属性データを保持していないケースが多く、評価自体ができないという問題が発生します。対策として、暗号化したまま計算を行う「秘密計算技術」や、属性を推定するプロキシ変数を用いた近似的な評価が行われています。

失敗例・トラブル事例

• 指標の誤用: 「統計的パリティ」だけを追求した結果、警察の犯罪予測AIが、犯罪件数の少ない地域でも無理やり犯罪リスクが高いと予測するようになり、無実の市民への職務質問が増加しました。目的に合わない指標を選んだことによる失敗です。
• 交差性の無視: 「女性」全体では公平であり、「黒人」全体でも公平でしたが、「黒人女性」というサブグループに対してのみ差別的なバイアスがかかっていました。単一の属性だけでなく、複数の属性が組み合わさった「交差性（Intersectionality）」を考慮した指標分析が必要でした。

関連リンク

• TensorFlow Fairness Indicators
• Google ML Glossary: Fairness