リスク分類とアセスメント手法

1. はじめに：AIリスク管理の必要性

人工知能（AI）システムの社会実装が加速する中、AIがもたらすリスクを体系的に分類し、適切に評価するための方法論の確立が喫緊の課題となっている。AIシステムのリスクは、従来のソフトウェアシステムとは質的に異なる特性を有する。確率的な動作、訓練データへの依存、分布シフトに対する脆弱性、そして説明可能性の限界は、従来のリスク管理手法の直接的な適用を困難にしている。

本稿では、AIシステムのリスク分類に関する主要な枠組みを比較分析し、リスクアセスメントの理論的基盤と実践的手法を体系的に論じる。具体的には、EU AI Actのリスク分類体系、NIST AI Risk Management Framework（AI RMF）、ISO/IEC 23894、そして学術研究における最新のリスク分類学（taxonomy）を取り上げ、上級技術者および研究者が実務において活用しうる知見を提供する。

リスク分類の意義は、規制遵守の観点にとどまらない。適切なリスク分類は、開発リソースの効率的配分、ステークホルダーとのリスクコミュニケーション、組織的なリスク選好（risk appetite）の明確化、そしてAIシステムの社会的受容性の向上に寄与する。換言すれば、リスク分類はAIガバナンスの運用的基盤を構成するものである。

2. リスク理論の基礎とAIへの適用

リスクの概念は、古典的には「望ましくない事象の発生確率とその影響の積」として定式化される。ISO 31000:2018は、リスクを「目的に対する不確かさの影響」と定義し、従来の負の事象に限定された概念からの拡張を図っている。AIシステムのリスク分析においては、この拡張された定義が特に有用である。

AIシステム固有のリスク要因として、以下の特性が指摘される。第一に、不透明性（opacity）：深層学習モデルの意思決定過程が外部から観察困難であること。第二に、非決定性（non-determinism）：同一入力に対する出力が確率的に変動しうること。第三に、文脈依存性（context-dependence）：訓練環境と運用環境の乖離が予測不能なリスクを生じること。第四に、自律性（autonomy）：人的介入なしに意思決定を行う度合いが高いこと。第五に、スケーラビリティ（scalability）：AIシステムの影響が大規模かつ迅速に拡散しうること。

これらの特性は、従来のリスク管理枠組み——特にFMEA（故障モード影響分析）やHAZOP（ハザード・オペラビリティ研究）——の直接的適用を困難にし、AI固有のリスクアセスメント手法の開発を必要としている。

3. EU AI Actのリスク分類体系

EU AI Actは、AIシステムを「禁止」「ハイリスク」「限定リスク」「最小リスク」の4層に分類するリスクベースアプローチを採用している。この分類は、AIシステムの「用途」（intended purpose）に基づく目的論的分類（teleological classification）であり、技術的特性ではなく社会的文脈における影響に着目する点に特徴がある。

3.1 禁止カテゴリの分析

AI Act第5条が定める禁止カテゴリは、EUの基本権憲章との密接な関連において理解される。サブリミナル操作の禁止は人間の尊厳と自律性の保護に、社会的スコアリングの禁止は平等と非差別の原則に、リアルタイム遠隔生体認証の制限はプライバシーおよびデータ保護の権利に、それぞれ根拠を有する。これらの禁止は絶対的ではなく、例外規定（特に法執行分野）の射程に関して継続的な解釈論が展開されている。

3.2 ハイリスク分類の構造

ハイリスクAIシステムの分類は、二重のメカニズムによって規定される。第一経路（第6条第1項）は、EU製品安全法制（附属書I記載の法令）の対象となる製品の安全構成要素としてのAIシステムを対象とする。この経路では、機械規則、医療機器規則、体外診断用医療機器規則、民間航空安全規則など、既存の部門別法制との接合が図られる。

第二経路（第6条第2項、附属書III）は、特定の用途領域に基づく分類であり、8つの領域カテゴリが定められている。各カテゴリの具体的な用途は附属書IIIに列挙されており、欧州委員会はデリゲート行為によりこのリストを更新する権限を有する。

重要な例外として、第6条第3項は、AIシステムが「狭いプロフィルの準備作業」のみを行う場合、決定が人間によって実質的にレビューされる場合、または既存の評価プロセスを補助するにとどまる場合には、ハイリスク分類から除外される旨を規定している。この例外規定の解釈は、実務上極めて重要であり、欧州委員会のガイダンスが待たれるところである。

4. NIST AI Risk Management Framework

米国国立標準技術研究所（NIST）が2023年1月に公表したAI Risk Management Framework（AI RMF 1.0）は、EU AI Actとは対照的に、法的拘束力を持たない自主的な枠組みとして設計されている。AI RMFは、GOVERN、MAP、MEASURE、MANAGEの4つの機能（function）から構成され、各機能はカテゴリおよびサブカテゴリに細分化される。

GOVERN機能は、組織レベルのAIリスク管理の方針・プロセス・体制を確立することを目的とする。MAP機能は、AIシステムのリスクを特定し、コンテキストを理解する活動を包含する。MEASURE機能は、特定されたリスクの定量的・定性的な評価手法を提供する。MANAGE機能は、リスク対応策の優先順位付け、実装、モニタリングを扱う。

AI RMFの特徴は、「信頼できるAI」の7つの特性——有効で信頼性がある、安全、セキュアで回復力がある、説明可能で解釈可能、プライバシーが強化されている、公平でバイアスが管理されている、透明で説明責任がある——を基準としたリスク評価を促進する点にある。これらの特性間のトレードオフの管理は、リスクアセスメントの中核的課題の一つである。

5. ISO/IEC 23894とリスクマネジメント標準

ISO/IEC 23894:2023「情報技術—人工知能—AIリスクマネジメントのためのガイダンス」は、ISO 31000:2018のリスクマネジメント枠組みをAIシステムに適用するための国際標準である。本標準は、AIシステムの開発・展開・運用に伴うリスクを、組織のリスクマネジメントプロセスに統合する方法論を提供する。

ISO/IEC 23894の構成は、ISO 31000のプロセス構造（コンテキスト確立→リスク特定→リスク分析→リスク評価→リスク対応）を踏襲しつつ、AI固有のリスク要因に関する補足的ガイダンスを提供する。特に、AIシステムのリスク特定においては、データ品質リスク、モデルリスク、運用環境リスク、社会的影響リスクの4領域が重点的に扱われる。

関連する国際標準として、ISO/IEC 42001:2023（AI管理システム）、ISO/IEC TR 24027:2021（AIにおけるバイアス）、ISO/IEC TR 24028:2020（AIの信頼性の概観）、ISO/IEC 24029シリーズ（ニューラルネットワークの頑健性評価）が、リスクアセスメントの各側面を補完する。これらの標準群は、EU AI Actの技術的要件を充足するための「整合規格」（harmonised standards）として採用される可能性が検討されている。

6. AIリスク分類学の学術的展開

学術研究においては、AIリスクの体系的な分類学（taxonomy）の構築に関する多様な取り組みが展開されている。MIT AI Risk Repository（Slattery et al., 2024）は、700以上のAIリスクを体系的に分類したデータベースであり、因果的分類（causal taxonomy）と領域的分類（domain taxonomy）の二層構造を採用している。

因果的分類は、リスクの発生メカニズムに着目し、「意図的な悪用」「設計・開発段階の欠陥」「運用段階の障害」「システミックリスク」の4カテゴリに大別される。領域的分類は、影響を受ける社会的領域に着目し、「差別・公平性」「プライバシー・監視」「安全・セキュリティ」「虚偽情報」「経済的影響」「環境影響」「人間の自律性」の各領域を設定する。

Weidinger et al.（2022）による分類は、大規模言語モデル（LLM）に特化したリスク分類を提案し、「差別・排除・毒性」「情報ハザード」「虚偽情報」「悪意ある使用」「人間とコンピュータの相互作用リスク」「環境リスク」の6カテゴリを設定している。この分類は、生成AIのリスク評価において広く参照されている。

7. リスクアセスメントの実践的手法

AIリスクアセスメントの実践において、複数の方法論的アプローチが併用される。以下では、主要な手法の概要と、AI固有の適用上の留意点を論じる。

7.1 AI影響評価（AI Impact Assessment: AIIA）

AI影響評価は、AIシステムの社会的影響を事前に評価するための構造化されたプロセスである。データ保護影響評価（DPIA）を先行モデルとしつつ、AIシステムの技術的特性と社会的影響を統合的に評価する。カナダ政府の「アルゴリズム影響評価」（Algorithmic Impact Assessment: AIA）やEU AI Actの基本権影響評価（第27条）は、AIIAの制度化の例である。

AIIAの典型的なプロセスは、（1）AIシステムの目的・機能の記述、（2）ステークホルダーの特定、（3）潜在的影響の分析、（4）リスク軽減策の設計、（5）残余リスクの評価、（6）継続的モニタリング計画の策定、から構成される。特に、ステークホルダーの特定においては、直接的利用者のみならず、AIシステムの対象者（data subjects / affected individuals）の権利・利益を考慮することが重要である。

7.2 リスクマトリクスとヒートマップ

リスクマトリクスは、リスクの発生確率と影響度を二軸で評価し、視覚的に優先順位付けを行う手法である。AIシステムのリスク評価においては、従来の5×5マトリクスに加えて、「検出可能性」（detectability）を第三の軸として追加した三次元リスクマトリクスの使用が提案されている。AIシステムのリスクの多くが潜在的であり、顕在化まで検出が困難であるという特性を反映したものである。

7.3 FMEA（故障モード影響分析）のAI拡張

FMEA は、製造業における品質管理手法として確立されているが、AIシステムへの適用には拡張が必要である。AI-FMEA（Artificial Intelligence Failure Mode and Effect Analysis）は、AIシステム特有の故障モード——データドリフト、概念ドリフト、敵対的攻撃、分布外入力、バイアス増幅など——を分析対象に含める拡張版である。各故障モードについて、重大度（Severity）、発生頻度（Occurrence）、検出難易度（Detection）を評価し、リスク優先度数（RPN）を算出する。

7.4 ベイジアンネットワークによるリスクモデリング

ベイジアンネットワークは、AIシステムのリスク要因間の確率的依存関係をモデル化するための有力な手法である。Weber et al.（2012）以降、安全工学におけるベイジアンネットワークの活用は急速に拡大しており、AIリスクアセスメントへの応用も進展している。特に、事前知識と観測データを統合的に扱えるベイズ推論の枠組みは、データが限定的な新規AIシステムのリスク評価において有用である。

8. リスク影響の多次元的評価

AIシステムのリスク影響は、単一の尺度では捕捉しきれない多次元的な性質を有する。以下の評価軸を統合的に考慮することが求められる。

個人的影響：身体的安全、精神的健康、プライバシー、自律性、経済的利益への影響。特に、AIシステムによる自動的意思決定が個人の権利・自由に重大な影響を及ぼす場合（信用評価、採用選考、社会保障給付の決定等）、個人的影響の評価は最優先事項となる。

社会的影響：民主主義的プロセス、社会的結束、公平性、法の支配への影響。AIシステムの大規模展開が社会構造に及ぼすシステミックな影響——雇用市場の変容、情報環境の変質、権力構造の変動——は、個別のリスク評価では捕捉困難であり、マクロレベルの分析枠組みを要する。

環境的影響：AIシステムの訓練・運用に伴うエネルギー消費、温室効果ガス排出、電子廃棄物の問題。大規模言語モデルの訓練に要するエネルギー消費量は、環境リスクの評価においてますます重要な考慮事項となっている。

9. リスク分類の実装：組織的アプローチ

リスク分類の実務的実装においては、組織的なガバナンス体制の構築が不可欠である。以下では、組織がAIリスク分類を効果的に実装するための段階的アプローチを論じる。

第一段階：AIインベントリの構築。組織内で使用・開発されるすべてのAIシステムを特定し、カタログ化する。各システムについて、用途、データソース、影響範囲、自律性レベル、現行の管理措置を記録する。EU AI Actは、公的機関に対してハイリスクAIシステムのEUデータベースへの登録を義務付けている（第49条）が、内部的なAIインベントリの維持は、すべての組織にとって有益なプラクティスである。

第二段階：リスク分類基準の策定。組織のリスク選好と規制要件を踏まえた分類基準を策定する。EU AI Actのハイリスク基準をベースラインとしつつ、組織固有のリスクカテゴリ（レピュテーションリスク、戦略的リスク等）を追加することが推奨される。

第三段階：リスクアセスメントの実施。策定された基準に基づき、各AIシステムのリスクを体系的に評価する。多様な専門的知見（技術、法務、倫理、ドメイン知識）を統合するために、学際的なリスク評価チームの編成が望ましい。

第四段階：継続的モニタリングと再分類。AIシステムのリスクプロファイルは静的ではなく、技術的変更、利用状況の変化、規制環境の変動に応じて動的に変化する。定期的な再評価のスケジュールと、トリガーイベント（重大インシデント、重要な技術変更等）に基づく臨時再評価のプロセスを確立する。

10. 新興リスクカテゴリと将来の課題

AIシステムの急速な進化に伴い、既存のリスク分類枠組みでは十分に捕捉されない新興リスクカテゴリが出現している。

システミックリスク：個々のAIシステムのリスクの総和を超える、AIシステムの相互接続・相互依存から生じるリスク。金融システムにおけるアルゴリズム取引の連鎖的障害や、重要インフラにおけるAI依存の集中リスクが典型例である。EU AI Actは、GPAIモデルに関してシステミックリスクの概念を導入したが、その定義と評価手法はなお発展途上にある。

創発的リスク（Emergent Risks）：AIシステムの能力が訓練時に意図されなかった創発的振る舞い（emergent capabilities）を示すことに伴うリスク。大規模言語モデルにおいて観察される予期せぬ能力の出現は、リスク評価の予測可能性に根本的な挑戦を投げかけている。

累積的リスク：個々のAIシステムのリスクが低い場合であっても、社会全体におけるAIシステムの普遍的な利用が累積的な影響を生じうる。労働市場への影響、認知能力への長期的影響、社会的関係の変質などが含まれる。

自律型AIエージェントのリスク：ツール使用能力を持つ自律型AIエージェントの出現は、従来のリスク分類枠組みの前提を揺るがす。エージェントの行動の予測不能性、責任帰属の困難性、そしてエージェント間相互作用のリスクは、新たなアセスメント手法の開発を要する。

11. 結語

AIシステムのリスク分類とアセスメントは、AIガバナンスの実践的基盤を構成する。本稿で概観したように、EU AI Actのリスクベースアプローチ、NIST AI RMFのプロセスベースアプローチ、ISO/IEC 23894の標準化アプローチは、それぞれ異なる視座からリスク管理の枠組みを提供するものであり、相互に補完的である。

上級技術者および研究者にとって重要なのは、これらの枠組みを機械的に適用するのではなく、自組織のコンテキストに適合した統合的なリスクアセスメント方法論を構築することである。AIシステムのリスクの動態的・多次元的な性質を踏まえ、継続的な評価と適応的な管理を可能にする組織的能力の構築が、今後のAIガバナンスの鍵となるであろう。