ニューロシンボリックAI — 深層学習と記号推論の融合

序論：二つのAIパラダイムの統合

人工知能研究の歴史は、二つの対照的なパラダイム——記号主義（Symbolicism）と結合主義（Connectionism）——の対立と相互作用の歴史として理解できる。記号主義AIは、知識を明示的な記号とルールとして表現し、論理的推論によって問題を解決する。一方、結合主義AI（ニューラルネットワーク）は、データからの統計的パターン学習を通じて、知覚的・認識的タスクにおいて卓越した性能を示す。

深層学習（Deep Learning）の成功により、現代のAI研究は結合主義パラダイムが支配的となったが、深層学習には根本的な限界が存在する。第一に、体系的一般化（systematic generalization）の困難——訓練データに含まれない組み合わせへの汎化——が挙げられる（Lake and Baroni, 2018）。第二に、因果推論や反事実的推論の不能。第三に、説明可能性（explainability）の欠如。第四に、少量のデータからの効率的な学習の困難。これらの限界は、記号的推論が本来得意とする領域と正確に対応している。

ニューロシンボリックAI（Neurosymbolic AI）は、深層学習の知覚能力と記号推論の論理的能力を統合することで、両パラダイムの長所を享受し、限界を相互に補完するアプローチである。Garcez et al.（2019）は、ニューロシンボリックAIを「第三の波のAI」と位置づけ、知覚、学習、および推論の統合的フレームワークの構築を目指している。Henry Kautz（2020）はAAAI会長講演において、ニューロシンボリック統合の6つのレベルを提示し、この分野の体系的な見取り図を提供した。

本稿では、ニューロシンボリックAIの理論的基盤、主要なアーキテクチャとアプローチ、代表的な応用事例、および今後の展望を包括的に論じる。

記号主義と結合主義の歴史的対立

記号主義AIの起源は、Alan Turing（1950）の「計算機械と知能」およびJohn McCarthyら（1956）のダートマス会議に遡る。Allen Newell and Herbert Simon（1976）の「物理記号系仮説（Physical Symbol System Hypothesis）」は、「物理記号系は一般的知的行動のための必要十分条件を持つ」と主張し、記号操作こそが知能の本質であるとの立場を明確にした。エキスパートシステム、定理証明器、プランニングシステムは、記号主義AIの代表的な成果である。

しかし、記号主義AIは、「記号接地問題（symbol grounding problem）」（Harnad, 1990）——記号がどのようにして現実世界の対象と結びつくか——という根本的な哲学的問題に直面した。また、知識の手動獲得のボトルネック（knowledge acquisition bottleneck）、常識推論の困難（frame problem）、および不確実性の処理の限界が、記号主義AIの実用的な適用範囲を制限した。

結合主義AIは、Frank Rosenblatt（1958）のパーセプトロンに起源を持つが、Minsky and Papert（1969）によるパーセプトロンの限界の指摘（XOR問題の解不能性）によって一時的に衰退した。1986年のバックプロパゲーションの再発見（Rumelhart et al., 1986）と、2012年のAlexNet（Krizhevsky et al., 2012）によるImageNetチャレンジでの圧勝が、結合主義の復活と深層学習革命を導いた。

両パラダイムの統合の試みは、実は古くから存在する。Towell and Shavlik（1994）のKBAN（Knowledge-Based Artificial Neural Network）は、論理ルールをニューラルネットワークの初期構造に変換し、データからの学習と既存知識の活用を統合した先駆的研究である。しかし、当時の計算資源とデータ量の限界により、これらの試みは限定的な成果にとどまった。

Kautzの分類体系

Henry Kautz（2020）は、ニューロシンボリック統合のアプローチを6つのレベルに分類した。この分類体系は、統合の深さと方向性を整理する上で重要な枠組みを提供する。

レベル1「Symbolic Neuro Symbolic」は、ニューラルネットワークを記号システムの内部モジュールとして利用するアプローチである。AlphaGoは、モンテカルロ木探索（記号的探索）とニューラルネットワーク（評価関数・方策関数）を組み合わせたこのレベルの代表例である。

レベル2「Symbolic[Neuro]」は、記号的フレームワークの中にニューラルコンポーネントを埋め込むアプローチである。確率的プログラミング言語において、一部のサブルーチンをニューラルネットワークで実装する場合がこれに該当する。

レベル3「Neuro ∪ Compile(Symbolic)」は、記号的知識をニューラルネットワークの損失関数や制約条件にコンパイルするアプローチである。Semantic Loss（Xu et al., 2018）やDeepProbLog（Manhaeve et al., 2018）がこのレベルに位置する。

レベル4「Neuro → Symbolic → Neuro」は、ニューラルモジュールと記号モジュールが交互に処理を行うパイプラインアプローチである。Neural Module Networks（Andreas et al., 2016）やNeuro-Symbolic Concept Learner（Mao et al., 2019）がこのカテゴリに属する。

レベル5「Neuro[Symbolic]」は、記号的推論をニューラルネットワークの内部に完全に統合するアプローチである。Graph Neural Networks（GNN）を用いた関係推論や、Neural Theorem Prover（Rocktäschel and Riedel, 2017）がこのレベルに位置する。

レベル6「Neuro = Symbolic」は、ニューラルネットワークと記号推論が完全に融合し、区別不可能なシステムを実現するアプローチであり、現時点では大部分が研究構想の段階にある。

主要なニューロシンボリックアーキテクチャ

DeepProbLog（Manhaeve et al., 2018）は、確率論理プログラミング言語ProbLogとニューラルネットワークを統合したフレームワークである。DeepProbLogでは、確率論理プログラムの一部の述語（neural predicate）がニューラルネットワークによって定義され、プログラム全体の推論を通じてニューラルネットワークの重みが端対端（end-to-end）で学習される。例えば、手書き数字の加算タスク（MNIST Addition）において、2枚のMNIST画像の和を正しく予測するためには、各画像の数字を認識する知覚モジュールと、加算を行う論理モジュールの両方が必要である。DeepProbLogは、これらを統一的なフレームワークで実現する。

Logic Tensor Networks（LTN）（Badreddine et al., 2022）は、一階述語論理の公理をテンソル計算として実装するフレームワークである。LTNでは、論理的な命題の「真理度（truth degree）」を実数値ファジー論理（fuzzy logic）として定義し、すべての論理的公理が満たされるようにニューラルネットワークのパラメータを最適化する。LTNの損失関数は、論理的制約のファジー充足度の最大化として定式化される。

Neuro-Symbolic Concept Learner（NS-CL）（Mao et al., 2019）は、視覚的質問応答（Visual Question Answering, VQA）のためのニューロシンボリックアプローチである。NS-CLは、画像から物体とその属性を抽出するニューラルな知覚モジュール、質問文をプログラムに変換するセマンティックパーサー、および抽出された概念上でプログラムを実行する記号的推論エンジンの三要素から構成される。NS-CLの重要な特徴は、概念の定義がデータから学習される——すなわち、「赤い」「大きい」といった概念の視覚的基盤がニューラルネットワークによって獲得される——点であり、記号接地問題に対する実践的な解決策を提供する。

Neural Theorem Prover（NTP）（Rocktäschel and Riedel, 2017）は、定理証明の過程をニューラルネットワークで微分可能に実装する手法である。NTPでは、論理的な統一（unification）操作がベクトル空間における類似度計算に置き換えられ、バックプロパゲーションによる端対端の学習が可能となる。これにより、既知の事実からの演繹的推論と、データからの帰納的学習が統合される。

Scallop（Li et al., 2023）は、微分可能なDatalogエンジンとして設計されたニューロシンボリックプログラミングフレームワークである。Scallopは、Datalog（データベースクエリ言語の一種）のプログラムを微分可能な計算グラフに変換し、確率的な推論とニューラルネットワークの学習を統合する。Scallopの特徴は、確率伝搬の効率的な実装にあり、大規模な知識ベース上での推論を実用的な速度で実行できる。

LLMとニューロシンボリックAI

大規模言語モデル（LLMs）の登場は、ニューロシンボリックAIの landscape を大きく変化させた。LLMsは、テキストベースの推論において一定の記号的推論能力を示すが、その能力は不完全であり、ニューロシンボリック的なアプローチによる補強が有望視されている。

Chain-of-Thought（CoT）プロンプティング（Wei et al., 2022）は、LLMsに段階的な推論過程を生成させることで、複雑な推論タスクにおける性能を大幅に向上させる手法であり、暗黙的なニューロシンボリック統合として解釈できる。CoTでは、LLMが「中間的な推論ステップ」を自然言語で記述し、これらの中間結果に基づいて最終的な回答に到達する。これは、ニューラルネットワーク（言語モデル）が記号的な推論プロセス（ステップバイステップの論理展開）をエミュレートする現象である。

LLM + ツール使用のパラダイム——Toolformer（Schick et al., 2023）やProgram-of-Thoughts（Chen et al., 2023）——は、LLMsが外部の記号的ツール（計算機、コードインタープリタ、データベース検索エンジン等）を呼び出して問題を解決するアプローチであり、Kautzの分類におけるレベル1（記号的フレームワーク内にニューラルモジュールを利用）に対応する。特に、Program-of-Thoughtsでは、LLMが数学的問題をPythonプログラムに変換し、インタープリタで実行することで、LLM単体よりも正確な計算を実現する。

知識グラフ（Knowledge Graph）とLLMの統合も、ニューロシンボリックAIの重要な応用領域である。知識グラフは、エンティティ間の関係を構造化されたグラフとして表現する記号的知識表現であり、LLMの幻覚（hallucination）問題を軽減するための外部知識ソースとして活用される。Retrieval-Augmented Generation（RAG）は、この統合の最も実用的な形態であり、LLMの生成過程において関連する知識グラフのトリプル（主語-述語-目的語）を検索・提示する。

ニューロシンボリックAIの利点と課題

ニューロシンボリックAIの主要な利点として、以下が挙げられる。第一に、データ効率（data efficiency）の向上である。記号的な事前知識（論理的制約、物理法則等）をモデルに組み込むことで、必要なトレーニングデータ量を大幅に削減できる。第二に、体系的一般化の改善である。記号的な構造（合成性、再帰性等）を明示的にモデル化することで、訓練データに含まれない組み合わせへの汎化が可能となる。第三に、説明可能性の向上である。推論過程が記号的に追跡可能であるため、モデルの判断根拠を人間が理解可能な形式で提示できる。第四に、検証可能性（verifiability）の確保である。記号的な制約を組み込むことで、モデルの出力が特定の論理的性質を満たすことを保証できる。

一方、ニューロシンボリックAIには重大な課題も存在する。第一に、記号的推論の微分可能性の問題がある。離散的な記号操作（例えば、論理的統一やプログラム実行）は本質的に微分不可能であり、端対端の勾配ベースの学習が困難である。この問題に対して、REINFORCE推定器、ガンベルソフトマックス（Gumbel-Softmax）緩和、および直通推定器（straight-through estimator）等の手法が提案されているが、いずれも近似的であり、訓練の不安定性や勾配のバイアスの問題を完全には解決していない。

第二に、スケーラビリティの課題がある。記号的推論の計算複雑性は、問題のサイズに対して指数関数的に増大する場合があり（例えば、SATソルバーのNP完全性）、大規模な知識ベースや複雑な推論チェーンへの適用が困難である。第三に、統合のインターフェース設計が課題である。ニューラルコンポーネントと記号コンポーネントの間の情報のやり取り——記号表現の学習、確率的推論と論理的推論の整合性の確保等——の設計は、依然として大きな研究課題である。

応用事例と展望

ニューロシンボリックAIの応用は、多様な領域に広がっている。科学的発見においては、AI Feynman（Udrescu and Tegmark, 2020）が、物理学のデータから記号的な方程式（物理法則）を自動発見する手法を提案した。AI Feynmanは、ニューラルネットワークによるデータの前処理（次元削減、対称性の検出等）と記号回帰（symbolic regression）を組み合わせ、Feynman講義で登場する100の物理方程式のうち90以上を再発見することに成功した。

ロボティクスにおいては、Task and Motion Planning（TAMP）がニューロシンボリックAIの重要な応用領域である。TAMPは、高レベルの行動計画（記号的プランニング）と低レベルの運動計画（連続的最適化）を統合する問題であり、Silver et al.（2023）は、LLMsを用いてPDDLプランニングドメインの述語やオペレータを自動生成するアプローチを提案している。

数学的推論においては、AlphaProof（DeepMind, 2024）が国際数学オリンピック（IMO）レベルの問題を解くシステムとして注目された。AlphaProofは、LLMによる直感的な「証明方針の提案」とLean 4形式検証系による「証明の厳密な検証」を組み合わせたニューロシンボリック的アプローチを採用している。

今後の展望として、ニューロシンボリックAIは、汎用人工知能（Artificial General Intelligence, AGI）への道筋において重要な役割を果たすと予想される。Marcus and Davis（2019）が指摘するように、「真の」知能には、知覚的理解と抽象的推論の両方が不可欠であり、ニューロシンボリックAIはこの統合を実現する最も有望なアプローチの一つである。

結論

本稿では、ニューロシンボリックAIの理論的基盤、主要なアーキテクチャ、およびLLM時代における展開を体系的に概観した。深層学習の知覚能力と記号推論の論理的能力の統合は、AIの根本的な限界を克服するための最も有望なアプローチの一つであり、データ効率、体系的一般化、説明可能性、および検証可能性の向上をもたらす。

LLMsの登場はニューロシンボリックAIの景観を変化させつつあるが、LLMs自体も記号的推論の不完全さという限界を持ち、ニューロシンボリック的なアプローチによる補強が引き続き必要である。今後の研究は、スケーラブルで微分可能な記号推論エンジンの開発、LLMsと形式的推論システムのシームレスな統合、および実世界応用における有効性の実証に焦点が当てられるであろう。