能動的推論 入門

確率が読めて、対数と少しつきあう気があれば読めます。機械学習も神経科学も前提にしません。記号はすべて、最初に現れる場所で導入します。

自由エネルギー原理については、日本語で読めるものが揃っています。標準的な解説論文があり、書籍も二冊ある。しかし能動的推論そのものは事情が違う。日本語版 Wikipedia には「自由エネルギー原理」の項目があり、「能動的推論」の項目はありません。この記事が狙っているのはその空白です。

しないこと——分野の概観、枠組みの擁護、神経科学的な妥当性の議論。それらは別の場所の仕事です。ここでの目標は、読み終えたときにあなた自身が最後の計算を再現できることだけです。

行き先は小さな臨床の場面です。患者が来た。診断が確定しない。治療を始めることもできるし、検査を出すこともできる。エージェントがなぜ先に検査し、後で治療するのかを、実際の数値で計算します。そして、このモデルのどこにも「好奇心を持て」とは書かれていないことを確認します。情報への選好は、目的関数から出てきます。

網膜に届いているのは光の強度の分布です。あなたが経験しているのは「机の上のコップ」です。強度のどこにも「コップ」とは書かれていない。コップは原因であり、原因は観測されません。観測されるのはその帰結だけです。

帰結から原因へ遡るのは逆問題であり、逆問題に一意の解はありません。近くの小さな物体と遠くの大きな物体は、同一の像を結びうる。ヘルムホルツはこれを無意識的推論と呼びました。視覚系は世界を読み取っているのではなく、経験から学んだ制約のもとで推測しているのだ、と。

能動的推論は、これを書き下せる程度に真面目に受け取ります。

世界の隠れ状態（原因）を s、観測（帰結）を o と書きます。生成モデルとは、エージェントが持っている二つの信念のことです。どの状態がありそうか、そして各状態がどんな観測を生むか。

観測が与えられたとき欲しいのは、その逆です。P(s | o)——事後分布。何かを見た今、どの原因がどれくらいありそうか。両者の関係を教えるのがベイズの定理です。

これで話が終わったように見えます。終わりません。分母のせいです——そして次節はまるごと、その理由についてです。

生物は、物理的に取りうる状態のうち驚くほど狭い領域しか占めません。あなたの深部体温は任意の値を取りうるが、実際には一つの値しか取らない。生きているとは、狭い集合の状態を何度も訪れ、それ以外を避けつづけることです。

モデルのもとで観測がどれだけ予期外だったかには、情報理論の名前がついています。

深部体温45℃は、あなたの身体というモデルのもとで莫大なサプライズを持ちます。そこで原理の第一案——生物はサプライズを最小化するように振る舞う。良い着想であり、そして即座に破綻します。その理由が重要です。

P(o) は、エージェントが手に持っている量ではありません。これを得るには、ありうるすべての原因について尤度を足し上げる必要がある。

状態が数個なら、これはただの算数です。しかし身体や世界の構造を持つものでは、天文学的な空間にわたる和になり、計算できません——脳にも、計算機にも。そして同じ量がベイズの定理の分母でもあるので、厳密な推論も同じ理由で手が届かない。

つまり、最小化したい量があり、それを評価できない。以降のすべては、この迂回路です。

工夫はこうです。真の事後分布を計算しようとするのをやめ、代わりに近似の事後分布を持ち歩く。エージェントが実際に保持し、動かすことのできる信念です。これを Q(s) と書きます。

すると問いはこうなる——合わせたい相手を計算できないのに、どうやって Q を良くするのか。答えは、計算でき、かつ本当に気にしている量を上から抑えるような量を作ることです。

変分自由エネルギー F は、エージェントが持っているもの——自分の信念 Q と自分の生成モデル——だけから計算でき、かつサプライズの上に位置するように定義されます。

二つの項を読みます。複雑さは、エージェントが信念を事前分布からどれだけ動かさねばならなかったか。正確さは、その信念が実際に観測されたものをどれだけよく説明するか。F を最小化するとは、必要以上に信念を捻じ曲げずにデータを説明することです——オッカムの剃刀が、外から課されるのではなく、導かれて出てくる。

そして F はサプライズの上にあるので、F を下げればサプライズも一緒に下がる。ようやく、実際に評価できる最小化対象が手に入りました。

知覚とは、F を下げるように Q を調整することである。観測は固定されています——すでに起きてしまったのだから——そしてエージェントは、信念がそれを説明するようになるまで信念のほうを動かす。この枠組みにおける知覚は、これで全部です。

ここまでは既存の日本語文献がよく扱っている範囲です。次節から、それが尽きます。

もう一度 F を見てください。これは二つのものに依存しています。信念 Q と、観測 o です。知覚は前者を動かす。しかし後者が固定だとは、どこにも書かれていない。

身体を持つエージェントは、何を観測するかを変えられます。首を回せば網膜に届く光が変わる。血液検査を出せば、存在しなかった数値が存在するようになる。F が o に依存しているなら、世界に働きかけることは、同じ最小値へ向かう第二の経路です。

これが能動的推論です。知覚はデータに合うようにモデルを変え、行動はモデルに合うようにデータを変える。両者は一つの目的関数に仕えています。

ただちに問題が生じます。F を評価するには観測が要る。しかし、まだ取っていない行動から生じる観測は存在しません。代入できない。

だから行動を採点する量は、別の作り方をしなければならない——エージェントがまだしていない観測にわたって、それがどれくらいありそうかで重みづけて平均する必要がある。その量が期待自由エネルギーであり、その論理を正確に掴むことが、この記事の要点です。

π を方策——行動の候補となる道筋——と書きます。（この枠組みでの方策は時刻で添字づけられた行動の列であって、状態から行動への規則ではありません。方策はエージェントが自分の振る舞いについて立てる仮説であり、これこそが「選ぶ」を「推論する」に変えているものです。）

期待自由エネルギー G(π) は、未来において評価された F であり、まだ観測していない結果を、エージェント自身の予測のもとで積分消去したものです。この一つの置き換えが、複雑さをリスクに、正確さを曖昧さに変えます。

リスクは、この方策が予測する結果と、エージェントが望む結果とのあいだの隔たりです。選好がどこに住んでいるかに注目してください。P(o) は「何が起きるか」ではなく「何が起きてほしいか」です。欲求は、観測についての事前分布としてモデルに入る。エージェントは回復を予期することによって回復を望みます。

曖昧さは尤度の期待エントロピーです。状態 s にいるとして、そこで得られる観測はどれだけ当てにならないか。完全に正確なセンサーの曖昧さはゼロ。90%の確率で正しい検査には、いくらかある。曖昧さは、自分がどこにいるか分からないままにする方策に罰を与えます。

ここは正確にやる価値があります。一般向けの説明が最も高い頻度で壊す箇所だからです。

F はすでに起きた観測に対して評価されます。観測は既知の固定量として式の内側に座っている。G は観測がまだ起きていない未来の時刻で評価されるので、積分消去しなければならない——しかもエージェント自身の予測分布、尤度を含んだもののもとで。

情報利得の項が G には現れ、F には現れえないのは、そのためです。すでに手元にあるデータについて情報を得ることはできない。この但し書きなしに「G は未来の F だ」と言うところで、説明は壊れます。

G は第二の形にも書き換えられます。そしてその形は、第一の形が隠していたものを露わにします。

実用的価値は分かりやすいほうの半分です——望む結果を追え。認識的価値のほうが面白い。これは、観測を得た後の信念と前の信念のあいだの、期待される隔たりです。言い換えれば、この方策はどれだけ自分の考えを変えるか。情報利得です。

そしてこれはマイナス符号で G に入っているので、G を最小化することは期待情報利得を最大化することです。エージェントは、自分に何かを教えてくれる観測へと引き寄せられる——探索ボーナスを手で足すことなく。強化学習では探索は付け足してチューニングする項です。ここでは目的関数の帰結です。

二つの分解——リスク＋曖昧さ と 実用的＋認識的——は同じ G の並べ替えです。ただし項ごとには対応しません。リスクは実用的価値の符号を変えたものではない。リスクには予測結果のエントロピーに相当する部分が含まれていて、もう一方の分割ではそれが認識的な側に配分されるからです。

だから「リスクと曖昧さ、別名、実用的価値と認識的価値」は誤りであり、そしてよく見かけます。問題に応じて使いやすいほうを使い、部分どうしを同一視しないこと。

方策は G に対するソフトマックスで選択されます。その逆温度 γ を精度と呼びます。

γ が大きいとき、エージェントは最良の方策に賭けて決断的に振る舞います——形式的には、ベイズモデル平均がモデル選択に変わる。γ が小さいときは複数の方策にまたがって迷う。そして重要なことに、γ は固定のつまみではなくそれ自体が推論される。確信は経験とともに上下します。

完全なモデルには精度が一つではなく複数あります——方策について、選好について、尤度について、文脈事前分布について。それぞれが振る舞いの別の側面を支配します。

あらゆる行動レジーム——探索的か搾取的か、決断的か逡巡的か、確信的か疑い深いか——が精度パラメータで決まっているので、精度を一つ誤って設定するだけで、モデルの他の部分を何も変えずに特徴的な機能不全が生じます。生成モデルは無傷のまま、確信の項だけが誤っている。

これが aberrant precision（異常な精度）と呼ばれる説明図式で、精神病について展開したのが Adams らです。計算論的な枠組みが、症状の言い換えではなく機構的な物語を与えている数少ない場所の一つです。

患者が来ました。診断の候補は A と B の二つ。どちらを支持する理由もない——信念は Q(s) = (0.5, 0.5) です。

あなたは治療 A を始めることもできるし、検査を出すこともできる。治療 A は疾患 A によく効き、疾患 B にはあまり効きません——ただし確実に効き分けるわけではない。検査は何も治しませんが、90% の確率で正しい。

起こりうる結果は四つ——回復、悪化、検査陽性、検査陰性。選好は結果についての事前分布として符号化されます。回復を強く望み、悪化を強く忌避し、検査結果の陽性・陰性には無関心。

各方策のもとで予測される結果は、尤度を現在の信念で平均して得られます。そこからリスクは選好からの隔たり、曖昧さは尤度の期待エントロピーとして計算されます。

検査が僅差で勝ちます（1.241 対 1.352）。しかしこの表だけでは、なぜ勝ったのかが分かりません。リスクはほぼ互角（0.916 対 0.884、むしろ治療のほうがわずかに良い）で、差をつけているのは曖昧さに見える。

そこで、同じ二つの方策をもう一方の分解——実用的価値と認識的価値——で計算し直します。ここが、この作業例の山場です。

実用的価値だけで見れば、治療のほうが良い。−1.557 対 −1.609。望む結果に近づくという一点だけを見るなら、いま治療を始めるべきです。期待効用を最大化するエージェントなら、治療を選びます。

それを覆しているのが認識的価値です。検査のほうが 0.368 − 0.205 = 0.163 nat ぶん多く「考えを変えて」くれる。この 0.163 が、実用面での 0.052 の劣位を上回る。差し引き 0.111 で順序がひっくり返り、G の値（1.352 対 1.241）に一致します。

これが「好奇心は付け足しではない」の意味です。探索ボーナスも、係数も、「まず調べよ」という規則も無い。目的関数に最初から入っていた項が、報酬の面では劣る行動を選ばせた。

二つの表を見比べてください。G の値は完全に一致します（1.352 と 1.241）。リスク ＋ 曖昧さ ＝ 0.884 + 0.468 = 1.352、−実用 −認識 ＝ 1.557 − 0.205 = 1.352。

しかし項どうしは一致しません。リスク 0.884 は実用的価値の符号違い 1.557 ではないし、曖昧さ 0.468 は認識的価値 0.205 と対応しない。同じ量の、二通りの切り分け——§6 で述べたことが、そのまま数値で出ています。

エージェントは信念を更新します。Q(s) = (0.9, 0.1)。新しい信念に対して両方の方策を計算し直します。

順序が逆転しました。今度は治療が勝ちます。エージェントについては何も変わっていません——規則が発火したわけでも、フェーズが切り替わったわけでも、スケジュールが進んだわけでもない。同じ式を、更新された信念に対して評価したら、違う答えが出た。それだけです。

再検査の認識的価値は 0.368 から 0.146 へ落ちています。何が返ってくるかをエージェントはすでに知っているので、信念はほとんど動かない。それでいて曖昧さの代償は残る。一方で治療は、もう賭けには見えません。

エージェントは情報を集め、それから行動しました。その順序で。そして誰もそれを書いていません。このモデルに探索ボーナスはなく、ε-greedy のスケジュールもなく、「決める前に調べよ」というヒューリスティックもない。あるのは一つの量 G と、それを二度最小化したという事実だけです。

そして第一ラウンドで見たとおり、報酬だけを見るエージェントなら逆の選択をしていました。ここが決定的です。順序を決めたのは選好の強さではなく、認識的価値の項でした。

これがこの枠組みの最も強い論拠であり、少し立ち止まる価値があります。強化学習では探索と搾取のバランスは設計問題です——項を足し、係数を調整し、そしてそれは自分でいつやめるべきかを知らない。ここではバランスはすでに目的関数の中にあり、信念が変われば自動的に解消される。認識的価値は、不確実性が減れば自ずと縮むからです。

上の数値はすべて手で検算できます。リスクは予測結果と選好事前分布の D_KL、曖昧さは尤度のエントロピーを信念で重みづけた平均、G はその和です。

この記事は、枠組みをその実践者が提示するとおりに提示しました。真面目な読者が気にするであろう点を、いくつか省いています。

期待自由エネルギーは一意に導かれるものではありません——ギブズエネルギーの族における β = 1 のメンバーであり、演繹ではなく正準な選択です。自由エネルギー原理の数学的中核には、実質的な技術的批判が向けられています。そしてマルコフブランケット——エージェントを世界から隔てる境界——という概念には、形式的な道具なのか実在系の性質の主張なのかという、よく記録された曖昧さがあります。

これらはいま読んだ内容を掘り崩すものではありません。批判はいずれも、この入門が教えている種類の応用される能動的推論を明示的に射程外にしています。ただ、継ぎ目がどこにあるかを知っておくことは、対象を知ることの一部です。

数学をより深く追うなら、Da Costa ら (2020) が最も整理された総合であり、この記事が採った記法もそれに従っています。教科書は Parr・Pezzulo・Friston (2022)。読むより実装したいなら Smith・Friston・Whyte (2022) が段階的なチュートリアルです。

日本語では、磯村 (2018) が自由エネルギー原理の標準的な解説であり、乾・阪口の二冊が知覚の側を厚く扱っています。

そして、この枠組みを実際に医療の実装に持ち込んだときに何が起きたかについては、当研究所の別稿があります。入門の次に読むものとしては、そちらが自然だと思います。