能動的推論

自由エネルギー原理については、日本語で読めるものが揃っている。標準的な解説論文があり、マルコフブランケットと期待自由エネルギーまで数式込みで扱った書籍が二冊ある。足りていないのは能動的推論そのものであり、さらに言えば、この機械を説明する側ではなく使おうとした側から書かれたものである。

日本語版 Wikipedia には「自由エネルギー原理」の項目がある。「能動的推論」の項目はない。空白のかたちは、だいたいそれで示せる。

もう一つの空白は自分の側にある。階層的マルコフブランケット（HMB）の上にエージェントを組んでいて、頭の中で持っていたモデルと、実装が実際に返してくるものが乖離していることに気づいた。頭の中にあったほうを紙に落としたものが超限解剖理論になった。この記事は、その乖離がなぜ起きたのかの記録である——後から文献に当たって、理由として見つかったものと一緒に。

網羅的な文献レビューではないし、筆者は能動的推論の研究者として立っているわけでもない。ここでの主張はすべて一人称である。こう試して、こうなって、理由を探しにいったらこれが見つかった、という話にすぎない。批判文献を引くときも、分野への判定としてではなく、自分の事例に対する診断として引く。

そして、能動的推論を学ぶための記事でもない。KL ダイバージェンスが読めること、期待自由エネルギーが単なる期待効用ではない理由をすでに知っていることを前提にしている。まだそうでないなら、対になる記事——能動的推論 入門——がすべてを一から組み立て、最後に作業例を一つ解き切る。先にそちらを読んで、それから戻ってきてほしい。

この点は弱みではなく、この記事が引き受けている仕事そのものだと考えている。日本語圏に本当に無いのは厳密な解説ではない。解説は既にある。無いのは、実際に手を動かした人間の報告である。

離散状態空間の能動的推論は、モデルのすべてを四つの対象に収める。隠れ状態 s が観測 o を生成し、方策 π は時刻で添字づけられた行動の列であって、状態から行動への写像ではない。ここが一般向けの説明で最も滑りやすい点である。方策はエージェントが推論する対象としての確率変数であり、これこそが最適制御を推論へと変換している当のものだ。

F はサプライズの上界であり、エージェントがすでに行った観測に対して評価される。以降で効いてくる分解は、複雑さから正確さを引いたものである。

この部分は既存の日本語資料が厚いので、ここでは足早に通過して、末尾で参照先を挙げるにとどめる。

入門記事でも同じ地点を通るが、この記事だけでも読めるように再掲する。一般向けの説明が最も高い頻度で壊す箇所なので、正確に述べておく価値がある。F はすでに観測された結果の上で評価される。結果は固定された既知の量として F の内側に座っている。G は未来の時刻で評価され、そこでは結果がまだ観測されていない。したがって結果は積分消去されなければならない——しかもエージェント自身の予測分布のもとで、尤度を含んだかたちで。

この一つの置き換えが、複雑さをリスクに、正確さを曖昧さに変える。そして情報利得の項がそもそも現れる理由もこれである。F のもとでは認識的な項は存在しない。すでに手元にあるデータについて情報を得ることはできないからだ。

したがって——知覚は F を最小化してモデルを過去の観測と整合させ、行動は G を最小化して未来の観測をモデルと整合させる。

G は二通りに分解できる。一つ目が、実際にコードが計算しているものである。

これらは同じ G の並べ替えである。ただし項ごとに対応してはいない。リスクは実用的価値の符号を変えたものではない。リスクには予測結果のエントロピーに相当する部分が含まれていて、もう一方の分割ではそれが認識的な側に配分されるからである。「リスクと曖昧さ、別名、実用的価値と認識的価値」という言い方は誤りであり、しかもよく見かける誤りである。

方策は G に対するソフトマックスで選択される。逆温度 γ は、それ自体が推論される量である。γ は自分の計画に対する確信度であり、γ が高いとベイズモデル平均がモデル選択に変わって、勝者総取りの振る舞いが回復される。

ここから、能動的推論に特徴的な機能不全の説明図式が出てくる。探索的か搾取的か、決断的か逡巡的か——あらゆる行動レジームが精度パラメータで決まっているため、精度を誤って設定すると、モデルの他の部分を何も変えずにシミュレート可能な病態が生じる。これが aberrant precision（異常な精度）と呼ばれるもので、精神病について展開したのが Adams ら (2013) である。

マルコフブランケットは、Pearl の原義では、ベイジアンネットワークにおいてあるノードを他のすべてから条件付き独立にする最小のノード集合である——親、子、そして子の他の親。その仕事は計算上のものだ。変分推論を回すためにブランケットを使う人間は、それが研究対象の系における文字どおりの境界に対応しているとは考えていない。

自由エネルギー系の文献は、この構成物を受け取って、エージェントの感覚運動的な境界として読む——外部・感覚・能動・内部の四分割であり、生体がどこで終わり世界がどこから始まるかを画定するものとして扱われる。Bruineberg らはこれを Friston blanket と呼んで区別することを提案していて、以降の議論にとってこれが最も切れる道具になる。

ここで一つ白状しておく。境界を十分統計量のインターフェースとして読む立場の出典として、私は Friston (2010) を引いた。あの論文には「Markov」も「blanket」も一度も出てこない——本文・Box・図キャプションを通じて全文検索した結果である。あるのは、エージェントと環境をつなぐ2チャネルの図と、認識密度の「十分統計量」——これは内部状態の性質であって、境界の性質ではない。境界の形式化が現れるのは 2013 年である。

系譜の指示としてなら通る。実装がそう扱っている、という書き方をしている以上、誤りとまでは言えない。しかし厳密には後付けの整理であり、引いた本人が中身を確認していなかった、という話である。

そして同じことを、もっと大きな対象について、もう一度やっていた。階層的マルコフブランケットの出典として、私は Kirchhoff ら (2018) を引いた。階層をなす境界が要るとき、誰もがそこを引くからである。そして——引いた時点では——そこで入れ子が実際に確立されているかどうかを、確認していなかった。後から確認して分かったのは、何も定義されていない、ということだった。入れ子についての定理はなく、合成規則もなく、ブランケットを持つ部分系の集まりが再びブランケットを持つという証明もなく、入れ子が成立する条件も書かれていない。論文中の数式は単一のブランケットについてのものである。

入れ子の主張を担っているのは三つの語である。ブランケットはより大きなスケールで反復し、小さいものの形式をrecapitulating（再現）する。脳を入れ子状のブランケットの集合としてIf we imagine（想像するならば）。階層的生成モデルは入れ子ブランケットからcomprise（成る）——これは一文で言い切られ、引用に外注されている。

そして著者ら自身が、結論部でこう書いている。

この結論は Palacios ら (2020) を指している。形式的な仕事はそこで行われるはずだった。実際にはシミュレーション研究であり、著者ら自身が proof of concept として提示している。定理も補題も命題も、一つも含まれていない。

より重要なことに、巨視的なブランケットは自力で創発してはいない。事前信念として設置されている。ブランケット構造の条件付き独立は固定された 3×3 行列であり、手で入力され、両方のレベルで同一のものが使われる。著者らはこれが循環にどれだけ近いかについて率直である——ある細胞が「自分はマルコフブランケットに参与している」と信じることと整合する配置は、まさに細胞たちのマルコフブランケットと整合する配置である、と。

公平に述べておくべきこともある。本当に創発しているものはある。空間的配置、各型の細胞数、どの細胞がどの役割を取るか——いずれも事前指定されていない。これは実際の結果である。ただ、約束されていた結果ではない、というだけだ。

そして後退については、正面から認めている。

自由エネルギー原理への批判を読む前に、一つの区別を据えておく必要がある。そしてその区別は、能動的推論の文献自身が供給している。

技術的批判が標的にしているのは原理のほうである。プロセス理論のほうではない。両方の批判論文が、自分の射程を自分で明示している。Biehl らは、自分たちの指摘は「自由エネルギー（あるいは期待自由エネルギー）を最小化するエージェントをあらかじめ仮定するアプローチの妥当性には影響しない」と書く。Aguilera らは、予測符号化と能動的推論のモデルは「ここでレビューした FEP の数学的中核の妥当性に全面的に依存してはいない」と書く。

これは声を大きくして言う価値がある。二つの主張が絶えず混同されているからだ——「自由エネルギー原理が批判されている」と「能動的推論は使えない」は別の主張である。自由エネルギー最小化を仮定してモデルを組んでいる人間は、免除される側の領域に立っている。

Biehl・Pollock・Kanai は、日常的に互換に扱われている二つの条件が論理的に独立であることを示している——ベクトル場のスパース性と、定常密度における条件付き独立である。どちらも他方を含意せず、両方向に反例が構成されている。

Aguilera・Millidge・Tschantz・Buckley は弱結合の線形系を調べ、ブランケット条件が1次では成立するが2次で一般に破れることを示した。この事態に対する彼らの言い換えは、医療の読者には即座に通じるものである。機構的なインターフェースと統計的なマルコフブランケットの隔たりは、神経科学における解剖学的結合と機能的結合の区別に類似している。

正直な限界も書いておく。彼らの射程は弱結合の線形系であり、非線形系への拡張は著者自身の言葉によれば帰納的な賭けである。この結果を生物についての定理のように扱えば、この記事が主題にしている誤りをそのまま反復することになる。

以上のどれも、対立の構図を必要としない。一次文献が自分の選択を自分で明示しているからである。期待自由エネルギーはギブズエネルギーの族における β = 1 のメンバーとして導かれる。β = 0 ならリスク鋭敏制御になる。G は族の中の正準な選択であって、一意の演繹ではない。非平衡定常状態は、Da Costa 自身が該当する扱いについて述べるところによれば、導出されるのではなく規約的に仮定されている。そして Friston の 2010 年のレビューは、自らを「共通点を際立たせるように仕組まれた（contrived to highlight commonalities）」ものだと述べて閉じている。

応答も出ている。Friston 自身のコメント (2022) は何も譲らない——FEP が勾配流として記述しているのは外部状態ではなく内部状態の最も確からしい流れであって、批判は読み違えている、と。線形系を対象にしたことも「物理学者の球形の牛」に喩えて退けられている。

より興味深いのは、FEP 陣営の内側から出た二本のコメントのほうである。Heins と Da Costa (2022) は「結合の疎性が条件付き独立やマルコフブランケットの存在と単純な関係を持たない、という target article の主張に、一般には同意する」と書く。Heins (2022) はさらに踏み込み、Friston (2019) と Parr–Da Costa–Friston (2020) の特定の式を名指しして、「先行する FEP 文献における主張の一般性に疑問を呈する点で、target article に同意する」と述べている。

つまり批判の中核は、擁護側の一部にすでに受け入れられている。そして——ここは正確に書いておく——応用される能動的推論が争点の外にあるかどうかについて、応答はどれも触れていない。批判側が明示的に免除しているのに対し、応答側は沈黙している。同意とも不同意とも読めない。

分かりやすい筋書きなら、前節で並べた誤りに自分がそのまま踏み込んだ、という話になる。地図を領土と取り違えた、解剖から組めば統計的性質がついてくると思っていた、と。しかしそうではなかった。そしてそう述べることには意味がある。実際の乖離のほうが、はるかに興味深いからだ。

批判文献は実装の後ではなく前に読んでいた。ブランケットは意図的に Pearl の意味で採用した——生理学的サブシステム間の条件付き独立を表現するために設計された構成物であって、臓器系の境界についての存在論的主張ではない、と。Friston blanket が要求する定常状態の仮定は明示的に拒否した。血行動態のショック、敗血症性の遷移、薬理学的介入は、まさに一過性の非平衡事象だからである。非一意性も先に認めた。別の分解を採れば別の階層が得られ、結果も変わりうる、と。

そして、動いた。真の因果構造がわかっている合成系で、階層版は Flat アブレーションも VAR-LiNGAM も Granger 因果もすべて失敗する領域で完全に故障を局在化した。実際の周術期データでも 96.4% のエピソードで Flat を上回った。この構造は自分の場所を稼いだのである。

乖離はここにある。階層的マルコフブランケットが実装されたときになったものは、四つのサブシステムの上に張られた有向グラフであり、解剖から手で描かれ、精度重みつき予測誤差をその辺に沿って流す構造だった。故障信号はその辺の上しか伝播しない。局在化が働くのはまさにそのためである——残差が、全結合の潜在空間に滲み出す代わりに、既知の因果辺を通って親へ再配分される。

ノードごとの内部・境界・外部への分割はない。感覚／能動の区別もない。ドメイン知識から主張されるのではなくデータに対して検証された条件付き独立も、ない。仕事をしている対象は辺——既知の経路——であって、境界ではまったくない。

つまり理論の内容は、実装へ降りる過程を生き延びなかった。生き延びたのは隣接構造である。そして居心地が悪いのは、それが失敗したことではない。生き延びなかったことによって何も失われなかったことである。コードが必要としたものはすべて、手描きの因果事前分布が供給していた。残りの装置——自己組織化する境界、系自身の力学によって同定されるブランケット、推論の仕事を担う四分割——は、動いていなかった。

では、頭の中のモデルのほうは何を持っていたのか。白状すると、生物の階層を考えるとき私が思い浮かべていたのは、ヒルベルトの無限ホテルだった。

あの話の肝は、部屋が無限にあることではない。満室でも新しい客を泊められることである——全員を一つ隣の部屋へずらせばいい。構造が「一つ増やす」という操作について閉じている。これが肝心な性質であり、真部分集合が全体と全単射になるという、無限であることの定義そのものでもある。

階層的マルコフブランケットは、そういうものだと思っていた。ブランケットのブランケット、どこまで下ってもブランケット。任意のユニットはいつでももう一階層開くことができ、開いた先も同じ種類の対象である。Kirchhoff の recapitulating（再現する）という語は、まさにそう読ませる。

そうではなかった。合成規則が無い。あるユニットを下位階層へ解像したとき、それが再び階層的マルコフブランケットであるための条件は、どこにも書かれていない。Kirchhoff に定理は無く、Palacios が実際にシミュレートしたのは二階層だけで、その先は「帰納により、少なくとも原理的には、複数階層へ一般化できるだろう」と書かれている。原理的には、と。

無限ホテルが与えてくれるのは、無限の部屋ではない。部屋を一つ増やしても構造が壊れないことの保証である。そしてその保証こそ、階層的マルコフブランケットには無いものだった。だから一階層開けるたびに、自分が何を決めているのか分からなくなる。実装が返してきた四ノードのグラフは、四ノードのグラフでしかなく、その下に何かを開く手続きを持っていなかった。

注意深く言えば、反復するのは分割のパターンであって、力学の内容ではない。心臓の力学と分子動力学は、状態空間も時定数も異なる別の方程式に従う。ホテルの各部屋には別の客が泊まっている。同型なのは部屋番号の構造のほうである。これが「フラクタルではない」ということの正確な意味だ。

頭の中のモデルが持っていて実装が持っていなかったのは、この閉包性だった。書き下したものが超限解剖理論の第一の主張になった——任意のユニットは下位階層へ解像でき、実用上の深さを制限するのは測定分解能とモデリングの目的であって、理論内部の天井ではない。

そして、もう一つの問いもここから出てくる。もう一階層開けるということは、どの階層で止めてもよいということである。ならば止める場所を決めるものは何か。分離ではありえない。分離はどこでも成り立つからだ。なぜ他でなく、この分割なのか。肺循環と体循環を分ければ別の階層になり、局在化の結果も変わりうる——実装の側でも、それは未解決の問題として残っていた。

分離の枠組みには、この問いを裁定する手段が無い。あるとすれば、境界が何を通すかのほうである。

入れ子の境界の上に立つ理論には、まともな反論が一つある。迂回せず正面から受けるべきものだ。

これは私の理論に正面から当たる。中心に据えた語が、まさに反論されている無限の入れ子の深さを名指しているからである。入れ子には原理があるのだと言い張っても答えにならない。

しかし答えることはできる。そしてその答えこそが、この理論が存在する理由である。境界のすることが分離だけなら、反論は正しい——どこでも切れるし、切った線は何の情報も担わない。境界を実在たらしめるのは、分離していることではなく、何を通すかを選んでいることである。同一の分離特性をもつ二つの境界が、正反対の選択性プロファイルを持ちうる。一方は生体に必要なものを通し、他方は害するものを通す。条件付き独立はこの二つを区別できない。診断と介入にとって、この区別こそが本質である。

そこで定式化は目的関数を動かす。外部状態を X、内部状態を Y、境界状態を B とし、そのユニットが上位階層で担う役割を符号化する変数を T（タスク変数）、その役割に無関係な文脈を T^⊥ と書く。血液脳関門なら、T は神経機能の恒常性であり、T^⊥ は末梢の炎症である。

分離は目標であることをやめて常在の制約になり、最大化されるのはタスク関連情報の伝達 I(B;T)、その下でタスク非関連情報の伝達 I(B;T^⊥) に予算 β がかかる。

第一に、これは情報ボトルネックの拡張であって、適用ではない。Tishby・Pereira・Bialek のオリジナルは、関連性と圧縮を単一の軸で交換するものであり、非関連情報に対する予算項は存在しない。またオリジナルのマルコフ条件は構造的な所与であって、著者らは脚注で「これはモデリング仮定ではない」と明示している。一方、上の条件付き独立は課された制約である。構造として近いのは privacy／side-information 系の変種のほうだ。

第二に、無限後退は消えていない。扱いが違うだけである。Palacios らは上向きの後退を認めて開いたままにした。私は下向きの方向を取り、宣言によってそれを止めた——任意のユニットはより細かい下位階層へ解像でき、実用上の深さを制限するのは測定分解能とモデリングの目的であって、理論内部の天井ではない、と。これは後退の解決ではない。モデル化する側のコミットメントがどこで入るかを、正直に述べたものである。

ただし、後退そのものが困りごとだという前提のほうは、疑ってよい。無限ホテルが示しているのは、操作について閉じてさえいれば、無限の後退は破綻ではないということである。満室のホテルは客が一人増えても壊れない。壊れるのは、増やす手続きが定義されていないときだけだ。

だとすれば問題は「後退が無限であること」ではなく「合成規則が無いこと」に移る。前節で見たとおり、階層的マルコフブランケットに欠けていたのは深さの上限ではなく、一階層開く操作の定義だった。深さを測定分解能と目的で止めるのは、後退を恐れているからではない。開く操作を誰が定義し、誰が責任を負うのかを、モデル化する側に引き受けさせるためである。

タスク変数 T の選択も、まったく同じ意味で臨床的なコミットメントである。神経のホメオスタシスをタスク関連だと宣言することが、末梢の炎症をタスク非関連にする。それは決定であり、公然と下され、下した者が責任を負う。