階層的予測コーディングから導かれる前頭葉機能

ここでは、HERモデルがdlPFCとmPFCにおける発表済みの様々な経験知をいかにシミュレートし説明できるかを示している。 以下に報告する結果は、決して網羅的なものではない。 これらの結果は、PFCのHERモデルが、予測符号化定式化の一例として、経験的調査で観察された行動パターン、神経心理学的効果、fMRI、EEG、単一ユニット神経生理学で測定された神経活動を再現する方法で複雑な課題を自律的に学習できる、という主旨を強調するのに役立つ。 シミュレーションの詳細は、HERモデルを定義する方程式の説明とともに、補足資料に掲載されています。 また、補足資料には、HERモデルの説明力を示すさらなるシミュレーションも含まれている。 過去20年間、多くのfMRI研究により、様々な階層的なタスクやワーキングメモリの要求下でのdlPFCの構造と機能が研究されてきた。 Koechlinら24は、課題関連刺激から伝達される情報量を操作しながら、2つの課題におけるdlPFCの機能を調査している。 運動条件では、PMD（背側運動前野）とラベル付けされた領域から吻側dlPFCまでのdlPFC全体の活動が、文脈的手がかりの情報量の増加とともに単調に増加することが観察された（Fig. 2B）。 また、1回の反応ではなく、2回の反応を要求されたときにのみ、PMdでさらなる活動の増加が観察された。 シミュレーション1(Fig. 2A,C)では、HERモデルが学習した誤り予測表現の強度が増すにつれて、dlPFC全体の活動が増加する一般的傾向を説明することができた。 各条件におけるモデルの活動は、運動条件（r = 0.70, p < 0.001）および課題条件（r = 0.75, p < 0.001）の両方でヒトデータで観察されたBOLD信号変化と相関があることが確認された。 情報理論では、情報とは、ある確率変数に関する不確実性が、別の変数によって減少する量である。 HERモデルによって学習されたエラー予測は、正しい行動をサポートするために結果予測を修正するために使用される。 HERモデルは、連続する刺激が異なる応答を要求する場合、最も低いモデルレベルで表現の一過性の更新（補足資料参照）を行い、PMdで観察された活動の追加的な増加を説明する。一方、単一の応答のみが要求される条件では、追加の更新を伴わない（Fig. 1968>

dlPFC における情報エンコーディング。 原稿中、模擬データは二重枠で囲んでいる。 文脈手がかりの情報量が増加すると、ビット数（X軸）で計算され、dlPFCの階層的に組織化された領域全体の活動が増加する。 dlPFCで維持されるエラー予測の強さは、情報量に比例する。つまり、手がかりの情報量が多いほど、その手がかりから得られる情報なしに報告されるエラーは大きくなる。 (A）HERモデルは、タスクに関連する刺激の性質（x軸）と必要とされる可能性のある反応（y軸）の両方に関連する情報の効果を捉えている。 このようにHERはPFCの情報カスケードモデルを補完する説明をしている。 (B）Koechlinら24のタスク条件では、文脈手がかりの情報量に応じてdlPFC全体の活動が増加することが観察されている。 しかし、ここでは、尾側dlPFCの活動（パネルB、中央）は、被験者が2つのタスク（母音/子音、大文字/小文字識別）を時々切り替えなければならない場合に、さらに増加することが示されている。 (C)課題の切り替えに関連するこの追加的な増加は、課題の性質が変化したときに、HERモデルにおいて活動の一過性の増加として説明される（中段）。

シミュレーション2：学習した表現

HERモデルはBOLD信号によって反映されるニューロンのアンサンブルの活動に関する様々な結果（補足資料参照）を捉えることができるが、それはdlPFCで展開した特定の表現スキームを想定していることにもなる。 すなわち、HERモデルdlPFCの単一ユニットは、それぞれ多次元誤差予測の構成要素をコードしている。 HERモデルは、dlPFCで観察される活動の強さに関連するデータを捉えるだけでなく、個々のニューロンの活動に関するデータ、およびMVPAなどの神経活動を解読するための技術も説明することができるはずである。 その結果、1-2AX課題において、モデルに高低の文脈変数が表示され（Online Methods参照）、ターゲット手がかりが表示される前の期間に、モデル内のアクティブな表現が分類された。 この方法は、Nee & Brown11によって報告されたマルチボクセルパターン解析に類似している。 モデル表現の分類は、ヒトで観察されたものと一致している（図3A）。最も低い階層レベルでは、標的反応に至る可能性のあるシーケンス（1 A/2B）と確実に標的反応に至らないシーケンス（1B/2 A）が異なる様式で表現されている（図3A、下段）。 しかし、1A配列は部分的に2B配列に分類され、1B配列は部分的に2A配列に分類されるなど、表現が一部重複していることも確認された。 HERモデルのレベル2では、各配列の分類がより決定的になり、それぞれのユニークな配列（1 A/1B/2 A/2B）が曖昧さなく解読される（Fig. 3A,Middle）。 この結果は、ヒトのデータと同様であり、DlPFC中部の領域は、ユニークな配列のコード化の証拠が増加する傾向を示している。 最後に、第3階層（図3A、上）では、1または2で始まる配列はそれぞれ折りたたまれており（すなわち、1Aと1Bのエビデンスが等しい）、高レベルの文脈変数をコードするrostral dlPFCの役割が反映されている。 HERモデルは、前者の条件では標的反応、後者の条件では非標的反応という、両方のタイプのシーケンスに共通する予測された反応の活性化が増加した結果として、最も低い階層レベルで、ある標的シーケンスと別のシーケンス（1A/2B）、ある非標的シーケンスと別のシーケンス（1B/2A）の混同を説明します。

PFCにおける分散した表現。 HERモデルにおける別々のユニットは、階層的に精巧に作られた多次元のエラー予測の構成要素を表し、認知タスクが神経的にどのように表現されるかを示唆する。 (A) 左：1-2AX CPT実行中にモデルが保持する誤り予測表現に関するMVPAは、lPFCの尾側領域が高次の文脈に関わらず潜在的な標的配列をコード化し、より吻側の領域がより抽象的な文脈変数をコード化するというヒトデータとの一貫性を示した。 右：ヒトのMVPAの結果、Nee & Brown11の許可を得て転載。 モデル表現の分類結果は、BOLD信号がノイズの影響を受けるのに対し、モデル内のユニットの活性化を完全に忠実に記録できるため、当然fMRIデータのパターン分析よりもロバストである。 それにもかかわらず、モデル表現の分類精度は、階層的レベル2/mid-DLPFC（r = 0.64, p = 0.0074）、レベル1/背側運動前野（r = 0.91, p < 0.001）ともにヒトデータの分類精度と有意に相関していた。 (B)HERモデルのレベル1（左）のユニットは、遅延マッチ・トゥ・サンプル課題を行っている間、マッチ抑制と増強に関連した活動を示す。 これらのユニットの活動は、標的刺激を観察する前に、一致または非一致の手がかりを観察する確率が等しいことを反映している。 ターゲット刺激の提示後、サルのlPFCで記録されたデータと同様に、マッチの発生を予測するユニットの活動は増強され、非マッチ予測ユニットの活動は抑制される（右図）。 HERモデルはさらに、不一致の増強と抑制の効果を示すユニットの存在を予言している。 HERモデルが提案する表現スキームは、lPFCの個々のニューロンが分散型エラー表現の構成要素をコード化し、単一ユニットが特定のエラーを観察するアイデンティティと可能性をシグナリングすることを示唆する。 さらに、これらの信号は試行期間中、特定の種類の誤りを観察する可能性が増加または減少するにつれて、進化するはずであることを示唆している。 我々は、このモデルがDMTS (delayed match-to-sample) 課題を実行する際の活動を記録した（シミュレーション3）。 マカクザルで記録されたユニットタイプ34と同様に、HERモデルのユニットは、標本と一致する標的プローブが発生すると活動が増加し（一致増強；図3B）、一方、標的が一致すると活動が減少するユニット（一致抑制；図3B）が識別された。 HERモデルは、この2種類のニューロンを、ターゲット手がかりの提示後に起こりうる反応に関する予測値の変調として説明する。 マッチングターゲットが提示されると、マッチング反応を予測するユニットの活動は増加し（増強）、非マッチング反応を予測するユニットの活動は減少する（抑制）。 HERモデルはさらに、lPFCにはミスマッチ増強ニューロンと抑制ニューロンという追加のタイプのニューロンが観察されるはずであることを先験的に示唆している。すなわち、そのニューロンはそれぞれ、非一致反応と一致反応を行う可能性の増加と減少を反映する活動を行う。

シミュレーション4：混合選択性

HERモデルによって仮定されたエラー表現スキームのさらなるテストは、モデルによって学習されたエラー表現が、単一ユニットの神経生理学研究でよく観察されるニューロンタイプの多様性を説明できるかどうかを調べることである。 PFCの単一ニューロンは日常的に混合選択性を示し35、タスクに関連した刺激の組み合わせに異質な反応をする。 この課題では、サンプルとターゲットのプローブの前に、（通常のDMTSと同様に）サンプルとターゲットの組み合わせが一致した場合にモデルがターゲット反応を起こすか、あるいはサンプルとターゲットの組み合わせが一致しない場合にモデルがターゲット反応を起こすかを示すルールキューが置かれている。 HER階層のレベル2から記録されたモデル活動により、その活動が課題遂行と確実に関連している6つのユニットのクラスタが明らかになった（図4）。 これらのユニットのうち2つはルールキューにのみ反応し、1つのユニットはマッチングキューに続いて活動し、非マッチングキューには沈黙し、もう1つは逆のパターンを示した。 残りのユニットは、ルール、モダリティ、絵の同一性の条件にわたって複雑な活動パターンを示し、霊長類のPFCで観察されるニューロンの種類と一致した。 HERモデルのレベル2からのユニットは刺激に対して複雑なパターンを示す。 ユニット1-4の反応はDMTS課題で提示された手がかりとなる規則とサンプル刺激との間の相互作用を示し、例えば「同じ」規則と「絵1」の組み合わせに優先的に反応するユニットもある。 さらに、このモデルでは5 & 6のユニットが、「同じ」ルール（ユニット6、パネルB）または「異なる」ルール（ユニット5、パネルA）のいずれかにのみ優先的に反応するようになっている。 ルール特異的ユニットとルールXcue相互作用ユニットの組み合わせは、霊長類のLPFCにおける同様の知見を再現する36。

シミュレーション5：前頭前野における行動の神経基盤

HERモデルは、PFCにおける表現の性質に関して人間のfMRIデータおよびサルの単一ユニット神経生理学研究から得られた効果の再現に加えて、これらの表現が行動のパターンにいかに影響するかも示唆した。 階層化された表現が学習行動のタイムコースに与える影響を調べるために、我々は、2つの特徴次元に沿って変化する複合刺激が3つのカテゴリーのそれぞれに属する確率を推定するよう被験者に求めた3元確率推定課題37において、このモデルをシミュレーションした（シミュレーション5、図5）。 このシミュレーションは、人体実験では被験者に2次元の問題空間からサンプルを選択させたのに対し、我々のシミュレーションでは、モデルにランダムに選択したサンプルを示した点が、元の課題とは異なっている。 しかし、実験とシミュレーションの対象行動は同じであり、カテゴリの確率判断である。 その結果、被験者のサンプリング行動に応じて、3つの異なる確率判断戦略をとることがわかった（図5下段）。あるグループ（Least Certain, LC, 左）は各カテゴリーにほぼ等しい確率を一貫して割り当て、第2のグループ（Label Margin, LM, 中央）は一つのカテゴリーを低く、他の二つをほぼ同等の確率で割り当て、最後のグループ（Most Certain, MC, 右）は一つのカテゴリーを高く、他のものを低く設定する、という戦略だった。 HERモデルでは、学習率を操作した模擬実験において、以下のような行動パターンが観察された（Fig.5、上段）。 すべての学習を無効にしたシミュレーションでは、モデルの推定確率はLC群に対応した。 これは、学習された表現が、3つのカテゴリーのうちの1つを除外することを可能にするが、残りの2つを区別するのに必要な高次の情報を欠いていることを反映している。 最後に、すべての階層で学習を有効にすると、モデルはタスク全体を急速に学習し、MCグループの振る舞いに対応する。 HERモデルでは、これらの行動は学習されたエラー予測と密接に関連している。モデルは、各階層で、反応の不確実性を最も低くする刺激特徴を選択することによって課題を分解する。 この場合、モデルの振る舞いは、学習無効化に関連する振る舞いを次々と経て、急速に進行する。最初はLC群、次にLM群、そして三項推定問題の解に収束する振る舞いは、現実的な学習が、より高いレベルの表現を開発する前に、低いレベルの関連付けの獲得を必要とする可能性を示唆するものであった。 このようにHERモデルは、学習中に獲得した神経表現がどのように行動パターンに寄与するかを説明するものである。高次表現を形成できないことは確率判断に影響を与えるだけでなく、さらに自己判断による情報のサンプリングに影響を与えるかもしれない。 0階層（左）、1階層（中央）、全階層（右）で選択的に学習を有効にしたHERモデル（上）の行動。 各点は1回の試行を表す。 このモデルによる3つの可能なカテゴリの確率の推定は、情報サンプリング戦略の異なる3つの被験者グループによる3元確率推定課題中の行動（下）と一致する。 このようにHERモデルは、単一ユニットのレベルでのタスク表現がどのように行動に寄与するかを説明するものである。 1968>

シミュレーション6 & 7：mPFCとdlPFCの相互作用

HERモデルはACC/mPFCの予測応答結果モデル（PRO）を拡張しており、すでにACC内で観察される様々な効果を捉えている7，25． HERモデルはPROモデルを拡張したもので、2つの重要な点がある。1つ目は、高度な行動をサポートするためにmPFCとdlPFCがどのように相互作用し得るかを特定したこと、2つ目は、連続する階層的領域がより抽象的なエラー信号を報告するというmPFCの並列階層的組織を提案したことである。 このようなmPFCの組織は以前から提案されており38,39、実際、mPFCが階層的なエラーの処理に関与することを支持する証拠が見つかっている27。 HERモデルは、Kimら26（シミュレーション6）がmPFCとdlPFCの両方で観察した活動パターンを捉えることができる（図6A、中央の列）。 HERモデルは、mPFCの階層的に組織化された領域における活動を、抽象度を増した予測結果と観測結果の不一致と解釈しており、PROモデル7,25が提案したエラー計算におけるmPFCの役割と一致し、Kimらの解釈と相補的であった。 しかし、彼らの高次エラー信号の概念が質的に規定されているのに対し、HERモデルにおける連続的なより抽象的なエラーは、HERモデルの構造に影響を与える予測符号化の枠組みに沿った、被験者の観察を説明するには不十分な低レベルの定量的予測の産物である。

mPFC とdlPFCの相互作用、シミュレーション6と7。 HERモデルは、mPFCとdlPFCが、エラーとエラー予測情報を階層的なレベルを通して渡すことにより、予測エラーを最小化するためにどのように協力しうるかを示唆している。 (A) シミュレーション6。 HERモデルのmPFCとdlPFCに関連する並列階層領域の活動の増加は、具体的（レベル1、刺激スイッチ）から抽象的（レベル2、反応スイッチ、レベル3、文脈スイッチ）までの異なる抽象レベルにおけるエラー（mPFC）およびエラー予測の更新（dlPFC）に関連している。 (B) シミュレーション7. dlPFCに保持されたエラー予測によるmPFCのモジュレーションは、行動の起こりうる結果に関する予測の文脈化にとって重要である。 遅延マッチング課題において、HERモデルは、サンプル手がかりに関する情報を維持することにより、正しい試行の後にERNが消失することを正しく捉えている。 しかし、このモデルに病変が生じ、dlPFCで通常維持されている情報がmPFCで利用できなくなると、モデルは正解試行とエラー試行に同様にERNを生じさせる。 遅延見本合わせ課題では、dlPFCに病変のある被験者では、正しい試行と誤った試行の両方でError Related Negativity（ERN）が観察された（図6B、左列）。 HERモデル（シミュレーション7、Fig. 6B）では、これは、起こりうる結果に関する予測を修正するために、遅延時間にわたって関連情報を維持することができないためと説明している（Fig. 6B、右の列）。 このような文脈情報がないと、正しい結果も誤った結果も意外なものとなり、その結果、HERモデルの病巣バージョンでは、両方のタイプの試行で脳下垂体の活動が増加した

。