Die Funktion des frontalen Kortex, abgeleitet aus der hierarchischen prädiktiven Kodierung
Hier zeigen wir, wie das HER-Modell eine Vielzahl von veröffentlichten empirischen Befunden im dlPFC und mPFC simulieren und erklären kann. Die im Folgenden berichteten Ergebnisse sind keineswegs erschöpfend. Sie dienen dazu, den Hauptpunkt zu betonen, dass das HER-Modell des PFC als eine Instanz prädiktiver Kodierungsformulierungen in der Lage ist, komplexe Aufgaben auf eine Art und Weise autonom zu erlernen, die Verhaltensmuster, neuropsychologische Effekte und neuronale Aktivität reproduziert, wie sie durch fMRI, EEG und neurophysiologische Messungen einzelner Einheiten in empirischen Untersuchungen beobachtet wurden. Einzelheiten zu den Simulationen sind im Zusatzmaterial zu finden, zusammen mit einer Beschreibung der Gleichungen, die das HER-Modell definieren. Das ergänzende Material enthält auch weitere Simulationen, die die Erklärungskraft des HER-Modells besser demonstrieren.
Simulation 1: Kontext, Arbeitsgedächtnis, & Kontrolle
Die Rolle des dlPFC im Arbeitsgedächtnis und in der Repräsentation der Aufgabenstruktur bleibt ein ständiges Forschungsanliegen. In den letzten zwei Jahrzehnten haben zahlreiche fMRI-Studien die Struktur und Funktion des dlPFC unter verschiedenen hierarchischen Aufgaben und Arbeitsgedächtnisanforderungen untersucht. Koechlin et al.24 untersuchten die Funktion des dlPFC bei zwei Aufgaben und manipulierten dabei die Menge der durch aufgabenrelevante Reize vermittelten Informationen. In ihrer Motor Condition wurde beobachtet, dass die Aktivität im gesamten dlPFC – von den mit PMd (dorsaler prämotorischer Kortex) bezeichneten Arealen bis zum rostralen dlPFC – monoton anstieg, wenn der Informationsgehalt eines kontextuellen Hinweises zunahm (Abb. 2B). Ein zusätzlicher Anstieg der Aktivität wurde nur im PMd beobachtet, wenn die Versuchspersonen zwei Antworten statt einer einzigen geben mussten. In Simulation 1 (Abb. 2A,C) erklärt das HER-Modell den allgemeinen Trend der zunehmenden Aktivität im dlPFC mit der zunehmenden Stärke der vom Modell erlernten Repräsentationen der Fehlervorhersage – mehr Informationen bedeuten mehr potenzielle Fehler, die berücksichtigt werden müssen. Die zusammengefasste Modellaktivität für jede Bedingung korreliert mit der BOLD-Signaländerung, die in den menschlichen Daten sowohl für die motorische Bedingung (r = 0,70, p < 0,001) als auch für die Aufgabenbedingung (r = 0,75, p < 0,001) beobachtet wurde. Diese Darstellung ergänzt das Informationskaskadenmodell24 , das auf informationstheoretischen Formulierungen beruht; in der Informationstheorie ist die Information der Betrag, um den die Unsicherheit über eine Zufallsvariable angesichts einer anderen Variablen abnimmt. Die vom HER-Modell gelernten Fehlervorhersagen werden zur Modulation von Ergebnisvorhersagen verwendet, um korrektes Verhalten zu unterstützen – das heißt, ihre Rolle besteht darin, die Unsicherheit hinsichtlich der wahrscheinlichen Ergebnisse von Handlungen zu verringern. Das HER-Modell erklärt den zusätzlichen Aktivitätsanstieg, der in PMd beobachtet wird, durch die vorübergehende Aktualisierung von Repräsentationen (siehe ergänzendes Material) auf der untersten Modellebene, wenn aufeinanderfolgende Stimuli unterschiedliche Reaktionen erfordern, während Bedingungen, in denen nur eine einzige Reaktion erforderlich ist, keine zusätzliche Aktualisierung nach sich ziehen (Abb. 2A, unten). 2A, unten).
Simulation 2: Gelernte Repräsentation
Während das HER-Modell in der Lage ist, eine Reihe von Ergebnissen zu erfassen, die mit der Aktivität von Neuronen-Ensembles zusammenhängen, die sich im BOLD-Signal widerspiegeln (siehe ergänzendes Material), postuliert es auch ein bestimmtes Repräsentationsschema, das im dlPFC eingesetzt wird. Einzelne Einheiten im HER-Modell des dlPFC kodieren nämlich jeweils für eine Komponente einer mehrdimensionalen Fehlervorhersage. Zusätzlich zur Erfassung von Daten, die sich auf die Stärke der im dlPFC beobachteten Aktivität beziehen, sollte das HER-Modell also auch in der Lage sein, Daten zu erfassen, die sich auf die Aktivität einzelner Neuronen beziehen, sowie Techniken zur Dekodierung neuronaler Aktivität, wie z. B. MVPA.
Um zu untersuchen, ob die vom HER-Modell erlernten Repräsentationen der Fehlervorhersage mit denen übereinstimmen, die bei menschlichen Probanden beobachtet wurden, zeichneten wir die Aktivität des Modells auf, während es die kontinuierliche 1-2AX-Leistungsaufgabe durchführte (Simulation 2, Abb. 3A). Anschließend klassifizierten wir die aktiven Repräsentationen des Modells während der Perioden der Aufgabe, in denen dem Modell High-Level- und Low-Level-Kontextvariablen gezeigt wurden (siehe Online-Methoden), aber bevor ein potenzieller Ziel-Hinweis angezeigt wurde. Dieser Ansatz ähnelt den Multi-Voxel-Muster-Analysen, die von Nee & Brown11 berichtet wurden. Die Klassifizierung der Modellrepräsentationen stimmt mit der bei menschlichen Probanden beobachteten überein (Abb. 3A): Auf der untersten hierarchischen Ebene werden Sequenzen, die möglicherweise zu einer Zielreaktion führen (1 A/2B), und solche, die mit Sicherheit nicht zu einer Zielreaktion führen (1B/2 A), auf unterschiedliche Weise dargestellt (Abb. 3A, unten). Die Darstellungen überschneiden sich jedoch auch teilweise, so dass 1 A-Sequenzen teilweise als 2B-Sequenzen kategorisiert werden, während 1B-Sequenzen teilweise als 2 A-Sequenzen kategorisiert werden. Auf Ebene 2 des HER-Modells ist die Klassifizierung der einzelnen Sequenzen entscheidender, wobei jede einzelne Sequenz (1 A/1B/2 A/2B) eindeutig dekodiert wird (Abb. 3A, Mitte). Dieses Ergebnis ähnelt den menschlichen Daten, bei denen eine Region in der Mitte des DLPFC einen Trend zu einer verstärkten Evidenz für eine eindeutige Sequenzkodierung zeigt. Auf der dritten hierarchischen Ebene (Abb. 3A, oben) schließlich werden Sequenzen, die mit 1 oder 2 beginnen, jeweils kollabiert (d. h. gleiche Evidenz für 1 A und 1B), was die Rolle des rostralen dlPFC bei der Kodierung von Kontextvariablen auf hoher Ebene widerspiegelt. Das HER-Modell erklärt die Verwechslung einer Zielsequenz mit einer anderen (1 A/2B) und einer Nicht-Zielsequenz mit einer anderen (1B/2 A) auf der untersten hierarchischen Ebene als Folge der erhöhten Aktivierung einer vorhergesagten Reaktion, die beiden Arten von Sequenzen gemeinsam ist – eine Zielreaktion in der ersten Bedingung und eine Nicht-Zielreaktion in der zweiten Bedingung.
Simulation 3: Single-Unit Neurophysiology
Das vom HER-Modell vorgeschlagene Repräsentationsschema legt nahe, dass einzelne Neuronen im lPFC für Komponenten einer verteilten Fehlerrepräsentation kodieren sollten, wobei einzelne Einheiten die Identität und Wahrscheinlichkeit der Beobachtung eines bestimmten Fehlers signalisieren. Das Modell geht ferner davon aus, dass sich diese Signale im Laufe eines Versuchs entwickeln sollten, wenn die Wahrscheinlichkeit, dass bestimmte Fehlertypen beobachtet werden, steigt oder sinkt. Wir haben die Aktivität des Modells aufgezeichnet, während es eine verzögerte Match-to-Sample-Aufgabe (DMTS) durchführte (Simulation 3). In Übereinstimmung mit beobachteten Einheitentypen, die bei Makakenaffen34 aufgezeichnet wurden, wurden Einheiten im HER-Modell identifiziert, deren Aktivität nach dem Auftreten einer Zielsonde, die mit der Probe übereinstimmte, zunahm (Match Enhancement; Abb. 3B), während bestimmte Einheiten identifiziert wurden, deren Aktivität nach einem übereinstimmenden Ziel abnahm (Match Suppression; Abb. 3B). Das HER-Modell erklärt diese beiden Arten von Neuronen als Modulation von Vorhersagen über mögliche Reaktionen nach der Präsentation eines Zielhinweises. Wenn ein passendes Ziel präsentiert wird, steigt die Aktivität der Einheiten, die eine „passende“ Antwort vorhersagen (Verstärkung), während die Aktivität der Einheiten, die eine „nicht passende“ Antwort vorhersagen, abnimmt (Unterdrückung). Das HER-Modell legt außerdem a priori nahe, dass im lPFC zusätzliche Arten von Neuronen zu beobachten sind, nämlich Neuronen zur Verstärkung und Unterdrückung von Fehlanpassungen – Neuronen, deren Aktivität die erhöhte bzw. verringerte Wahrscheinlichkeit widerspiegelt, eine Nichtanpassungsantwort zu geben.
Simulation 4: Gemischte Selektivität
Ein weiterer Test des vom HER-Modell postulierten Fehlerrepräsentationsschemas besteht darin, zu untersuchen, ob die vom Modell erlernten Fehlerrepräsentationen die Vielfalt der Neuronentypen erklären können, die üblicherweise in neurophysiologischen Studien mit einzelnen Einheiten beobachtet werden. Einzelne Neuronen im PFC zeigen routinemäßig eine gemischte Selektivität35 und reagieren auf heterogene Weise auf Kombinationen von aufgabenrelevanten Reizen. Um zu untersuchen, ob Einheiten im HER-Modell eine gemischte Selektivität aufweisen, simulierten wir das Modell mit einer Variation der DMTS-Aufgabe36 , bei der den Proben- und Zielsonden ein Regelhinweis vorangestellt war, der angab, ob das Modell auf übereinstimmende Proben-/Zielkombinationen (wie bei der üblichen DMTS) oder auf nicht übereinstimmende Proben-/Zielkombinationen eine Zielantwort geben sollte. Die auf Ebene 2 der HER-Hierarchie aufgezeichnete Modellaktivität zeigt eine Gruppe von 6 Einheiten, deren Aktivität zuverlässig mit der Aufgabenerfüllung verbunden war (Abb. 4). Zwei dieser Einheiten reagierten ausschließlich auf den Regelhinweis – eine Einheit war bei übereinstimmenden Hinweisen aktiv und blieb bei nicht übereinstimmenden Hinweisen stumm, während die andere das entgegengesetzte Muster zeigte. Die übrigen Einheiten zeigten komplexe Aktivitätsmuster über die Bedingungen der Regel, der Modalität und der Bildidentität hinweg, die mit den im Primaten-PFC beobachteten Neuronentypen übereinstimmen.
Simulation 5: Die neuronalen Grundlagen des Verhaltens im präfrontalen Kortex
Neben der Reproduktion von Effekten aus menschlichen fMRT-Daten und neurophysiologischen Studien mit einzelnen Einheiten bei Affen in Bezug auf die Beschaffenheit von Repräsentationen im PFC, legt das HER-Modell auch nahe, wie diese Repräsentationen Verhaltensmuster beeinflussen können. Um den Einfluss hierarchisch organisierter Repräsentationen auf den zeitlichen Ablauf erlernter Verhaltensweisen zu untersuchen, simulierten wir das Modell (Simulation 5, Abb. 5) in einer ternären Wahrscheinlichkeitsschätzungsaufgabe37 , bei der die Probanden die Wahrscheinlichkeit schätzen sollten, dass ein zusammengesetzter Reiz, der entlang zweier Merkmalsdimensionen variierte, zu jeder der drei Kategorien gehörte. Unsere Simulationen unterscheiden sich von der Originalaufgabe insofern, als die Versuchspersonen in dem Humanexperiment Stichproben aus einem zweidimensionalen Problemraum auswählen durften, während dem Modell in unseren Simulationen zufällig ausgewählte Stichproben gezeigt wurden. Nichtsdestotrotz war das Zielverhalten sowohl im Experiment als auch in unseren Simulationen dasselbe, nämlich Wahrscheinlichkeitsurteile über Kategorien. Es zeigte sich, dass die menschlichen Versuchspersonen bei ihren Wahrscheinlichkeitsurteilen drei verschiedene Strategien verfolgten, die ihrem Stichprobenverhalten entsprachen (Abb. 5, untere Reihe): Eine Gruppe (Least Certain, LC, links) wies jeder Kategorie durchgängig annähernd gleiche Wahrscheinlichkeiten zu, eine zweite Gruppe (Label Margin, LM, Mitte) wies einer Kategorie eine niedrige und den beiden anderen eine annähernd gleiche Wahrscheinlichkeit zu, während die letzte Gruppe (Most Certain, MC, rechts) einer Kategorie eine hohe und den anderen eine niedrige Wahrscheinlichkeit zuordnete. Ähnliche Verhaltensmuster wurden im HER-Modell während simulierter Experimente beobachtet, in denen die Lernrate wie folgt manipuliert wurde (Abb. 5, obere Reihe). Bei Simulationen, in denen das gesamte Lernen deaktiviert war, entsprachen die Wahrscheinlichkeitsschätzungen des Modells der LC-Gruppe. Wenn das Lernen nur für die unterste hierarchische Ebene aktiviert war, entsprach das Verhalten des Modells der LM-Gruppe, was auf gelernte Repräsentationen zurückzuführen ist, die es dem Modell ermöglichen, eine der drei Kategorien auszuschließen, denen aber die Informationen höherer Ordnung fehlen, die für die Unterscheidung zwischen den beiden übrigen Kategorien erforderlich sind. Wenn schließlich das Lernen für alle Ebenen aktiviert ist, lernt das Modell schnell die gesamte Aufgabe, was dem Verhalten der MC-Gruppe entspricht. Im HER-Modell sind diese Verhaltensweisen eng mit den erlernten Fehlervorhersagen verknüpft: Das Modell zerlegt eine Aufgabe, indem es auf jeder hierarchischen Ebene das Stimulusmerkmal auswählt, das die Antwortunsicherheit am besten reduziert. In diesem letzteren Fall durchläuft das Modellverhalten schnell die Verhaltensweisen, die mit der Deaktivierung des Lernens in aufeinanderfolgenden Phasen verbunden sind: Anfangs entspricht das Verhalten des Modells der LC-Gruppe, gefolgt von LM, bevor es zu einer Lösung des ternären Schätzproblems konvergiert, was darauf hindeutet, dass realistisches Lernen den Erwerb von Assoziationen auf niedriger Ebene vor der Entwicklung von Repräsentationen auf höherer Ebene erfordern kann. Das HER-Modell liefert somit eine Erklärung dafür, wie neuronale Repräsentationen, die während des Lernens erworben werden, zu Verhaltensmustern beitragen können – die Unfähigkeit, Repräsentationen höherer Ordnung zu bilden, beeinflusst nicht nur Wahrscheinlichkeitsurteile, sondern kann auch das selbstgesteuerte Sammeln von Informationen beeinflussen.
Simulation 6 & 7: Interaktion von mPFC und dlPFC
Das HER-Modell ist eine Erweiterung des PRO-Modells (Predicted Response-Outcome) von ACC/mPFC und erfasst bereits eine breite Palette von Effekten, die im ACC beobachtet wurden7,25. Das HER-Modell geht in zweierlei Hinsicht über das PRO-Modell hinaus: Erstens spezifiziert es, wie mPFC und dlPFC interagieren können, um anspruchsvolle Verhaltensweisen zu unterstützen, und zweitens legt es eine parallele hierarchische Organisation des mPFC nahe, bei der aufeinanderfolgende hierarchische Regionen zunehmend abstrakte Fehlersignale melden. Eine solche Organisation des mPFC wurde bereits früher vorgeschlagen38,39, und in der Tat wurden Belege dafür gefunden, dass der mPFC eine Rolle bei der Verarbeitung hierarchischer Fehler spielt27. Das HER-Modell ist in der Lage, das von Kim et al.26 (Simulation 6) beobachtete Aktivitätsmuster für verschiedene Regionen sowohl des mPFC als auch des dlPFC zu erfassen (Abb. 6A, mittlere Spalte). Das HER-Modell interpretiert die Aktivität in hierarchisch organisierten Regionen des mPFC als die Diskrepanz zwischen zunehmend abstrakteren vorhergesagten und beobachteten Ergebnissen, was mit der vom PRO-Modell vorgeschlagenen Rolle des mPFC bei der Fehlerberechnung7,25 übereinstimmt und die Interpretation von Kim et al. ergänzt. Während deren Begriff der Fehlersignale höherer Ordnung jedoch qualitativ spezifiziert ist, sind sukzessive abstraktere Fehler im HER-Modell ein Produkt quantitativer Vorhersagen auf niedrigeren Ebenen, die nicht ausreichen, um die Beobachtungen eines Probanden zu erklären, in Übereinstimmung mit dem prädiktiven Kodierungsrahmen, der der Struktur des HER-Modells zugrunde liegt.
Weitere Belege für die Interaktion von mPFC und dlPFC stammen aus Studien an Patienten mit dlPFC-Läsionen40. Bei einer verzögerten Zuordnungsaufgabe wird bei Probanden mit Läsionen im dlPFC sowohl bei richtigen als auch bei falschen Versuchen eine fehlerbezogene Negativität (ERN) beobachtet (Abb. 6B, linke Spalte). Das HER-Modell (Simulation 7, Abb. 6B) erklärt dies mit der Unfähigkeit, relevante Informationen über eine Verzögerungszeit hinweg aufrechtzuerhalten, um Vorhersagen über wahrscheinliche Ergebnisse zu modulieren (Abb. 6B, rechte Spalte). Ohne diese zusätzlichen Kontextinformationen, die im Modell zur Verfügung stehen, sind sowohl richtige als auch falsche Ergebnisse überraschend, was in einer läsionierten Version des HER-Modells bei beiden Versuchsarten zu einer erhöhten Aktivität des mPFC führt.
Leave a Reply