Articles / oktober 19, 2021

Frontal cortex funktion som afledt af hierarkisk prædiktiv kodning

Her viser vi, hvordan HER-modellen kan simulere og redegøre for en række offentliggjorte empiriske fund i dlPFC og mPFC. De resultater, der rapporteres nedenfor, er på ingen måde udtømmende. De tjener til at understrege hovedpointen om, at HER-modellen af PFC, som et eksempel på prædiktive kodningsformuleringer, er i stand til selvstændigt at lære komplekse opgaver på en måde, der reproducerer adfærdsmønstre, neuropsykologiske virkninger og neurale aktivitet som målt ved fMRI, EEG, enkelt enhedsneurophysiologi observeret i empirisk undersøgelse. Nærmere oplysninger om simuleringerne findes i det supplerende materiale sammen med en beskrivelse af de ligninger, der definerer HER-modellen. Det supplerende materiale indeholder også yderligere simuleringer, der demonstrerer mere af HER-modellens forklaringskraft.

Simulering 1: Kontekst, arbejdshukommelse, & kontrol

Den rolle, som dlPFC spiller i arbejdshukommelse og repræsentation af opgavestruktur, er fortsat et vedvarende forskningsanliggende. I de sidste to årtier har talrige fMRI-undersøgelser undersøgt strukturen og funktionen af dlPFC under forskellige hierarkiske opgave- og arbejdshukommelseskrav. I Koechlin et al.24 undersøgte forfatterne dlPFC’s funktion i to opgaver, mens de manipulerede mængden af information, der blev formidlet af opgaven-relevante stimuli. I deres Motor Condition blev aktivitet i hele dlPFC – fra områder mærket PMd (dorsal premotorisk cortex) til rostral dlPFC – observeret til at stige monotont, efterhånden som informationsindholdet i et kontekstuelt cue steg (Fig. 2B). En yderligere stigning i aktiviteten blev kun observeret i PMd, når forsøgspersoner blev bedt om at foretage to svar i stedet for et enkelt svar. I simulering 1 (Fig. 2A,C) redegør HER-modellen for den generelle tendens til stigende aktivitet på tværs af dlPFC som den stigende styrke af fejlforudsigelsesrepræsentationer, der er lært af modellen – mere information betyder flere potentielle fejl, der skal tages højde for. Sammenfattende modelaktivitet for hver betingelse korrelerer med BOLD-signalændring observeret i menneskedata for både Motorbetingelsen (r = 0.70, p < 0.001) og Opgavebetingelsen (r = 0.75, p < 0.001). Denne redegørelse supplerer informationskaskademodellen24 baseret på informationsteoretiske formuleringer; i informationsteori er information den mængde, hvormed usikkerheden om en tilfældig variabel mindskes givet en anden variabel. Fejlforudsigelser, der er lært af HER-modellen, bruges til at modulere resultatforudsigelser for at støtte korrekt adfærd – det vil sige, at deres rolle er at reducere usikkerheden med hensyn til de sandsynlige resultater af handlinger. HER-modellen forklarer den yderligere stigning i aktiviteten, der er observeret i PMd gennem den forbigående opdatering af repræsentationer (se supplerende materiale) på det laveste modelniveau, når på hinanden følgende stimuli kræver forskellige svar, mens forhold, hvor kun et enkelt svar er påkrævet, ikke medfører en yderligere opdatering (Fig. 2A, nederst).

Simulering 2: Indlært repræsentation

Mens HER-modellen er i stand til at fange en række resultater relateret til aktiviteten af ensembler af neuroner, der afspejles af BOLD-signalet (se supplerende materiale), antager den også et bestemt repræsentationsskema, der er udfoldet i dlPFC. De enkelte enheder i HER-modellen dlPFC-koder nemlig hver for sig for en komponent af en flerdimensional fejlforudsigelse. Ud over at indfange data relateret til styrken af aktivitet observeret i dlPFC bør HER-modellen derfor også være i stand til at redegøre for data relateret til aktiviteten af individuelle neuroner samt teknikker designet til at afkode neural aktivitet såsom MVPA.

For at undersøge, om de fejlforudsigelsesrepræsentationer, der er lært af HER-modellen, er i overensstemmelse med dem, der er observeret hos menneskelige forsøgspersoner, optog vi aktivitet fra modellen, mens den udførte 1-2AX kontinuerlig præstationsopgave (Simulation 2, Fig. 3A). Vi klassificerede efterfølgende aktive repræsentationer i modellen i perioder af opgaven, hvor modellen var blevet vist kontekstvariabler på højt og lavt niveau (se Online Metoder), men før et potentielt målcue blev vist. Denne tilgang svarer til de multivoxelmønsteranalyser, der er rapporteret af Nee & Brown11. Klassificering af modelrepræsentationerne er i overensstemmelse med den, der er observeret hos menneskelige forsøgspersoner (Fig. 3A): På det laveste hierarkiske niveau er sekvenser, der kan kulminere i et målrespons (1 A/2B), og dem, der helt sikkert ikke vil kulminere i et målrespons (1B/2 A), repræsenteret på en særskilt måde (Fig. 3A, Bottom). Repræsentationerne overlapper imidlertid også delvist, således at 1 A-sekvenser delvist kategoriseres som 2B-sekvenser, mens 1B-sekvenser delvist kategoriseres som 2 A-sekvenser. På niveau 2 i HER-modellen er klassificeringen af hver sekvens mere afgørende, idet hver enkelt sekvens (1 A/1B/2 A/2B) afkodes entydigt (fig. 3A, midten). Dette resultat svarer til menneskelige data, hvor en region i midlPFC viser en tendens til øget bevis for unik sekvenskodning. Endelig, på det tredje hierarkiske niveau (Fig. 3A, Top), er sekvenser, der begynder med 1 eller 2, hver især kollapseret (dvs. lige beviser for 1 A og 1B), hvilket afspejler rostral dlPFC’s rolle i kodning af kontekstvariabler på højt niveau. HER-modellen forklarer forvekslingen af en målsekvens med en anden (1 A/2B) og en ikke-målsekvens med en anden (1B/2 A) på det laveste hierarkiske niveau som følge af den øgede aktivering af et forudsagt respons, der er fælles for begge typer sekvenser – et målrespons i den førstnævnte tilstand og et ikke-målrespons i den sidstnævnte tilstand.

Simulering 3: Enkelt-enheds neurofysiologi

Det repræsentationsskema, der foreslås af HER-modellen, antyder, at individuelle neuroner i lPFC bør kode for komponenter af en distribueret fejlrepræsentation, med enkelte enheder, der signalerer identiteten og sandsynligheden for at observere en bestemt fejl. Modellen foreslår endvidere, at disse signaler bør udvikle sig i løbet af et forsøg, efterhånden som sandsynligheden for at observere specifikke typer fejl øges eller mindskes. Vi registrerede aktivitet i modellen, mens den udførte en DMTS-opgave (delayed match-to-sample) (Simulation 3). I overensstemmelse med observerede enhedstyper, der er registreret i makak aber34, blev enheder i HER-modellen identificeret med øget aktivitet efter forekomsten af en målprobe, der matchede prøven (matchforbedring; Fig. 3B), mens der blev identificeret særskilte enheder, hvis aktivitet faldt efter et matchende mål (matchundertrykkelse; Fig. 3B). HER-modellen redegør for disse to typer neuroner som modulation af forudsigelser vedrørende mulige reaktioner efter præsentationen af et målcue. Når et matchende mål præsenteres, øges aktiviteten af enheder, der forudsiger et “match”-respons (forstærkning), mens aktiviteten af enheder, der forudsiger et “ikke-match”-respons, falder (undertrykkelse). HER-modellen antyder endvidere på forhånd, at der bør observeres yderligere typer neuroner i lPFC, nemlig mismatchforbedrings- og undertrykkelsesneuroner – neuroner, hvis aktivitet afspejler den øgede og mindskede sandsynlighed for at lave henholdsvis et ikke-match- og et matchrespons.

Simulering 4: Blandet selektivitet

En yderligere test af det fejlrepræsentationsskema, der postuleres af HER-modellen, er at undersøge, om de fejlrepræsentationer, der er lært af modellen, kan forklare den mangfoldighed af neurontyper, der almindeligvis observeres i neurofysiologiske undersøgelser af enkelt-enheder. Enkelte neuroner i PFC udviser rutinemæssigt blandet selektivitet35 og reagerer på en heterogen måde på kombinationer af opgave-relevante stimuli. For at undersøge, om enheder i HER-modellen udviser blandet selektivitet, simulerede vi modellen på en variation af DMTS-opgaven36 , hvor prøve- og målproberne blev indledt af en regel, der angiver, om modellen skal give et målrespons på MATCHING prøve/mål-kombinationer (som i den sædvanlige DMTS), eller om modellen skal give et målrespons på NON-MATCHING prøve/mål-kombinationer. Modelaktivitet registreret fra niveau 2 i HER-hierarkiet afslører en klynge af 6 enheder, hvis aktivitet var pålideligt forbundet med opgaveudførelsen (fig. 4). To af disse enheder reagerede udelukkende på regelcueet – en enhed var aktiv efter MATCHING-signaler og tavs for NON-MATCHING-signaler, mens den anden viste det modsatte mønster. De resterende enheder udviste komplekse aktivitetsmønstre på tværs af regel-, modalitets- og billedidentitetsbetingelser, i overensstemmelse med neurontyper observeret i primat PFC.

Simulering 5: De neurale grundlag for adfærd i præfrontal cortex

Ud over at reproducere effekter fra menneskelige fMRI-data og enkelt-enheds neurofysiologiske undersøgelser i abe med hensyn til arten af repræsentationer i PFC, foreslår HER-modellen også, hvordan disse repræsentationer kan påvirke adfærdsmønstre. For at undersøge indflydelsen af hierarkisk organiserede repræsentationer på tidsforløbet af indlært adfærd simulerede vi modellen (Simulation 5, Fig. 5) på en ternær sandsynlighedsvurderingsopgave37, hvor forsøgspersoner blev bedt om at estimere sandsynligheden for, at en sammensat stimulus, der varierede langs to egenskabsdimensioner, tilhørte hver af tre kategorier. Vores simuleringer adskiller sig fra den oprindelige opgave ved, at i det menneskelige eksperiment fik forsøgspersonerne lov til at vælge prøver fra et todimensionalt problemrum, mens modellen i vores simuleringer blev vist tilfældigt udvalgte prøver. Ikke desto mindre var måladfærden i både eksperimentet og vores simuleringer den samme, nemlig sandsynlighedsvurderinger af kategorier. Det blev konstateret, at de menneskelige forsøgspersoner anvendte tre forskellige strategier i deres sandsynlighedsvurderinger svarende til deres prøveudtagningsadfærd (fig. 5, nederste række): en gruppe (Least Certain, LC, venstre) tildelte konsekvent næsten lige store sandsynligheder for hver kategori, en anden gruppe (Label Margin, LM, midten) tildelte en lav sandsynlighed til en kategori og omtrent lige store sandsynligheder til de to andre, mens den sidste gruppe (Most Certain, MC, højre) tildelte en høj sandsynlighed til en kategori og lave sandsynligheder til de andre. Lignende adfærdsmønstre blev observeret i HER-modellen under simulerede eksperimenter, hvor indlæringshastigheden blev manipuleret på følgende måde (fig. 5, øverste række). For simuleringer, hvor al læring var deaktiveret, svarede modellens sandsynlighedsestimater til LC-gruppen. Når læring kun blev aktiveret for det laveste hierarkiske niveau, svarer modellens adfærd til LM-gruppen, hvilket afspejler indlærte repræsentationer, der gør det muligt for modellen at udelukke en af de tre kategorier, men som mangler den information af højere orden, der er nødvendig for at skelne mellem de to resterende kategorier. Endelig, når læring er aktiveret for alle niveauer, lærer modellen hurtigt hele opgaven, hvilket svarer til MC-gruppens adfærd. I HER-modellen er disse adfærdsmønstre tæt forbundet med forudsigelser af indlærte fejl: modellen dekomponerer en opgave ved på hvert hierarkisk niveau at vælge den stimulusfunktion, der bedst reducerer responsususikkerheden. I sidstnævnte tilfælde udvikler modeladfærden sig hurtigt gennem den adfærd, der er forbundet med deaktivering af læring på successive stadier: i første omgang svarer modellens adfærd til LC-gruppen, efterfulgt af LM, før den konvergerer mod en løsning på det ternære estimationsproblem, hvilket antyder, hvordan realistisk læring kan kræve erhvervelse af associationer på lavt niveau forud for udvikling af repræsentationer på højere niveau. HER-modellen giver således en redegørelse for, hvordan neurale repræsentationer, der er erhvervet under indlæring, kan bidrage til adfærdsmønstre – den manglende evne til at danne repræsentationer af højere orden påvirker ikke kun sandsynlighedsvurderinger, men kan desuden informere om selvstyret prøveudtagning af information.

Simulering 6 & 7: Interaktion mellem mPFC og dlPFC

Den HER-model, der er en udvidelse af den forudsagte respons-udfaldsmodel (PRO) af ACC/mPFC, indfanger allerede en bred vifte af virkninger, der er observeret inden for ACC7,25. HER-modellen udvider ud over PRO-modellen på to kritiske måder: for det første specificerer den, hvordan mPFC og dlPFC kan interagere med henblik på at understøtte sofistikeret adfærd, og for det andet foreslår den en parallel hierarkisk organisation af mPFC, hvor successive hierarkiske regioner rapporterer stadig mere abstrakte fejlsignaler. En sådan organisation af mPFC er tidligere blevet foreslået38,39, og der er faktisk fundet beviser, der understøtter en rolle for mPFC i behandlingen af hierarkiske fejl27. HER-modellen er i stand til at fange det aktivitetsmønster, der er observeret af Kim et al.26 (Simulation 6) for særskilte regioner i både mPFC og dlPFC (Fig. 6A, midterste kolonne). HER-modellen fortolker aktivitet i hierarkisk organiserede regioner af mPFC som uoverensstemmelse mellem stadig mere abstrakte forudsagte og observerede resultater, hvilket er i overensstemmelse med mPFC’s rolle i fejlberegning foreslået af PRO-modellen7,25 og komplementært til fortolkningen af Kim et al. Mens deres begreb om højere ordens fejlsignaler er specificeret kvalitativt, er successivt mere abstrakte fejl i HER-modellen imidlertid et produkt af kvantitative forudsigelser på lavere niveauer, der er utilstrækkelige til at forklare en persons observationer, i overensstemmelse med den prædiktive kodningsramme, der informerer strukturen af HER-modellen.

Der kommer yderligere beviser vedrørende interaktionen mellem mPFC og dlPFC fra undersøgelser af patienter med dlPFC-læsioner40. I en forsinket match til prøveopgave observeres en fejlrelateret negativitet (ERN) hos forsøgspersoner med læsioner i dlPFC for både korrekte og ukorrekte forsøg (Fig. 6B, venstre kolonne). HER-modellen (Simulation 7, Fig. 6B) forklarer dette som den manglende evne til at fastholde relevante oplysninger på tværs af en forsinkelsesperiode for at modulere forudsigelser vedrørende sandsynlige resultater (Fig. 6B, højre kolonne). Uden denne ekstra kontekstuelle information, der er tilgængelig i modellen, er både korrekte og ukorrekte resultater overraskende, hvilket resulterer i øget mPFC-aktivitet i en læsioneret version af HER-modellen på begge typer forsøg.

Universe