Articles / oktober 19, 2021

Frontal cortex funktion som härletts från hierarkisk prediktiv kodning

Här visar vi hur HER-modellen kan simulera och redogöra för en mängd olika publicerade empiriska fynd i dlPFC och mPFC. De resultat som redovisas nedan är på intet sätt uttömmande. De tjänar till att betona huvudpoängen att HER-modellen av PFC, som en instans av prediktiva kodningsformuleringar, kan autonomt lära sig komplexa uppgifter på ett sätt som reproducerar beteendemönster, neuropsykologiska effekter och neurala aktiviteter som mäts med fMRI, EEG, neurofysiologi för enskilda enheter som observerats i empiriska undersökningar. Detaljer om simuleringarna finns i tilläggsmaterialet, tillsammans med en beskrivning av de ekvationer som definierar HER-modellen. Det kompletterande materialet innehåller också ytterligare simuleringar som visar mer av HER-modellens förklaringskraft.

Simulering 1: Kontext, arbetsminne, & kontroll

DlPFC:s roll i arbetsminnet och representationen av uppgiftens struktur förblir ett pågående forskningsproblem. Under de senaste två decennierna har många fMRI-studier undersökt strukturen och funktionen hos dlPFC under olika hierarkiska uppgifts- och arbetsminneskrav. I Koechlin et al.24 undersökte författarna dlPFC:s funktion i två uppgifter samtidigt som de manipulerade mängden information som förmedlades av uppgiftsrelevanta stimuli. I deras Motor Condition observerades aktivitet i hela dlPFC – från områden märkta PMd (dorsal premotorisk cortex) till rostrala dlPFC – öka monotont när informationsinnehållet i ett kontextuellt cue ökade (fig. 2B). En ytterligare ökning av aktiviteten observerades endast i PMd när försökspersonerna skulle göra två svar i stället för ett enda svar. I simulering 1 (fig. 2A, C) förklarar HER-modellen den allmänna trenden med ökande aktivitet i dlPFC som den ökande styrkan hos de felförutsägande representationer som lärs in av modellen – mer information innebär fler potentiella fel som måste beaktas. Sammanfattande modellaktivitet för varje tillstånd korrelerar med BOLD-signalförändring som observerats i människodata för både motoriskt tillstånd (r = 0,70, p < 0,001) och uppgiftstillstånd (r = 0,75, p < 0,001). Denna redovisning kompletterar informationskaskadmodellen24 som bygger på informationsteoretiska formuleringar; i informationsteorin är information den mängd med vilken osäkerheten om en slumpvariabel minskar givet en annan variabel. Felförutsägelser som lärs in av HER-modellen används för att modulera resultatförutsägelser i syfte att stödja korrekt beteende – det vill säga deras roll är att minska osäkerheten om de sannolika resultaten av handlingar. HER-modellen förklarar den ytterligare ökning av aktiviteten som observerats i PMd genom den övergående uppdateringen av representationer (se tilläggsmaterial) på den lägsta modellnivån när på varandra följande stimuli kräver olika svar, medan förhållanden där endast ett enda svar krävs inte medför någon ytterligare uppdatering (Fig. 2A, nederst).

Simulering 2: Inlärd representation

Medans HER-modellen kan fånga upp en rad resultat relaterade till aktiviteten hos ensembler av neuroner som reflekteras av BOLD-signalen (se tilläggsmaterialet), förutsätter den också ett särskilt representationsschema som används i dlPFC. Enskilda enheter i HER-modellen dlPFC kodar nämligen var och en för en komponent i en flerdimensionell felförutsägelse. Förutom att fånga in data relaterade till styrkan i den aktivitet som observeras i dlPFC bör HER-modellen alltså också kunna redogöra för data relaterade till aktiviteten hos enskilda neuroner samt tekniker som är utformade för att avkoda neurala aktiviteter såsom MVPA.

För att undersöka om de representationer för felförutsägelser som HER-modellen lärt sig stämmer överens med de representationer som observeras hos människor registrerade vi aktivitet från modellen medan den utförde uppgiften för kontinuerlig prestation 1-2AX (simulering 2, fig. 3A). Vi klassificerade därefter aktiva representationer i modellen under perioder av uppgiften där modellen hade visats kontextvariabler på hög och låg nivå (se Online Methods), men innan en potentiell målindikation visades. Detta tillvägagångssätt liknar de multivoxelmönsteranalyser som rapporterats av Nee & Brown11. Klassificeringen av modellrepresentationerna överensstämmer med den som observerats hos människor (fig. 3A): på den lägsta hierarkiska nivån representeras sekvenser som kan kulminera i ett målrespons (1 A/2B) och sekvenser som säkerligen inte kommer att kulminera i ett målrespons (1B/2 A) på ett distinkt sätt (fig. 3A, nedre delen). Representationerna överlappar dock också delvis varandra så att 1 A-sekvenser delvis kategoriseras som 2B-sekvenser, medan 1B-sekvenser delvis kategoriseras som 2 A-sekvenser. På nivå 2 i HER-modellen är klassificeringen av varje sekvens mer avgörande, och varje unik sekvens (1 A/1B/2 A/2B) avkodas otvetydigt (fig. 3A, mitten). Detta resultat liknar mänskliga data, där en region i midlPFC visar en trend mot ökade bevis för unik sekvenskodning. Slutligen, på den tredje hierarkiska nivån (Fig. 3A, Överst), är sekvenser som börjar med 1 eller 2 var och en kollapsade (dvs. lika bevis för 1 A och 1B), vilket återspeglar den roll som rostrala dlPFC spelar vid kodning av kontextvariabler på hög nivå. HER-modellen förklarar förväxlingen av en målsekvens med en annan (1 A/2B) och en icke-målsekvens med en annan (1B/2 A) på den lägsta hierarkiska nivån som en följd av den ökade aktiveringen av ett förutspått svar som är gemensamt för båda typerna av sekvenser – ett målrespons i det förstnämnda tillståndet och ett icke-målrespons i det senare tillståndet.

Simulering 3: Neurofysiologi för enskilda enheter

Det representationsschema som föreslås av HER-modellen tyder på att enskilda neuroner i lPFC bör koda för komponenterna i en distribuerad felrepresentation, med enskilda enheter som signalerar identiteten och sannolikheten för att observera ett visst fel. Modellen föreslår vidare att dessa signaler bör utvecklas under loppet av ett försök i takt med att sannolikheten för att observera specifika typer av fel ökar eller minskar. Vi registrerade aktiviteten i modellen när den utförde en DMTS-uppgift (delayed match-to-sample) (simulering 3). I överensstämmelse med observerade enhetstyper som registrerats hos makakapor34 identifierades enheter i HER-modellen med ökad aktivitet efter förekomsten av ett målprov som matchade provet (matchförstärkning; fig. 3B), medan tydliga enheter identifierades vars aktivitet minskade efter ett matchande mål (matchundertryckning; fig. 3B). HER-modellen redogör för dessa två typer av neuroner som moduleringen av förutsägelser om möjliga svar efter presentationen av en målcue. När ett matchande mål presenteras ökar aktiviteten hos enheter som förutspår ett ”matchande” svar (förstärkning) medan aktiviteten hos enheter som förutspår ett ”icke-matchande” svar minskar (undertryckning). HER-modellen föreslår vidare a priori att ytterligare typer av neuroner bör observeras i lPFC, nämligen neuroner som förstärker och undertrycker missmatchning – neuroner vars aktivitet återspeglar den ökade och minskade sannolikheten för att göra ett svar som inte matchar respektive matchar.

Simulering 4: Blandad selektivitet

Ett ytterligare test av det felrepresentationsschema som HER-modellen postulerar är att undersöka om de felrepresentationer som lärs in av modellen kan förklara den mångfald av neurontyper som vanligen observeras i neurofysiologiska studier av enskilda enheter. Enstaka neuroner i PFC uppvisar rutinmässigt blandad selektivitet35 och reagerar på ett heterogent sätt på kombinationer av uppgiftsrelevanta stimuli. För att undersöka om enheterna i HER-modellen uppvisar blandad selektivitet simulerade vi modellen på en variant av DMTS-uppgiften36 där prov- och målproverna föregicks av en regel som angav om modellen skulle reagera på matchande prov/målkombinationer (som i den vanliga DMTS-uppgiften) eller om modellen skulle reagera på icke-matchande prov/målkombinationer. Modellaktivitet som registrerats från nivå 2 i HER-hierarkin avslöjar ett kluster av 6 enheter vars aktivitet på ett tillförlitligt sätt var förknippad med uppgiftens utförande (fig. 4). Två av dessa enheter reagerade uteslutande på regelsignalen – en enhet var aktiv efter MATCHING-signaler och tyst för NON-MATCHING-signaler, medan den andra uppvisade det motsatta mönstret. De återstående enheterna uppvisade komplexa aktivitetsmönster över regel-, modalitets- och bildidentitetsförhållanden, vilket stämmer överens med neurontyper som observerats i primaters PFC.

Simulering 5: Beteendets neurala grunder i prefrontal cortex

Förutom att reproducera effekter från mänskliga fMRI-data och neurofysiologiska studier av enstaka enheter i apor när det gäller karaktären av representationer i PFC, föreslår HER-modellen också hur dessa representationer kan påverka beteendemönster. För att undersöka hur hierarkiskt organiserade representationer påverkar tidsförloppet för inlärda beteenden simulerade vi modellen (simulering 5, fig. 5) på en ternär uppgift för sannolikhetsuppskattning37 där försökspersonerna ombads att uppskatta sannolikheten för att ett sammansatt stimulus, som varierade längs två funktionsdimensioner, tillhörde var och en av tre kategorier. Våra simuleringar skiljer sig från den ursprungliga uppgiften genom att försökspersonerna i det mänskliga experimentet fick välja prov från ett tvådimensionellt problemområde, medan modellen i våra simuleringar visades slumpmässigt valda prov. Ändå var målbeteendet i både experimentet och våra simuleringar detsamma, nämligen sannolikhetsbedömningar av kategorier. De mänskliga försökspersonerna visade sig anta tre olika strategier i sina sannolikhetsbedömningar som motsvarar deras provtagningsbeteende (fig. 5, nedersta raden): en grupp (Least Certain, LC, vänster) tilldelade konsekvent nästan lika stora sannolikheter för varje kategori, en andra grupp (Label Margin, LM, mitten) tilldelade en låg sannolikhet till en kategori och ungefär lika stora sannolikheter till de andra två, medan den sista gruppen (Most Certain, MC, höger) tilldelade en hög sannolikhet till en kategori och låga sannolikheter till de andra. Liknande beteendemönster observerades i HER-modellen under simulerade experiment där inlärningshastigheten manipulerades på följande sätt (fig. 5, övre raden). För simuleringar där all inlärning var inaktiverad motsvarade modellens sannolikhetsbedömningar LC-gruppen. När inlärning aktiverades endast för den lägsta hierarkiska nivån motsvarar modellens beteende LM-gruppen, vilket återspeglar inlärda representationer som gör det möjligt för modellen att utesluta en av de tre kategorierna men som saknar den information av högre ordning som krävs för att skilja mellan de återstående två. När inlärningen är aktiverad för alla nivåer lär sig modellen snabbt hela uppgiften, vilket motsvarar MC-gruppens beteende. I HER-modellen är dessa beteenden intimt förknippade med förutsägelser av inlärda fel: modellen delar upp en uppgift genom att på varje hierarkisk nivå välja den stimulusfunktion som bäst minskar osäkerheten i svaret. I detta senare fall utvecklas modellens beteende snabbt genom de beteenden som är förknippade med att inaktivera inlärning i successiva stadier: inledningsvis motsvarar modellens beteende LC-gruppen, följt av LM, innan den konvergerar mot en lösning på det ternära estimeringsproblemet, vilket tyder på hur realistisk inlärning kan kräva att man förvärvar associationer på låg nivå innan man utvecklar representationer på högre nivå. HER-modellen ger således en redogörelse för hur neurala representationer som förvärvats under inlärning kan bidra till beteendemönster – oförmågan att bilda representationer av högre ordning påverkar inte bara sannolikhetsbedömningar, utan kan dessutom informera om självriktad provtagning av information.

Simulering 6 & 7: Interaktion mellan mPFC och dlPFC

HER-modellen, som är en utvidgning av PRO-modellen (Predicted Response-Outcome) för ACC/mPFC, fångar redan ett brett spektrum av effekter som observerats inom ACC7,25. HER-modellen sträcker sig längre än PRO-modellen på två viktiga sätt: för det första specificerar den hur mPFC och dlPFC kan interagera för att stödja sofistikerade beteenden, och för det andra föreslår den en parallell hierarkisk organisation av mPFC där successiva hierarkiska regioner rapporterar alltmer abstrakta felsignaler. En sådan organisation av mPFC har föreslagits tidigare38,39, och man har faktiskt funnit bevis som stöder en roll för mPFC i behandlingen av hierarkiska fel27. HER-modellen kan fånga det aktivitetsmönster som observerades av Kim et al.26 (simulering 6) för distinkta regioner i både mPFC och dlPFC (fig. 6A, mittersta kolumnen). HER-modellen tolkar aktiviteten i hierarkiskt organiserade regioner i mPFC som diskrepansen mellan alltmer abstrakta förutspådda och observerade resultat, vilket stämmer överens med mPFC:s roll i felberäkningen som föreslås av PRO-modellen7,25 och kompletterar tolkningen av Kim et al. Medan deras begrepp om högre ordningens felsignaler specificeras kvalitativt, är successivt mer abstrakta fel i HER-modellen dock en produkt av kvantitativa förutsägelser på lägre nivåer som är otillräckliga för att förklara en försökspersonens observationer, i linje med det ramverk för prediktiv kodning som ligger till grund för HER-modellens struktur.

Uttre bevis för samspelet mellan mPFC och dlPFC kommer från studier av patienter med dlPFC-läsioner40. I en fördröjd matchningsuppgift mot ett prov observeras en Error Related Negativity (ERN) hos försökspersoner med lesioner i dlPFC för både korrekta och felaktiga försök (fig. 6B, vänstra kolumnen). HER-modellen (simulering 7, fig. 6B) förklarar detta som en oförmåga att behålla relevant information över en fördröjningsperiod för att modulera förutsägelser om sannolika resultat (fig. 6B, högra kolumnen). Utan denna ytterligare kontextuella information som finns tillgänglig i modellen är både korrekta och felaktiga resultat överraskande, vilket resulterar i ökad mPFC-aktivitet i en lesionerad version av HER-modellen vid båda typerna av försök.

Universe