Articles / oktober 19, 2021

Frontale cortex functie zoals afgeleid uit hiërarchische voorspellende codering

Hier laten we zien hoe het HER model een verscheidenheid van gepubliceerde empirische bevindingen in de dlPFC en mPFC kan simuleren en verantwoorden. De resultaten hieronder zijn geenszins uitputtend. Ze dienen om het belangrijkste punt te benadrukken, namelijk dat het HER-model van de PFC, als een voorbeeld van voorspellende coderingsformules, in staat is om zelfstandig complexe taken te leren op een manier die gedragspatronen, neuropsychologische effecten en neurale activiteit reproduceert, zoals gemeten door fMRI, EEG, en neurofysiologie van afzonderlijke eenheden, zoals waargenomen in empirisch onderzoek. Details van de simulaties zijn te vinden in het aanvullend materiaal, samen met een beschrijving van de vergelijkingen die het HER-model definiëren. Het aanvullend materiaal bevat ook verdere simulaties die meer van de verklarende kracht van het HER model laten zien.

Simulatie 1: Context, Werkgeheugen, & Controle

De rol van dlPFC in het werkgeheugen en de representatie van taakstructuur blijft een voortdurende zorg in het onderzoek. In de afgelopen twee decennia hebben talrijke fMRI studies de structuur en functie van dlPFC onder verschillende hiërarchische taak en werkgeheugen eisen onderzocht. In Koechlin et al.24, onderzochten de auteurs de functie van dlPFC in twee taken terwijl ze de hoeveelheid informatie overgebracht door taak-relevante stimuli manipuleerden. In hun motorische conditie, werd activiteit in de gehele dlPFC – van gebieden met het label PMd (dorsale premotorische cortex) tot de rostrale dlPFC – waargenomen die monotoon toenam naarmate de informatie-inhoud van een contextuele cue toenam (Fig. 2B). Een extra toename in activiteit werd alleen waargenomen in PMd wanneer proefpersonen twee reacties moesten maken in plaats van een enkele reactie. In Simulatie 1 (Fig. 2A,C), verklaart het HER model de algemene trend van toenemende activiteit in de dlPFC als de toenemende sterkte van foutvoorspellende representaties geleerd door het model – meer informatie betekent meer potentiële fouten waarmee rekening moet worden gehouden. Samenvattende model activiteit voor elke conditie correleert met BOLD signaal verandering waargenomen in de mens data voor zowel de Motor conditie (r = 0,70, p < 0,001) en de Taak conditie (r = 0,75, p < 0,001). Deze verklaring is een aanvulling op het informatiecascademodel24 dat gebaseerd is op informatietheoretische formuleringen; in de informatietheorie is informatie de hoeveelheid waarmee de onzekerheid over een willekeurige variabele afneemt gegeven een andere variabele. Foutvoorspellingen die door het HER-model worden geleerd, worden gebruikt om uitkomstvoorspellingen te moduleren ter ondersteuning van correct gedrag – dat wil zeggen, hun rol is om de onzekerheid over de waarschijnlijke uitkomsten van acties te verminderen. Het HER model verklaart de extra toename in activiteit waargenomen in PMd door de voorbijgaande update van representaties (zie aanvullend materiaal) op het laagste model niveau wanneer opeenvolgende stimuli verschillende responsen opleggen, terwijl condities waarin slechts een enkele respons vereist is geen extra update met zich meebrengen (Fig. 2A, onder).

Simulatie 2: Aangeleerde Representatie

Hoewel het HER-model in staat is een reeks resultaten te vatten die verband houden met de activiteit van ensembles van neuronen die door het BOLD-signaal worden weerspiegeld (zie aanvullend materiaal), gaat het ook uit van een bepaald representatieschema dat in de dlPFC wordt gebruikt. Namelijk, afzonderlijke eenheden in het HER model dlPFC elke code voor een component van een multi-dimensionale fout voorspelling. Naast het vastleggen van gegevens met betrekking tot de sterkte van de activiteit waargenomen in de dlPFC, zou het HER-model dus ook in staat moeten zijn om gegevens met betrekking tot de activiteit van individuele neuronen te verklaren, evenals technieken ontworpen om neurale activiteit te decoderen, zoals MVPA.

Om te onderzoeken of de foutvoorspellende representaties geleerd door het HER-model consistent zijn met die waargenomen bij menselijke proefpersonen, registreerden we activiteit van het model terwijl het de 1-2AX continue prestatie taak uitvoerde (Simulatie 2, Fig. 3A). Vervolgens hebben we actieve representaties in het model geclassificeerd tijdens perioden van de taak waarin het model contextvariabelen op hoog en laag niveau had gezien (zie Online Methoden), maar voordat een potentiële target cue werd weergegeven. Deze aanpak is vergelijkbaar met de multi-voxel patroonanalyses gerapporteerd door Nee & Brown11. Classificatie van de modelrepresentaties is consistent met die waargenomen bij menselijke proefpersonen (Fig. 3A): op het laagste hiërarchische niveau worden sequenties die kunnen culmineren in een doelrespons (1 A/2B) en die welke zeker niet zullen culmineren in een doelrespons (1B/2 A) op een verschillende manier vertegenwoordigd (Fig. 3A, Bodem). De voorstellingen overlappen elkaar echter ook gedeeltelijk, zodat 1 A sequenties gedeeltelijk worden gecategoriseerd als 2B sequenties, terwijl 1B sequenties gedeeltelijk worden gecategoriseerd als 2 A sequenties. Op niveau 2 van het HER-model is de classificatie van elke sequentie doorslaggevender, waarbij elke unieke sequentie (1 A/1B/2 A/2B) ondubbelzinnig wordt gedecodeerd (Fig. 3A, Midden). Dit resultaat is vergelijkbaar met menselijke gegevens, waarin een regio in het midden van de dlPFC een trend vertoont naar meer bewijs voor unieke sequentie codering. Tenslotte, op het derde hiërarchische niveau (Fig. 3A, Top), worden sequenties beginnend met 1 of 2 elk samengevoegd (d.w.z., gelijk bewijs voor 1 A en 1B), wat de rol van de rostrale dlPFC in het coderen van contextvariabelen op hoog niveau weerspiegelt. Het HER model verklaart de verwarring van een doelsequentie met een andere (1 A/2B) en een niet-doelsequentie met een andere (1B/2 A) op het laagste hiërarchische niveau als een gevolg van de verhoogde activatie van een voorspelde respons die beide soorten sequenties gemeen hebben – een doelrespons in de eerste conditie, en een niet-doelrespons in de tweede conditie.

Simulatie 3: Single-Unit Neurophysiology

Het representatieschema voorgesteld door het HER-model suggereert dat individuele neuronen in de lPFC zouden moeten coderen voor componenten van een gedistribueerde foutrepresentatie, met afzonderlijke eenheden die de identiteit en waarschijnlijkheid van het waarnemen van een bepaalde fout signaleren. Het model suggereert verder dat deze signalen zouden moeten evolueren in de loop van een trial naarmate de waarschijnlijkheid van het waarnemen van specifieke soorten fouten toeneemt of afneemt. We registreerden activiteit in het model terwijl het een vertraagde match-to-sample (DMTS) taak uitvoerde (Simulatie 3). In overeenstemming met de waargenomen typen eenheden die bij makaakapen werden geregistreerd34 , werden eenheden in het HER-model geïdentificeerd met verhoogde activiteit na het optreden van een doelprobe die overeenkwam met het monster (match enhancement; Fig. 3B), terwijl afzonderlijke eenheden werden geïdentificeerd waarvan de activiteit afnam na een overeenkomend doel (match suppression; Fig. 3B). Het HER model beschrijft deze twee soorten neuronen als de modulatie van voorspellingen betreffende mogelijke reacties na de presentatie van een target cue. Wanneer een passend doelwit wordt gepresenteerd, neemt de activiteit van eenheden die een “overeenkomstige” respons voorspellen toe (versterking), terwijl de activiteit van eenheden die een “niet-overeenkomstige” respons voorspellen afneemt (onderdrukking). Het HER model suggereert verder a priori dat additionele typen neuronen zouden moeten worden waargenomen in de lPFC, namelijk mismatch enhancement en suppression neuronen – neuronen waarvan de activiteit de verhoogde en verlaagde waarschijnlijkheid van het maken van respectievelijk een non-match en match respons reflecteert.

Simulatie 4: Gemengde Selectiviteit

Een verdere test van de fout representatie schema gepostuleerd door de HER model is om te onderzoeken of de fout representaties geleerd door het model kan de diversiteit van neuron typen algemeen waargenomen in single-unit neurofysiologische studies te verklaren. Enkelvoudige neuronen in de PFC vertonen routinematig gemengde selectiviteit35, waarbij ze op een heterogene manier reageren op combinaties van taak-relevante stimuli. Om te onderzoeken of eenheden in het HER model gemengde selectiviteit vertonen, simuleerden we het model op een variatie van de DMTS taak36 waarin de monster en doel probes werden voorafgegaan door een regel cue die aangaf of het model een doel respons moest geven op MATCHING monster/target combinaties (zoals in de gebruikelijke DMTS), of dat het model een doel respons moest geven op NON-MATCHING monster/target combinaties. Modelactiviteit opgenomen op niveau 2 van de HER hiërarchie onthult een cluster van 6 eenheden waarvan de activiteit betrouwbaar geassocieerd was met de taakprestatie (Fig. 4). Twee van deze eenheden reageerden uitsluitend op de regel cue – één eenheid was actief na MATCHING cues, en stil voor NON-MATCHING cues, terwijl de andere eenheid het omgekeerde patroon vertoonde. De overige eenheden vertoonden complexe activiteitspatronen over regel, modaliteit en beeldidentiteitscondities, consistent met neurontypes waargenomen in de PFC van primaten.

Simulatie 5: De neurale bases van gedrag in prefrontale cortex

Naast het reproduceren van effecten van menselijke fMRI-gegevens en single-unit neurofysiologie studies in aap met betrekking tot de aard van representaties in PFC, het HER-model suggereert ook hoe deze representaties patronen van gedrag kunnen beïnvloeden. Om de invloed van hiërarchisch-georganiseerde representaties op het tijdsverloop van aangeleerd gedrag te onderzoeken, simuleerden we het model (Simulatie 5, Fig. 5) op een ternaire waarschijnlijkheidsschattingstaak37 waarin proefpersonen werd gevraagd de waarschijnlijkheid in te schatten dat een samengestelde stimulus, variërend langs twee kenmerkdimensies, behoorde tot elk van drie categorieën. Onze simulaties verschillen van de oorspronkelijke taak in dat, in het menselijke experiment, proefpersonen werden toegestaan om monsters te kiezen uit een tweedimensionale probleemruimte, terwijl in onze simulaties, het model werd getoond willekeurig geselecteerde monsters. Niettemin was het doelgedrag van zowel het experiment als onze simulaties hetzelfde, namelijk waarschijnlijkheidsoordelen van categorieën. Menselijke proefpersonen bleken drie verschillende strategieën te hanteren in hun waarschijnlijkheidsoordelen die overeenkwamen met hun steekproefgedrag (Fig. 5, onderste rij): een groep (Least Certain, LC, links) kende consequent bijna gelijke waarschijnlijkheden toe aan elke categorie, een tweede groep (Label Margin, LM, midden) kende een lage waarschijnlijkheid toe aan één categorie en ongeveer gelijke waarschijnlijkheden aan de andere twee, terwijl de laatste groep (Most Certain, MC, rechts) een hoge waarschijnlijkheid toekende aan één categorie en lage waarschijnlijkheden aan de andere. Vergelijkbare gedragspatronen werden waargenomen in het HER-model tijdens gesimuleerde experimenten waarin de leersnelheid als volgt werd gemanipuleerd (Fig. 5, bovenste rij). Voor simulaties waarin al het leren was uitgeschakeld, kwamen de waarschijnlijkheidsschattingen van het model overeen met de LC-groep. Wanneer het leren alleen voor het laagste hiërarchische niveau werd ingeschakeld, kwam het gedrag van het model overeen met de LM-groep, als gevolg van geleerde representaties die het model in staat stellen een van de drie categorieën uit te sluiten, maar niet de hogere orde informatie bezitten die nodig is om onderscheid te maken tussen de resterende twee. Tenslotte, wanneer leren is ingeschakeld voor alle niveaus, leert het model snel de gehele taak, wat overeenkomt met het gedrag van de MC groep. In het HER-model zijn deze gedragingen nauw verbonden met geleerde foutvoorspellingen: het model ontleedt een taak door op elk hiërarchisch niveau het stimuluskenmerk te selecteren dat de responsonzekerheid het best vermindert. In dit laatste geval gaat het gedrag van het model snel door de gedragingen die geassocieerd worden met het uitschakelen van leren in opeenvolgende stadia: aanvankelijk komt het gedrag van het model overeen met de LC-groep, gevolgd door LM, alvorens te convergeren naar een oplossing voor het ternaire schattingsprobleem, wat suggereert hoe realistisch leren de verwerving van associaties op laag niveau kan vereisen, voorafgaand aan de ontwikkeling van representaties op hoger niveau. Het HER-model biedt dus een verklaring voor de manier waarop neurale representaties die tijdens het leren worden verworven, kunnen bijdragen tot gedragspatronen – het onvermogen om hogere-orde representaties te vormen beïnvloedt niet alleen waarschijnlijkheidsoordelen, maar kan bovendien informatie verschaffen over zelfgestuurde sampling van informatie.

Simulatie 6 & 7: Interactie van mPFC en dlPFC

Het HER-model, dat een uitbreiding is van het predicted response-outcome (PRO) model van ACC/mPFC, vangt al een breed scala van effecten die binnen ACC7,25 zijn waargenomen. Het HER-model gaat verder dan het PRO-model op twee cruciale manieren: ten eerste specificeert het hoe mPFC en dlPFC kunnen interageren om verfijnd gedrag te ondersteunen, en ten tweede suggereert het een parallelle hiërarchische organisatie van mPFC waarin opeenvolgende hiërarchische regio’s steeds abstractere foutsignalen rapporteren. Een dergelijke organisatie van de mPFC is eerder voorgesteld38,39, en er is inderdaad bewijs gevonden dat een rol voor de mPFC in het verwerken van hiërarchische fouten ondersteunt27. Het HER model is in staat om het patroon van activiteit te vatten zoals waargenomen door Kim et al.26 (Simulatie 6) voor verschillende regio’s van zowel de mPFC als de dlPFC (Fig. 6A, middelste kolom). Het HER model interpreteert activiteit in hiërarchisch georganiseerde regio’s van de mPFC als de discrepantie tussen steeds abstracter voorspelde en waargenomen uitkomsten, consistent met de rol van de mPFC in foutberekening zoals voorgesteld door het PRO model7,25, en complementair aan de interpretatie van Kim et al. Echter, terwijl hun notie van hogere-orde foutsignalen kwalitatief wordt gespecificeerd, zijn opeenvolgende abstractere fouten in het HER-model een product van kwantitatieve voorspellingen op lagere niveaus die onvoldoende zijn om de waarnemingen van een proefpersoon te verklaren, in overeenstemming met het voorspellende coderingskader dat de structuur van het HER-model informeert.

Aanvullend bewijs voor de interactie tussen mPFC en dlPFC komt uit onderzoek bij patiënten met dlPFC-laesies40. In een vertraagde testtaak wordt een Error Related Negativity (ERN) waargenomen bij proefpersonen met laesies aan de dlPFC voor zowel correcte als incorrecte trials (Fig. 6B, linker kolom). Het HER model (Simulatie 7, Fig. 6B) verklaart dit als het onvermogen om relevante informatie te behouden gedurende een vertragingsperiode om voorspellingen over waarschijnlijke uitkomsten te moduleren (Fig. 6B, rechter kolom). Zonder deze extra contextuele informatie beschikbaar in het model, zijn zowel correcte als incorrecte uitkomsten verrassend, wat resulteert in verhoogde mPFC activiteit in een lesioned versie van het HER model op beide soorten trials.

Universe