Funcția cortexului frontal derivată din codificarea predictivă ierarhică

Aici arătăm cum modelul HER poate să simuleze și să explice o varietate de constatări empirice publicate în dlPFC și mPFC. Rezultatele raportate mai jos nu sunt în niciun caz exhaustive. Ele servesc la sublinierea punctului principal că modelul HER al PFC, ca o instanță a formulărilor de codificare predictivă, este capabil să învețe în mod autonom sarcini complexe într-o manieră care reproduce modelele de comportament, efectele neuropsihologice și activitatea neuronală măsurată prin fMRI, EEG, neurofiziologia unitară observată în investigațiile empirice. Detaliile simulărilor pot fi găsite în materialul suplimentar, împreună cu o descriere a ecuațiilor care definesc modelul HER. Materialul suplimentar include, de asemenea, alte simulări care demonstrează mai mult din puterea explicativă a modelului HER.

Simularea 1: Context, memorie de lucru, & control

Rolul dlPFC în memoria de lucru și reprezentarea structurii sarcinii rămâne o preocupare de cercetare continuă. În ultimele două decenii, numeroase studii fMRI au investigat structura și funcția dlPFC în cadrul diferitelor sarcini ierarhice și solicitări ale memoriei de lucru. În Koechlin et al.24, autorii au investigat funcția dlPFC în două sarcini în timp ce au manipulat cantitatea de informații transmise de stimulii relevanți pentru sarcină. În condiția lor motorie, s-a observat că activitatea în întregul dlPFC – de la zonele etichetate PMd (cortexul premotor dorsal premotor) până la dlPFC rostral – a crescut în mod monoton pe măsură ce conținutul informațional al unui indiciu contextual a crescut (Fig. 2B). O creștere suplimentară a activității a fost observată numai în PMd atunci când subiecților li s-a cerut să dea două răspunsuri, mai degrabă decât un singur răspuns. În Simularea 1 (Fig. 2A,C), modelul HER explică tendința generală de creștere a activității în dlPFC ca putere crescândă a reprezentărilor de predicție a erorilor învățate de model – mai multe informații înseamnă mai multe erori potențiale care trebuie luate în considerare. Activitatea modelului sumar pentru fiecare condiție se corelează cu schimbarea semnalului BOLD observată în datele umane atât pentru condiția Motor (r = 0.70, p < 0.001), cât și pentru condiția Sarcină (r = 0.75, p < 0.001). Această explicație completează modelul de cascadă de informații24 bazat pe formulări teoretice ale informației; în teoria informației, informația este cantitatea cu care scade incertitudinea cu privire la o variabilă aleatorie având în vedere o altă variabilă. Predicțiile de eroare învățate de modelul HER sunt utilizate pentru a modula predicțiile de rezultat pentru a sprijini comportamentul corect – adică rolul lor este de a reduce incertitudinea cu privire la rezultatele probabile ale acțiunilor. Modelul HER explică creșterea suplimentară a activității observate în PMd prin actualizarea tranzitorie a reprezentărilor (a se vedea materialul suplimentar) la cel mai mic nivel al modelului atunci când stimuli succesivi impun răspunsuri diferite, în timp ce condițiile în care este necesar doar un singur răspuns nu implică o actualizare suplimentară (Fig. 2A, jos).

Codarea informațiilor în dlPFC. Datele simulate sunt incluse în casete cu două margini în tot manuscrisul. Pe măsură ce crește conținutul informațional al unui indiciu de context, calculat în Bits (axa X), crește activitatea în regiunile organizate ierarhic din dlPFC. Puterea predicțiilor de eroare menținute în dlPFC este proporțională cu conținutul de informații: cu cât un indiciu este mai informativ, cu atât mai mare va fi o eroare raportată fără informațiile furnizate de acel indiciu. (A) Modelul HER captează efectele informațiilor legate atât de natura stimulilor relevanți pentru sarcină (axele x), cât și de răspunsurile care pot fi necesare (axele y). Astfel, HER oferă o explicație complementară la modelul de cascadă de informații al PFC. (B) În Condiția de sarcină a lui Koechlin et al.24, se observă că activitatea de-a lungul dlPFC crește odată cu conținutul informațional al unui indiciu contextual. Cu toate acestea, aici activitatea în dlPFC caudal (panoul B, mijloc) prezintă o creștere suplimentară atunci când subiecții trebuie să treacă ocazional de la o sarcină la alta (vocală/consonantă, identificarea majusculelor/minusculelor). (C) Această creștere suplimentară legată de comutarea sarcinilor este explicată ca o creștere tranzitorie a activității în modelul HER atunci când natura sarcinii se schimbă (rândul din mijloc).

Simularea 2: Reprezentare învățată

În timp ce modelul HER este capabil să capteze o serie de rezultate legate de activitatea ansamblurilor de neuroni reflectată de semnalul BOLD (a se vedea materialul suplimentar), acesta postulează, de asemenea, o anumită schemă de reprezentare desfășurată în dlPFC. Și anume, unitățile individuale din modelul HER dlPFC codifică fiecare o componentă a unei predicții de eroare multidimensională. În plus față de captarea datelor legate de intensitatea activității observate în dlPFC, atunci, modelul HER ar trebui, de asemenea, să fie capabil să țină cont de datele legate de activitatea neuronilor individuali, precum și de tehnicile concepute pentru a decoda activitatea neuronală, cum ar fi MVPA.

Pentru a investiga dacă reprezentările de predicție a erorilor învățate de modelul HER sunt în concordanță cu cele observate la subiecții umani, am înregistrat activitatea modelului în timp ce acesta a efectuat sarcina de performanță continuă 1-2AX (Simulare 2, Fig. 3A). Ulterior, am clasificat reprezentările active în model în timpul perioadelor de sarcină în care modelului i-au fost prezentate variabile de context de nivel înalt și scăzut (a se vedea Metode online), dar înainte de a fi afișat un indiciu de țintă potențială. Această abordare este similară cu analizele de model multi-voxel raportate de Nee & Brown11. Clasificarea reprezentărilor modelului este în concordanță cu cea observată la subiecții umani (Fig. 3A): la cel mai mic nivel ierarhic, secvențele care pot culmina cu un răspuns țintă (1 A / 2B) și cele care cu siguranță nu vor culmina cu un răspuns țintă (1B / 2 A) sunt reprezentate într-un mod distinct (Fig. 3A, jos). Cu toate acestea, reprezentările se suprapun, de asemenea, parțial, astfel încât secvențele 1 A sunt parțial categorisite ca secvențe 2B, în timp ce secvențele 1B sunt parțial categorisite ca secvențe 2 A. La nivelul 2 al modelului HER, clasificarea fiecărei secvențe este mai decisivă, fiecare secvență unică (1 A/1B/2 A/2B) fiind decodificată fără ambiguitate (Fig. 3A, mijloc). Acest rezultat este asemănător cu datele umane, în care o regiune din mijlocul DlPFC prezintă o tendință de creștere a dovezilor pentru codificarea secvențelor unice. În cele din urmă, la cel de-al treilea nivel ierarhic (Fig. 3A, Sus), secvențele care încep cu 1 sau 2 sunt fiecare colapsate (adică, dovezi egale pentru 1 A și 1B), reflectând rolul DLPFC rostral în codificarea variabilelor de context de nivel înalt. Modelul HER explică confuzia unei secvențe țintă cu alta (1 A/2B) și a unei secvențe non-țintă cu alta (1B/2 A) la cel mai scăzut nivel ierarhic ca o consecință a activării crescute a unui răspuns prezis comun pentru ambele tipuri de secvențe – un răspuns țintă în prima condiție și un răspuns non-țintă în cea de-a doua condiție.

Reprezentări distribuite în PFC. Unitățile separate din modelul HER reprezintă componente ale unei predicții a erorilor multidimensionale, elaborate ierarhic, sugerând modul în care sarcinile cognitive pot fi reprezentate la nivel neural. (A) Stânga: MVPA asupra reprezentărilor de predicție a erorilor menținute de model în timpul efectuării CPT 1-2AX sunt în concordanță cu datele umane care arată că regiunile caudale ale lPFC codifică secvențe țintă potențiale, indiferent de contextul de ordin superior, în timp ce regiunile mai rostrale codifică variabile de context mai abstracte. Dreapta: Rezultatele MVPA umane, retipărite cu permisiunea lui Nee & Brown11. Rezultatele de clasificare a reprezentărilor modelului sunt, în mod natural, mai robuste decât analiza de model a datelor fMRI, deoarece este posibilă înregistrarea activării unităților din model cu o fidelitate perfectă, în timp ce semnalele BOLD sunt supuse zgomotului. Cu toate acestea, acuratețea clasificării pentru reprezentările modelului a fost semnificativ corelată cu acuratețea clasificării pentru datele umane atât la nivelul ierarhic 2/mid-DLPFC (r = 0,64, p = 0,0074), cât și la nivelul 1/cortexul premotor dorsal (r = 0,91, p < 0,001). (B) Unitățile de la nivelul 1 al modelului HER (stânga) arată activitatea legată de suprimarea și îmbunătățirea potrivirii în timp ce se efectuează o sarcină de potrivire întârziată la eșantion. Înainte de a observa un stimul țintă, activitatea în aceste unități reflectă probabilitatea egală de a observa un indiciu de potrivire sau de neîmperechere. În urma prezentării stimulului țintă, activitatea unităților care prezic apariția unui indiciu de potrivire este îmbunătățită, în timp ce activitatea unităților care nu prevăd potrivirea este suprimată, similar cu datele înregistrate din lPFC al maimuțelor (dreapta). Modelul HER prezice în continuare existența unităților care prezintă efecte de intensificare și suprimare a nepotrivirii. Retipărit cu permisiunea lui Miller et al.34.

Simularea 3: Neurofiziologia unității unice

Schema de reprezentare propusă de modelul HER sugerează că neuronii individuali din lPFC ar trebui să codifice pentru componentele unei reprezentări distribuite a erorilor, cu unități unice care semnalează identitatea și probabilitatea de a observa o anumită eroare. Modelul sugerează, de asemenea, că aceste semnale ar trebui să evolueze pe parcursul unui proces, pe măsură ce probabilitatea de a observa tipuri specifice de erori crește sau scade. Am înregistrat activitatea în model în timp ce acesta efectua o sarcină de potrivire întârziată la eșantionare (DMTS) (Simulare 3). În concordanță cu tipurile de unități observate înregistrate la maimuțele macaque34, au fost identificate unități în modelul HER cu activitate crescută în urma apariției unei sonde țintă care se potrivea cu eșantionul (intensificarea meciului; Fig. 3B), în timp ce au fost identificate unități distincte a căror activitate a scăzut în urma unei ținte potrivite (suprimarea meciului; Fig. 3B). Modelul HER contabilizează aceste două tipuri de neuroni ca modulație a predicțiilor privind răspunsurile posibile în urma prezentării unui indiciu țintă. Atunci când este prezentată o țintă care se potrivește, activitatea unităților care prezic un răspuns de „potrivire” crește (intensificare), în timp ce activitatea unităților care prezic un răspuns de „nepotrivire” scade (suprimare). Modelul HER sugerează, de asemenea, a priori, că ar trebui să fie observate tipuri suplimentare de neuroni în lPFC, și anume neuroni de îmbunătățire și de suprimare a nepotrivirii – neuroni a căror activitate reflectă probabilitatea crescută și, respectiv, diminuată de a da un răspuns de nepotrivire și de potrivire.

Simularea 4: Selectivitate mixtă

Un alt test al schemei de reprezentare a erorilor postulată de modelul HER este de a examina dacă reprezentările erorilor învățate de model pot explica diversitatea tipurilor de neuroni observate în mod obișnuit în studiile neurofiziologice cu o singură unitate. Neuronii unici din PFC prezintă în mod obișnuit o selectivitate mixtă35, răspunzând într-un mod eterogen la combinații de stimuli relevanți pentru sarcină. Pentru a investiga dacă unitățile din modelul HER prezintă selectivitate mixtă, am simulat modelul pe o variație a sarcinii DMTS36 în care probele de eșantion și țintă au fost precedate de un indiciu de regulă care indică dacă modelul ar trebui să dea un răspuns țintă la combinații de eșantion/țintă care se potrivesc (ca în DMTS obișnuit) sau dacă modelul ar trebui să dea un răspuns țintă la combinații de eșantion/țintă care nu se potrivesc. Activitatea modelului înregistrată de la nivelul 2 al ierarhiei HER relevă un grup de 6 unități a căror activitate a fost asociată în mod fiabil cu performanța sarcinii (Fig. 4). Două dintre aceste unități au răspuns exclusiv la indiciul de regulă – o unitate a fost activă în urma indicilor MATCHING și tăcută pentru indicii NON-MATCHING, în timp ce cealaltă a prezentat modelul opus. Unitățile rămase au prezentat modele complexe de activitate în condiții de regulă, modalitate și identitate a imaginii, în concordanță cu tipurile de neuroni observate în PFC-ul primatelor.

Selectivitate mixtă în modelul HER. Unitățile de la nivelul 2 al modelului HER prezintă modele complexe ca răspuns la stimuli. Răspunsurile unităților 1-4 arată interacțiuni între o regulă indicată și un eșantion de stimul prezentat în timpul unei sarcini DMTS, unele unități răspunzând preferențial, de exemplu, la combinații de reguli „Same” și „Picture 1”. Unități suplimentare din model (5 & 6) răspund numai la o regulă preferată: „Same” (Unitatea 6, panoul B) sau „Different” (Unitatea 5, panoul A). Combinația dintre unitățile specifice regulilor și unitățile de interacțiune regulăXcue reproduce constatări similare în LPFC la primate36.

Simularea 5: Bazele neuronale ale comportamentului în cortexul prefrontal

Pe lângă reproducerea efectelor din datele fMRI umane și din studiile de neurofiziologie cu o singură unitate la maimuță cu privire la natura reprezentărilor din PFC, modelul HER sugerează, de asemenea, modul în care aceste reprezentări pot influența tiparele de comportament. Pentru a investiga influența reprezentărilor organizate ierarhic asupra cursului temporal al comportamentelor învățate, am simulat modelul (Simularea 5, Fig. 5) pe o sarcină de estimare a probabilității ternare37 în care subiecților li s-a cerut să estimeze probabilitatea ca un stimul compus, variind de-a lungul a două dimensiuni de caracteristici, să aparțină fiecăreia dintre cele trei categorii. Simulările noastre diferă de sarcina originală prin faptul că, în experimentul uman, subiecților li s-a permis să aleagă eșantioane dintr-un spațiu problematic bidimensional, în timp ce în simulările noastre, modelului i s-au arătat eșantioane selectate aleatoriu. Cu toate acestea, comportamentul țintă atât al experimentului, cât și al simulărilor noastre a fost același, și anume judecăți de probabilitate a categoriilor. S-a constatat că subiecții umani au adoptat trei strategii diferite în judecățile lor de probabilitate corespunzătoare comportamentului lor de eșantionare (Fig. 5, rândul de jos): un grup (Least Certain, LC, stânga) a atribuit în mod constant probabilități aproape egale pentru fiecare categorie, un al doilea grup (Label Margin, LM, centru) a atribuit o probabilitate scăzută unei categorii și probabilități aproximativ egale celorlalte două, în timp ce ultimul grup (Most Certain, MC, dreapta) a atribuit o probabilitate ridicată unei categorii și probabilități scăzute celorlalte. Modele similare de comportament au fost observate în modelul HER în timpul experimentelor simulate în care rata de învățare a fost manipulată după cum urmează (Fig. 5, rândul de sus). Pentru simulările în care toată învățarea a fost dezactivată, estimările de probabilitate ale modelului au corespuns grupului LC. Atunci când învățarea a fost activată numai pentru cel mai mic nivel ierarhic, comportamentul modelului corespunde grupului LM, reflectând reprezentările învățate care permit modelului să excludă una dintre cele trei categorii, dar nu dispune de informațiile de ordin superior necesare pentru a face distincția între cele două categorii rămase. În cele din urmă, atunci când învățarea este activată pentru toate nivelurile, modelul învață rapid întreaga sarcină, ceea ce corespunde comportamentului grupului MC. În modelul HER, aceste comportamente sunt strâns legate de predicțiile erorilor învățate: modelul descompune o sarcină prin selectarea, la fiecare nivel ierarhic, a caracteristicii stimulului care reduce cel mai bine incertitudinea răspunsului. În acest din urmă caz, comportamentul modelului progresează rapid prin comportamentele asociate cu dezactivarea învățării în etape succesive: inițial, comportamentul modelului corespunde grupului LC, urmat de LM, înainte de a converge către o soluție la problema de estimare ternară, sugerând modul în care învățarea realistă poate necesita achiziția de asociații de nivel scăzut înainte de dezvoltarea unor reprezentări de nivel superior. Modelul HER oferă astfel o explicație a modului în care reprezentările neuronale dobândite în timpul învățării ar putea contribui la modelele de comportament – incapacitatea de a forma reprezentări de ordin superior nu numai că influențează judecățile de probabilitate, dar poate, în plus, să informeze eșantionarea autodirijată a informațiilor.

Conectarea reprezentărilor la comportament. Comportamentul modelului HER (sus) cu învățarea activată selectiv la zero (stânga), unu (centru) și toate nivelurile ierarhice (dreapta). Fiecare punct reprezintă o singură încercare. Estimarea de către model a probabilităților a trei categorii posibile se potrivește cu comportamentul a trei grupuri de subiecți umani cu diferite strategii de eșantionare a informațiilor (jos) în timpul unei sarcini de estimare a probabilităților ternare. Modelul HER oferă astfel o explicație a modului în care reprezentarea sarcinii la nivel de unități individuale contribuie la comportament. Retipărit cu permisiunea din37.

Simularea 6 & 7: Interacțiunea dintre mPFC și dlPFC

Modelul HER, fiind o extensie a modelului predicted response-outcome (PRO) al ACC/mPFC, captează deja o gamă largă de efecte observate în cadrul ACC7,25. Modelul HER se extinde dincolo de modelul PRO în două moduri critice: în primul rând, acesta specifică modul în care mPFC și dlPFC pot interacționa pentru a susține comportamente sofisticate și, în al doilea rând, sugerează o organizare ierarhică paralelă a mPFC în care regiuni ierarhice succesive raportează semnale de eroare din ce în ce mai abstracte. O astfel de organizare a mPFC a fost propusă anterior38,39 și, într-adevăr, au fost găsite dovezi care susțin un rol pentru mPFC în procesarea erorilor ierarhice27. Modelul HER este capabil să capteze modelul de activitate observat de Kim et al.26 (Simulare 6) pentru regiuni distincte atât din mPFC, cât și din dlPFC (Fig. 6A, coloana din mijloc). Modelul HER interpretează activitatea în regiunile organizate ierarhic din mPFC ca fiind discrepanța dintre rezultatele din ce în ce mai abstracte prezise și cele observate, în concordanță cu rolul mPFC în calculul erorilor propus de modelul PRO7,25 și complementar cu interpretarea lui Kim et al. Cu toate acestea, în timp ce noțiunea lor de semnale de eroare de ordin superior este specificată calitativ, erorile succesiv mai abstracte în modelul HER sunt un produs al predicțiilor cantitative la niveluri inferioare care sunt insuficiente pentru a explica observațiile unui subiect, în conformitate cu cadrul de codificare predictivă care informează structura modelului HER.

Interacțiuni ale mPFC și dlPFC, simulările 6 și 7. Modelul HER sugerează modul în care mPFC și dlPFC pot coopera pentru a minimiza eroarea de predicție prin transmiterea informațiilor privind eroarea și predicția de eroare prin niveluri ierarhice. (A) Simularea 6. Activitatea crescută în regiunile ierarhice paralele din modelul HER, asociate cu mPFC și dlPFC, este asociată cu erori (mPFC) și actualizări ale predicțiilor de eroare (dlPFC) la diferite niveluri de abstractizare, de la concret (nivelul 1, comutarea stimulilor) la abstract (nivelul 2, comutarea răspunsului; nivelul 3, comutarea contextului). (B) Simularea 7. Modularea mPFC de către predicțiile de eroare menținute în dlPFC este critică pentru contextualizarea predicțiilor privind rezultatul probabil al acțiunilor. Într-o sarcină de potrivire întârziată la eșantion, modelul HER surprinde corect eliminarea ERN în urma încercărilor corecte datorită menținerii informațiilor referitoare la indiciul de eșantionare. Cu toate acestea, atunci când modelul este lezat astfel încât informațiile menținute în mod normal în dlPFC nu mai sunt disponibile pentru mPFC, modelul produce un ERN la încercările corecte și la cele cu erori deopotrivă.

Dovezile suplimentare privind interacțiunea dintre mPFC și dlPFC provin din studii asupra pacienților cu leziuni ale dlPFC40. Într-o sarcină de potrivire întârziată cu eșantionul, se observă o negativitate legată de eroare (ERN) la subiecții cu leziuni la dlPFC atât pentru încercările corecte, cât și pentru cele incorecte (Fig. 6B, coloana din stânga). Modelul HER (Simularea 7, Fig. 6B) explică acest lucru ca fiind incapacitatea de a menține informațiile relevante de-a lungul unei perioade de întârziere pentru a modula predicțiile privind rezultatele probabile (Fig. 6B, coloana din dreapta). Fără aceste informații contextuale suplimentare disponibile în model, atât rezultatele corecte, cât și cele incorecte sunt surprinzătoare, ceea ce duce la o activitate crescută a mPFC într-o versiune lezată a modelului HER pe ambele tipuri de încercări.

.