Articles / 19 října, 2021

Funkce frontální kůry odvozená z hierarchického prediktivního kódování

Ukazujeme, jak model HER dokáže simulovat a vysvětlit řadu publikovaných empirických zjištění v dlPFC a mPFC. Níže uvedené výsledky nejsou v žádném případě vyčerpávající. Slouží ke zdůraznění hlavního bodu, že HER model PFC jako instance prediktivních kódovacích formulací je schopen autonomně se učit komplexní úkoly způsobem, který reprodukuje vzorce chování, neuropsychologické efekty a neuronální aktivitu měřenou pomocí fMRI, EEG, neurofyziologie jednotlivých jednotek pozorované při empirickém šetření. Podrobnosti o simulacích naleznete v doplňkovém materiálu spolu s popisem rovnic definujících model HER. Doplňkový materiál obsahuje také další simulace, které demonstrují další vysvětlující sílu modelu HER.

Simulace 1: kontext, pracovní paměť, & kontrola

Úloha dlPFC v pracovní paměti a reprezentaci struktury úkolů zůstává stále předmětem výzkumu. V posledních dvou desetiletích se četné studie fMRI zabývaly strukturou a funkcí dlPFC při různých hierarchických úlohách a nárocích na pracovní paměť. V práci Koechlina a spol.24 autoři zkoumali funkci dlPFC ve dvou úlohách při manipulaci s množstvím informací zprostředkovaných úkolově relevantními podněty. V jejich motorickém stavu bylo pozorováno, že aktivita v celém dlPFC – od oblastí označených PMd (dorzální premotorická kůra) až po rostrální dlPFC – monotónně narůstá s tím, jak se zvyšuje informační obsah kontextové narážky (obr. 2B). Další nárůst aktivity byl pozorován pouze v PMd, když subjekty musely provést dvě odpovědi namísto jedné. V simulaci 1 (obr. 2A,C) model HER vysvětluje obecný trend rostoucí aktivity v dlPFC jako rostoucí sílu reprezentací predikce chyb naučených modelem – více informací znamená více potenciálních chyb, které je třeba zohlednit. Souhrnná aktivita modelu pro každou podmínku koreluje se změnou signálu BOLD pozorovanou v údajích o lidech jak pro podmínku Motor (r = 0,70, p < 0,001), tak pro podmínku Úkol (r = 0,75, p < 0,001). Tento popis doplňuje model informační kaskády24 založený na formulacích teorie informace; v teorii informace je informace množství, o které se snižuje nejistota ohledně náhodné proměnné vzhledem k jiné proměnné. Chybové předpovědi naučené modelem HER se používají k modulaci předpovědí výsledků s cílem podpořit správné chování – to znamená, že jejich úlohou je snížit nejistotu ohledně pravděpodobných výsledků jednání. Model HER vysvětluje dodatečné zvýšení aktivity pozorované v PMd prostřednictvím přechodné aktualizace reprezentací (viz doplňkový materiál) na nejnižší úrovni modelu, když po sobě jdoucí podněty nařizují různé odpovědi, zatímco podmínky, při nichž je vyžadována pouze jedna odpověď, neznamenají dodatečnou aktualizaci (obr. 2A, dole).

Simulace 2: naučená reprezentace

Ačkoli je model HER schopen zachytit řadu výsledků souvisejících s aktivitou souborů neuronů odrážejících se v signálu BOLD (viz doplňkový materiál), předpokládá také určité reprezentační schéma nasazené v dlPFC. Konkrétně jednotlivé jednotky v modelu HER dlPFC každá kóduje složku vícerozměrné predikce chyby. Kromě zachycení údajů týkajících se síly aktivity pozorované v dlPFC by tedy model HER měl být také schopen zohlednit údaje týkající se aktivity jednotlivých neuronů, jakož i techniky určené k dekódování neuronální aktivity, jako je MVPA.

Abychom zjistili, zda reprezentace predikce chyb naučené modelem HER odpovídají reprezentacím pozorovaným u lidských subjektů, zaznamenávali jsme aktivitu modelu při provádění úlohy 1-2AX s kontinuálním výkonem (simulace 2, obr. 3A). Následně jsme klasifikovali aktivní reprezentace v modelu během období úlohy, kdy byly modelu zobrazeny kontextové proměnné vysoké a nízké úrovně (viz Online metody), ale před zobrazením potenciální cílové narážky. Tento přístup je podobný analýzám vícevoxelových vzorů, které uvádí Nee & Brown11. Klasifikace reprezentací modelu je v souladu s klasifikací pozorovanou u lidských subjektů (obr. 3A): na nejnižší hierarchické úrovni jsou odlišným způsobem reprezentovány sekvence, které mohou vyústit v cílovou odpověď (1 A/2B), a ty, které určitě nevyústí v cílovou odpověď (1B/2 A) (obr. 3A, dole). Reprezentace se však také částečně překrývají, takže sekvence 1 A jsou částečně kategorizovány jako sekvence 2B, zatímco sekvence 1B jsou částečně kategorizovány jako sekvence 2 A. Na úrovni 2 modelu HER je klasifikace jednotlivých sekvencí rozhodnější, přičemž každá jedinečná sekvence (1 A/1B/2 A/2B) je jednoznačně dekódována (obr. 3A, Uprostřed). Tento výsledek je podobný lidským údajům, v nichž oblast ve střední části DLPFC vykazuje trend ke zvýšené průkaznosti kódování jedinečných sekvencí. A konečně na třetí hierarchické úrovni (obr. 3A, nahoře) jsou sekvence začínající číslem 1 nebo 2 každá z nich zhroucena (tj. stejná evidence pro 1 A a 1B), což odráží úlohu rostrálního dlPFC při kódování kontextových proměnných vysoké úrovně. Model HER vysvětluje záměnu jedné cílové sekvence s jinou (1 A/2B) a jedné necílové sekvence s jinou (1B/2 A) na nejnižší hierarchické úrovni jako důsledek zvýšené aktivace předpokládané odpovědi společné pro oba typy sekvencí – cílové odpovědi v prvním stavu a necílové odpovědi ve druhém stavu.

Simulace 3: Neurofyziologie jednotlivých jednotek

Schéma reprezentace navržené modelem HER naznačuje, že jednotlivé neurony v lPFC by měly kódovat komponenty distribuované reprezentace chyb, přičemž jednotlivé jednotky signalizují identitu a pravděpodobnost pozorování určité chyby. Model dále naznačuje, že tyto signály by se měly v průběhu pokusu vyvíjet podle toho, jak se zvyšuje nebo snižuje pravděpodobnost pozorování konkrétních typů chyb. Zaznamenávali jsme aktivitu modelu při provádění úlohy DMTS (delayed match-to-sample) (simulace 3). V souladu s pozorovanými typy jednotek zaznamenanými u opic makaků34 byly v modelu HER identifikovány jednotky se zvýšenou aktivitou po výskytu cílové sondy, která se shodovala se vzorkem (match enhancement; obr. 3B), zatímco byly identifikovány odlišné jednotky, jejichž aktivita se snížila po výskytu shodného cíle (match suppression; obr. 3B). Model HER počítá s těmito dvěma typy neuronů jako s modulací předpovědí týkajících se možných odpovědí po prezentaci cílové narážky. Při prezentaci odpovídajícího cíle se aktivita jednotek předpovídajících „odpovídající“ odpověď zvyšuje (zesílení), zatímco aktivita jednotek předpovídajících „neodpovídající“ odpověď se snižuje (potlačení). Model HER dále a priori naznačuje, že v lPFC by měly být pozorovány další typy neuronů, a to neurony zesilující a potlačující neshodu – neurony, jejichž aktivita odráží zvýšenou a sníženou pravděpodobnost provedení neshodné, respektive shodné odpovědi.

Simulace 4: Smíšená selektivita

Dalším testem schématu reprezentace chyb postulovaného modelem HER je prozkoumat, zda reprezentace chyb naučené modelem mohou vysvětlit rozmanitost typů neuronů běžně pozorovaných v jednojednotkových neurofyziologických studiích. Jednotlivé neurony v PFC běžně vykazují smíšenou selektivitu35 a reagují heterogenním způsobem na kombinace podnětů relevantních pro daný úkol. Abychom zjistili, zda jednotky v modelu HER vykazují smíšenou selektivitu, simulovali jsme model na variantě úlohy DMTS36 , v níž sondám se vzorkem a cílem předcházelo pravidlové vodítko, které určovalo, zda má model reagovat na MATCHING kombinace vzorku a cíle (jako v obvyklém DMTS), nebo zda má model reagovat na NON-MATCHING kombinace vzorku a cíle. Aktivita modelu zaznamenaná z úrovně 2 hierarchie HER odhaluje shluk 6 jednotek, jejichž aktivita byla spolehlivě spojena s výkonem úlohy (obr. 4). Dvě z těchto jednotek reagovaly výhradně na pravidlové narážky – jedna jednotka byla aktivní po MATCHING narážkách a mlčela při NON-MATCHING narážkách, zatímco druhá vykazovala opačný vzorec. Zbývající jednotky vykazovaly komplexní vzorce aktivity napříč podmínkami pravidla, modality a identity obrázku, což odpovídá typům neuronů pozorovaným v PFC primátů.

Simulace 5: Neuronální základy chování v prefrontální kůře

Kromě reprodukce efektů z údajů lidské fMRI a neurofyziologických studií jednotlivých jednotek u opic týkajících se povahy reprezentací v PFC model HER také naznačuje, jak tyto reprezentace mohou ovlivňovat vzorce chování. Abychom prozkoumali vliv hierarchicky uspořádaných reprezentací na časový průběh naučeného chování, simulovali jsme model (Simulace 5, obr. 5) na ternární úloze odhadu pravděpodobnosti37 , v níž byly subjekty požádány, aby odhadly pravděpodobnost, že složený podnět, lišící se podél dvou dimenzí vlastností, patří do každé ze tří kategorií. Naše simulace se od původní úlohy liší tím, že v experimentu s lidmi si subjekty mohly vybírat vzorky z dvourozměrného problémového prostoru, zatímco v našich simulacích byly modelu ukázány náhodně vybrané vzorky. Nicméně cílové chování experimentu i našich simulací bylo stejné, a to pravděpodobnostní úsudky o kategoriích. Bylo zjištěno, že lidské subjekty při svých pravděpodobnostních úsudcích uplatňují tři různé strategie odpovídající jejich chování při výběru vzorků (obr. 5, spodní řádek): jedna skupina (Least Certain, LC, vlevo) důsledně přiřazovala téměř stejné pravděpodobnosti pro každou kategorii, druhá skupina (Label Margin, LM, uprostřed) přiřazovala nízkou pravděpodobnost jedné kategorii a přibližně stejné pravděpodobnosti dalším dvěma, zatímco poslední skupina (Most Certain, MC, vpravo) přiřazovala vysokou pravděpodobnost jedné kategorii a nízké pravděpodobnosti ostatním. Podobné vzorce chování byly pozorovány v modelu HER během simulovaných experimentů, v nichž byla míra učení manipulována následujícím způsobem (obr. 5, horní řádek). U simulací, v nichž bylo veškeré učení zakázáno, odpovídaly odhady pravděpodobnosti modelu skupině LC. Když bylo učení povoleno pouze pro nejnižší hierarchickou úroveň, chování modelu odpovídalo skupině LM, což odráží naučené reprezentace, které modelu umožňují vyloučit jednu ze tří kategorií, ale chybí mu informace vyššího řádu potřebné k rozlišení zbývajících dvou. A konečně, když je učení povoleno pro všechny úrovně, model se rychle naučí celou úlohu, což odpovídá chování skupiny MC. V modelu HER je toto chování úzce spojeno s naučenými chybovými předpověďmi: model rozkládá úlohu tak, že na každé hierarchické úrovni vybírá podnětovou vlastnost, která nejlépe snižuje nejistotu odpovědi. V tomto druhém případě chování modelu rychle postupuje přes chování spojené s vypínáním učení v postupných fázích: zpočátku chování modelu odpovídá skupině LC, následuje LM, než konverguje k řešení problému ternárního odhadu, což naznačuje, jak realistické učení může vyžadovat získání asociací na nízké úrovni před vývojem reprezentací na vyšší úrovni. Model HER tak poskytuje popis toho, jak mohou nervové reprezentace získané během učení přispívat ke vzorcům chování – neschopnost vytvářet reprezentace vyššího řádu nejen ovlivňuje pravděpodobnostní úsudky, ale může navíc informovat o samovolném výběru informací.

Simulace 6 & 7: Interakce mPFC a dlPFC

Model HER, který je rozšířením modelu predikované odpovědi a výsledku (PRO) ACC/mPFC, již zachycuje širokou škálu efektů pozorovaných v rámci ACC7,25 . Model HER přesahuje model PRO dvěma kritickými způsoby: zaprvé specifikuje, jak mohou mPFC a dlPFC interagovat, aby podporovaly sofistikované chování, a zadruhé navrhuje paralelní hierarchickou organizaci mPFC, v níž po sobě jdoucí hierarchické oblasti hlásí stále abstraktnější chybové signály. Taková organizace mPFC byla navržena již dříve38,39 a skutečně byly nalezeny důkazy, které podporují roli mPFC při zpracování hierarchických chyb27. Model HER je schopen zachytit vzorec aktivity pozorovaný Kimem a spol.26 (simulace 6) pro odlišné oblasti mPFC i dlPFC (obr. 6A, prostřední sloupec). Model HER interpretuje aktivitu v hierarchicky organizovaných oblastech mPFC jako nesoulad mezi stále abstraktnějšími předpovídanými a pozorovanými výsledky, což je v souladu s úlohou mPFC při výpočtu chyb navrženou modelem PRO7,25 a doplňuje interpretaci Kim et al. Zatímco však jejich pojem chybových signálů vyššího řádu je specifikován kvalitativně, postupně abstraktnější chyby v modelu HER jsou produktem kvantitativních předpovědí na nižších úrovních, které nejsou dostatečné k vysvětlení pozorování subjektu, v souladu s rámcem prediktivního kódování, který informuje strukturu modelu HER.

Další důkazy týkající se interakce mPFC a dlPFC pocházejí ze studií pacientů s lézí dlPFC40. V úloze zpožděné shody se vzorkem je u subjektů s lézí dlPFC pozorována negativita související s chybou (ERN), a to jak u správných, tak u nesprávných pokusů (obr. 6B, levý sloupec). Model HER (simulace 7, obr. 6B) to vysvětluje jako neschopnost udržet relevantní informace po dobu zpoždění, aby bylo možné modulovat předpovědi týkající se pravděpodobných výsledků (obr. 6B, pravý sloupec). Bez těchto dodatečných kontextových informací, které jsou v modelu k dispozici, jsou správné i nesprávné výsledky překvapivé, což má za následek zvýšenou aktivitu mPFC v lézionované verzi modelu HER u obou typů pokusů

Universe