Frontális kéreg funkciója a hierarchikus prediktív kódolás alapján

Mutatjuk, hogy a HER modell hogyan képes szimulálni és magyarázni a dlPFC és mPFC számos publikált empirikus eredményét. Az alább közölt eredmények korántsem teljes körűek. Arra szolgálnak, hogy hangsúlyozzák a fő pontot, hogy a PFC HER-modellje, mint a prediktív kódolási formulák egy példánya, képes önállóan megtanulni komplex feladatokat oly módon, hogy reprodukálja az empirikus vizsgálatokban megfigyelt viselkedési mintákat, neuropszichológiai hatásokat és az fMRI-vel, EEG-vel, egy egységnyi neurofiziológiával mért neurális aktivitást. A szimulációk részletei a kiegészítő anyagban találhatók, a HER-modellt meghatározó egyenletek leírásával együtt. A kiegészítő anyag további szimulációkat is tartalmaz, amelyek a HER-modell további magyarázó erejét mutatják be.

Szimuláció 1: Kontextus, munkamemória, & kontroll

A dlPFC szerepe a munkamemóriában és a feladatstruktúra reprezentációjában továbbra is folyamatos kutatási kérdés. Az elmúlt két évtizedben számos fMRI-vizsgálat vizsgálta a dlPFC szerkezetét és működését különböző hierarchikus feladat- és munkamemória-igények mellett. A Koechlin et al.24 szerzői két feladatban vizsgálták a dlPFC működését, miközben manipulálták a feladat szempontjából releváns ingerek által közvetített információ mennyiségét. Motoros állapotukban az aktivitás az egész dlPFC-ben – a PMd (dorzális premotoros kéreg) jelzett területektől a rostrális dlPFC-ig – monoton módon növekedett, ahogy a kontextuális jelző információtartalma nőtt (2B ábra). Az aktivitás további növekedése csak a PMd-ben volt megfigyelhető, amikor a kísérleti személyeknek egyetlen válasz helyett két választ kellett adniuk. Az 1. szimulációban (2A, C ábra) a HER-modell a dlPFC-ben növekvő aktivitás általános tendenciáját a modell által tanult hibaelőrejelző reprezentációk növekvő erősségével magyarázza – a több információ több potenciális hibát jelent, amelyeket figyelembe kell venni. Az egyes feltételek összesített modellaktivitása korrelál az emberi adatokban megfigyelt BOLD jelváltozással mind a Motor feltétel (r = 0,70, p < 0,001), mind a Task feltétel (r = 0,75, p < 0,001) esetében. Ez a beszámoló kiegészíti az információelméleti megfogalmazásokon alapuló információs kaszkád modellt24; az információelméletben az információ az a mennyiség, amellyel egy véletlen változóval kapcsolatos bizonytalanság csökken egy másik változóra tekintettel. A HER-modell által tanult hibajóslatok a helyes viselkedés támogatása érdekében az eredményjóslatok modulálására szolgálnak – vagyis szerepük a cselekvések valószínű kimenetelével kapcsolatos bizonytalanság csökkentése. A HER-modell magyarázza a PMd-ben megfigyelt további aktivitásnövekedést a reprezentációk átmeneti frissítésével (lásd kiegészítő anyag) a legalacsonyabb modellszinten, amikor az egymást követő ingerek különböző válaszokat írnak elő, míg azok a feltételek, amelyekben csak egyetlen válasz szükséges, nem járnak további frissítéssel (ábra. 2A, alul).

Információk kódolása a dlPFC-ben. A szimulált adatokat a kéziratban végig kettős keretes dobozokba zártuk. Ahogy a kontextusjelzés információtartalma növekszik, bitekben számolva (X tengely), az aktivitás a dlPFC hierarchikusan szervezett régióiban növekszik. A dlPFC-ben fenntartott hibajelzések erőssége arányos az információtartalommal: minél informatívabb egy jelző, annál nagyobb lesz a bejelentett hiba az adott jelző által szolgáltatott információ nélkül. (A) A HER-modell a feladat szempontjából releváns ingerek természetével (x tengelyek), valamint az esetlegesen szükséges válaszokkal (y tengelyek) kapcsolatos információk hatásait ragadja meg. A HER így a PFC információs kaszkádmodelljét kiegészítő beszámolót nyújt. (B) A Koechlin et al.24 feladatállapotában a dlPFC-n keresztüli aktivitás a kontextuális jelző információtartalmának növekedését figyelték meg. Itt azonban a caudalis dlPFC (B panel, középső) aktivitása további növekedést mutat, amikor a kísérleti személyeknek időnként két feladat között kell váltaniuk (magánhangzó/mássalhangzó, nagy/kisbetű azonosítása). (C) Ezt a feladatváltáshoz kapcsolódó további növekedést a HER-modellben az aktivitás átmeneti növekedéseként számoljuk el, amikor a feladat jellege megváltozik (középső sor).

Szimuláció 2: Tanult reprezentáció

Míg a HER-modell képes a BOLD-jel által tükröződő neuronegyüttesek aktivitásával kapcsolatos eredmények egész sorát megragadni (lásd kiegészítő anyag), a dlPFC-ben alkalmazott különleges reprezentációs sémát is feltételez. Nevezetesen, a HER modell dlPFC egyes egységei egy többdimenziós hibaelőrejelzés egy-egy komponensét kódolják. A dlPFC-ben megfigyelt aktivitás erősségével kapcsolatos adatok rögzítése mellett tehát a HER modellnek képesnek kell lennie arra is, hogy az egyes neuronok aktivitásával kapcsolatos adatokat, valamint az olyan neurális aktivitás dekódolására tervezett technikákat, mint például az MVPA, figyelembe vegye.

Annak vizsgálatára, hogy a HER modell által tanult hibaelőrejelzési reprezentációk összhangban vannak-e az emberi alanyoknál megfigyeltekkel, rögzítettük a modell aktivitását, miközben az 1-2AX folyamatos teljesítményfeladatot hajtott végre (2. szimuláció, 3A ábra). Ezt követően osztályoztuk a modell aktív reprezentációit a feladat azon időszakaiban, amikor a modellnek magas és alacsony szintű kontextusváltozókat mutattak (lásd Online módszerek), de a potenciális céljelzés megjelenése előtt. Ez a megközelítés hasonló a Nee & Brown11 által bejelentett többvoxeles mintaelemzésekhez. A modellreprezentációk osztályozása összhangban van az emberi alanyoknál megfigyelt osztályozással (3A ábra): a legalacsonyabb hierarchikus szinten a célválaszban tetőző szekvenciák (1 A / 2B) és azok, amelyek biztosan nem fognak célválaszban tetőzni (1B / 2 A), különböző módon reprezentálódnak (3A ábra, alul). A reprezentációk azonban részben átfedik egymást, így az 1 A szekvenciák részben 2B szekvenciáknak, míg az 1B szekvenciák részben 2 A szekvenciáknak minősülnek. A HER-modell 2. szintjén az egyes szekvenciák osztályozása határozottabb, minden egyes egyedi szekvencia (1 A/1B/2 A/2B) egyértelműen dekódolható (3A. ábra, középső). Ez az eredmény hasonló az emberi adatokhoz, amelyekben a középső dlPFC-ben lévő régió tendenciaszerűen az egyedi szekvencia kódolásának fokozott bizonyítékát mutatja. Végül, a harmadik hierarchikus szinten (3A. ábra, Felső) az 1-gyel vagy 2-vel kezdődő szekvenciák mindegyike összeomlik (azaz egyenlő bizonyíték az 1 A és 1B számára), ami tükrözi a rostrális dlPFC szerepét a magas szintű kontextusváltozók kódolásában. A HER-modell az egyik célszekvencia összekeverését egy másikkal (1 A/2B) és az egyik nem célszekvencia összekeverését egy másikkal (1B/2 A) a legalacsonyabb hierarchikus szinten a mindkét típusú szekvenciára közös, előre jelzett válasz fokozott aktiválódásának következményeként magyarázza – az első feltételben egy célválasz, az utóbbiban pedig egy nem célválasz.

Distributed Representations in PFC. A HER-modell különálló egységei egy hierarchikusan kidolgozott, többdimenziós hibaelőrejelzés komponenseit reprezentálják, ami arra utal, hogy a kognitív feladatok neurálisan hogyan reprezentálhatók. (A) Balra: Az 1-2AX CPT végrehajtása során a modell által fenntartott hibaelőrejelzési reprezentációk MVPA-ja összhangban van az emberi adatokkal, amelyek azt mutatják, hogy az lPFC caudális régiói a magasabb rendű kontextustól függetlenül kódolják a potenciális célszekvenciákat, míg a rostrálisabb régiók absztraktabb kontextusváltozókat kódolnak. Jobbra: Emberi MVPA eredmények, a Nee & Brown11 engedélyével újranyomtatva. A modellreprezentációk osztályozási eredményei természetesen robusztusabbak, mint az fMRI-adatok mintaelemzése, mivel a modellben lévő egységek aktivációját tökéletes hűséggel lehet rögzíteni, míg a BOLD jelek zajnak vannak kitéve. Mindazonáltal a modellreprezentációk osztályozási pontossága szignifikánsan korrelált az emberi adatok osztályozási pontosságával mind a hierarchikus 2. szinten / középső DLPFC (r = 0,64, p = 0,0074), mind az 1. szinten / hátsó premotoros kéreg (r = 0,91, p < 0,001). (B) A HER-modell 1. szintjének egységei (balra) a késleltetett párosítás-minta feladat végrehajtása közben a párosítás elnyomásával és fokozásával kapcsolatos aktivitást mutatnak. A célinger megfigyelése előtt az aktivitás ezekben az egységekben azt tükrözi, hogy egyenlő valószínűséggel figyelhetünk meg egy megfelelő vagy nem megfelelő jelzést. A célinger bemutatását követően a találatot előrejelző egységek aktivitása fokozódik, míg a nem találatot előrejelző egységek aktivitása elnyomódik, hasonlóan a majom lPFC-ből rögzített adatokhoz (jobbra). A HER-modell továbbá megjósolja a nem egyezés fokozását és elnyomását mutató egységek létezését. Reprinted by permission by Miller et al.34.

Szimuláció 3: Single-Unit neurofiziológia

A HER-modell által javasolt reprezentációs séma azt sugallja, hogy az lPFC egyes neuronjainak egy elosztott hibareprezentáció összetevőit kell kódolniuk, ahol az egyes egységek jelzik egy adott hiba megfigyelésének azonosságát és valószínűségét. A modell továbbá azt sugallja, hogy ezeknek a jelzéseknek a kísérlet során fejlődniük kell, ahogy a meghatározott típusú hibák megfigyelésének valószínűsége nő vagy csökken. Felvettük a modell aktivitását, miközben az egy késleltetett minta-illesztési feladatot (DMTS) hajtott végre (3. szimuláció). A makákó majmoknál34 rögzített megfigyelt egységtípusokkal összhangban a HER-modellben olyan egységeket azonosítottunk, amelyek aktivitása megnövekedett a mintával megegyező célszonda megjelenését követően (match enhancement; 3B ábra), míg különálló egységeket azonosítottunk, amelyek aktivitása csökkent az egyező célpontot követően (match suppression; 3B ábra). A HER-modell a neuronok e két típusát a lehetséges válaszokra vonatkozó előrejelzések modulációjaként számolja el a céljelzés bemutatását követően. A megfelelő célpont bemutatásakor a “megfelelő” választ előrejelző egységek aktivitása növekszik (erősödés), míg a “nem megfelelő” választ előrejelző egységek aktivitása csökken (szuppresszió). A HER-modell továbbá a priori azt sugallja, hogy az lPFC-ben további neuron-típusokat kell megfigyelni, nevezetesen a mismatch enhancement és suppression neuronokat – olyan neuronokat, amelyek aktivitása a nem-illeszkedő, illetve az illeszkedő válasz megnövekedett, illetve csökkent valószínűségét tükrözi.

4. szimuláció: Vegyes szelektivitás

A HER-modell által posztulált hibareprezentációs séma további tesztje annak vizsgálata, hogy a modell által megtanult hibareprezentációk képesek-e megmagyarázni az egy egységből álló neurofiziológiai vizsgálatokban általában megfigyelhető neurontípusok sokféleségét. A PFC egyes neuronjai rutinszerűen vegyes szelektivitást mutatnak35 , heterogén módon reagálva a feladat szempontjából releváns ingerek kombinációira. Annak vizsgálatára, hogy a HER modell egységei mutatnak-e vegyes szelektivitást, szimuláltuk a modellt a DMTS feladat36 egy variációján, amelyben a minta- és célszondák előtt egy szabályjelzés volt, amely jelezte, hogy a modellnek célválaszt kell-e adnia a PÁROS minta/cél kombinációkra (mint a szokásos DMTS-ben), vagy a modellnek célválaszt kell adnia a NEM PÁROS minta/cél kombinációkra. A HER-hierarchia 2. szintjén rögzített modellaktivitás egy 6 egységből álló klasztert mutat, amelynek aktivitása megbízhatóan összefüggött a feladatteljesítménnyel (4. ábra). Ezen egységek közül kettő kizárólag a szabályjelzésre reagált – az egyik egység aktív volt a MATCHING jelzésekre, és néma volt a NON-MATCHING jelzésekre, míg a másik egység az ellenkező mintát mutatta. A többi egység összetett aktivitási mintázatot mutatott a szabály, a modalitás és a képazonosság feltételei között, összhangban a főemlős PFC-ben megfigyelt neuron típusokkal.

Keveredett szelektivitás a HER modellben. A HER-modell 2. szintjéről származó egységek komplex mintázatot mutatnak az ingerekre adott válaszként. Az 1-4. egységek válaszai kölcsönhatásokat mutatnak egy DMTS feladat során bemutatott cued szabály és egy minta inger között, egyes egységek preferenciálisan reagálnak például az “Ugyanaz” szabály és az “1. kép” kombinációira. A modell további egységei (5 & 6) kizárólag egy preferált szabályra reagálnak: “Ugyanaz” (6. egység, B panel) vagy “Más” (5. egység, A panel). A szabályspecifikus és szabályXcue interakciós egységek kombinációja megismétli a főemlősök LPFC-jében talált hasonló eredményeket36.

Szimuláció 5: A viselkedés neurális alapjai a prefrontális kéregben

Amellett, hogy a HER-modell reprodukálja az emberi fMRI-adatokból és a majmokon végzett egy-egységes neurofiziológiai vizsgálatokból származó hatásokat a PFC-ben lévő reprezentációk természetére vonatkozóan, arra is utal, hogy ezek a reprezentációk hogyan befolyásolhatják a viselkedési mintákat. Annak érdekében, hogy megvizsgáljuk a hierarchikusan szervezett reprezentációk hatását a tanult viselkedések időbeli lefolyására, szimuláltuk a modellt (5. szimuláció, 5. ábra) egy terner valószínűségbecslési feladattal37 , amelyben a kísérleti személyeknek meg kellett becsülniük annak valószínűségét, hogy egy két jellemző dimenzió mentén változó összetett inger három kategória mindegyikébe tartozik. Szimulációink abban különböznek az eredeti feladattól, hogy az emberkísérletben az alanyok egy kétdimenziós problématérből választhattak mintákat, míg szimulációinkban a modellnek véletlenszerűen kiválasztott mintákat mutattunk. Ennek ellenére mind a kísérlet, mind a szimulációnk célzott viselkedése ugyanaz volt, nevezetesen a kategóriák valószínűségi megítélése. Az emberi alanyok a mintavételi viselkedésüknek megfelelően három különböző stratégiát alkalmaztak valószínűségi ítéleteikben (5. ábra, alsó sor): az egyik csoport (Least Certain, LC, balra) következetesen közel azonos valószínűségeket rendelt minden kategóriához, egy második csoport (Label Margin, LM, középen) alacsony valószínűséget rendelt az egyik kategóriához és közel azonos valószínűséget a másik kettőhöz, míg az utolsó csoport (Most Certain, MC, jobbra) magas valószínűséget rendelt az egyik kategóriához és alacsony valószínűséget a többihez. Hasonló viselkedési mintázatokat figyeltünk meg a HER-modellben olyan szimulált kísérletek során, amelyekben a tanulási sebességet a következőképpen manipuláltuk (5. ábra, felső sor). Az olyan szimulációk esetében, amelyekben minden tanulás le volt tiltva, a modell valószínűségi becslései megfeleltek az LC csoportnak. Amikor a tanulást csak a legalsó hierarchikus szintre engedélyezték, a modell viselkedése az LM csoportnak felelt meg, ami olyan tanult reprezentációkat tükröz, amelyek lehetővé teszik a modell számára, hogy a három kategória egyikét kizárja, de hiányzik a fennmaradó két kategória megkülönböztetéséhez szükséges magasabb rendű információ. Végül, ha a tanulás minden szinten engedélyezve van, a modell gyorsan megtanulja a teljes feladatot, ami megfelel az MC csoport viselkedésének. A HER-modellben ezek a viselkedések szorosan kapcsolódnak a tanult hibajóslatokhoz: a modell úgy bontja fel a feladatot, hogy minden hierarchikus szinten kiválasztja azt az ingerjellemzőt, amely a legjobban csökkenti a válasz bizonytalanságát. Ez utóbbi esetben a modell viselkedése gyorsan halad az egymást követő szakaszokban a tanulás letiltásával kapcsolatos viselkedéseken keresztül: kezdetben a modell viselkedése megfelel az LC csoportnak, majd az LM-nek, mielőtt a terner becslési probléma megoldásához konvergál, ami arra utal, hogy a reális tanulás megkövetelheti az alacsony szintű asszociációk elsajátítását a magasabb szintű reprezentációk kifejlesztése előtt. A HER-modell így beszámol arról, hogy a tanulás során szerzett neurális reprezentációk hogyan járulhatnak hozzá a viselkedésmintákhoz – a magasabb rendű reprezentációk kialakításának képtelensége nemcsak a valószínűségi ítéleteket befolyásolja, hanem emellett az információk önirányított mintavételét is informálhatja.

Reprezentációk és viselkedés összekapcsolása. A HER-modell viselkedése (fent) a nulladik (balra), az első (középen) és az összes (jobbra) hierarchikus szinten szelektíven engedélyezett tanulással. Minden pont egyetlen kísérletet jelöl. A modell becslése a három lehetséges kategória valószínűségére vonatkozóan megegyezik az emberi alanyok három csoportjának viselkedésével, különböző információmintavételi stratégiákkal (alul) egy terner valószínűségbecslési feladat során. A HER-modell tehát beszámol arról, hogy a feladat reprezentációja az egyes egységek szintjén hogyan járul hozzá a viselkedéshez. Újranyomtatva a37 engedélyével.

Szimuláció 6 & 7: Az mPFC és a dlPFC kölcsönhatása

A HER-modell, amely az ACC/mPFC előre jelzett válasz-eredmény (PRO) modelljének kiterjesztése, már az ACC-ben megfigyelt hatások széles körét ragadja meg7,25. A HER-modell két kritikus módon túlmutat a PRO-modellen: először is, meghatározza, hogy az mPFC és a dlPFC hogyan léphet kölcsönhatásba a kifinomult viselkedések támogatása érdekében, és másodszor, az mPFC párhuzamos hierarchikus szerveződését javasolja, amelyben az egymást követő hierarchikus régiók egyre absztraktabb hibajeleket jelentenek. Az mPFC ilyen szerveződését már korábban is javasolták38,39, és valóban találtak olyan bizonyítékokat, amelyek alátámasztják az mPFC szerepét a hierarchikus hibák feldolgozásában27. A HER-modell képes megragadni a Kim és munkatársai által megfigyelt aktivitási mintázatot26 (6. szimuláció) mind az mPFC, mind a dlPFC különböző régióira vonatkozóan (6A. ábra, középső oszlop). A HER-modell az mPFC hierarchikusan szervezett régióinak aktivitását az egyre absztraktabb előre jelzett és a megfigyelt eredmények közötti eltérésként értelmezi, ami összhangban van az mPFC-nek a PRO-modell által javasolt hibaszámításban betöltött szerepével7,25, és kiegészíti a Kim et al. értelmezését. Míg azonban a magasabb rendű hibajelek fogalmát minőségileg határozzák meg, a HER-modellben az egymást követő absztraktabb hibák olyan alacsonyabb szintű kvantitatív előrejelzések termékei, amelyek nem elegendőek az alany megfigyeléseinek magyarázatához, összhangban a HER-modell szerkezetét informáló prediktív kódolási keretrendszerrel.

A mPFC és a dlPFC kölcsönhatásai, 6. és 7. szimuláció. A HER modell azt sugallja, hogy az mPFC és a dlPFC hogyan működhet együtt az előrejelzési hiba minimalizálása érdekében azáltal, hogy a hiba és a hiba előrejelzésére vonatkozó információkat hierarchikus szinteken keresztül továbbítja. (A) 6. szimuláció. A HER-modellben az mPFC-hez és a dlPFC-hez kapcsolódó párhuzamos hierarchikus régiók fokozott aktivitása a hibákhoz (mPFC) és a hibaelőrejelzések frissítéséhez (dlPFC) kapcsolódik az absztrakció különböző szintjein, a konkrét (1. szint, ingerületváltás) és az absztrakt (2. szint, válaszváltás; 3. szint, kontextusváltás) között. (B) 7. szimuláció. Az mPFC modulációja a dlPFC-ben fenntartott hibajóslatok által kritikus fontosságú a cselekvések valószínű kimenetelére vonatkozó előrejelzések kontextualizálásához. Egy késleltetett minta-feladatban a HER-modell helyesen ragadja meg az ERN-nek a helyes próbákat követő kiküszöbölését a mintajelzésre vonatkozó információk fenntartása miatt. Ha azonban a modell úgy sérül, hogy a dlPFC-ben normálisan fenntartott információ már nem áll az mPFC rendelkezésére, a modell a helyes és hibás próbákra egyaránt ERN-t produkál.

Az mPFC és a dlPFC kölcsönhatására vonatkozó további bizonyítékok a dlPFC sérülésében szenvedő betegeken végzett vizsgálatokból származnak40. A késleltetett mintaillesztési feladatban a dlPFC lézióval rendelkező alanyoknál hibával kapcsolatos negativitás (ERN) figyelhető meg mind a helyes, mind a helytelen próbák esetében (6B ábra, bal oldali oszlop). A HER-modell (7. szimuláció, 6B ábra) ezt azzal magyarázza, hogy a késleltetési időszak alatt nem képesek fenntartani a releváns információkat a valószínű kimenetelre vonatkozó előrejelzések modulálása érdekében (6B ábra, jobb oszlop). E modellben rendelkezésre álló további kontextuális információ nélkül mind a helyes, mind a helytelen eredmények meglepőek, ami a HER-modell sérült változatában mindkét próbatípusnál megnövekedett mPFC-aktivitást eredményez.