Frontal cortex function as derived from hierarchical predictive coding
Tässä näytämme, miten HER-malli voi simuloida ja selittää erilaisia julkaistuja empiirisiä havaintoja dlPFC:ssä ja mPFC:ssä. Jäljempänä raportoidut tulokset eivät suinkaan ole tyhjentäviä. Niiden tarkoituksena on korostaa pääkohtaa, jonka mukaan PFC: n HER-malli, ennakoivien koodausmuotoilujen esimerkkinä, pystyy itsenäisesti oppimaan monimutkaisia tehtäviä tavalla, joka toistaa käyttäytymismalleja, neuropsykologisia vaikutuksia ja neuraalista aktiivisuutta mitattuna fMRI: llä, EEG: llä, yksittäisen yksikön neurofysiologialla, joka on havaittu empiirisessä tutkimuksessa. Yksityiskohdat simulaatioista löytyvät lisäaineistosta, samoin kuin HER-mallin määrittelevien yhtälöiden kuvaus. Lisämateriaali sisältää myös muita simulaatioita, jotka osoittavat enemmän HER-mallin selitysvoimaa.
Simulaatio 1: Konteksti, työmuisti, & kontrolli
DlPFC:n rooli työmuistissa ja tehtävän rakenteen esittämisessä on edelleen jatkuva tutkimuskysymys. Viimeisten kahden vuosikymmenen aikana lukuisissa fMRI-tutkimuksissa on tutkittu dlPFC:n rakennetta ja toimintaa erilaisissa hierarkkisissa tehtävä- ja työmuistivaatimuksissa. Koechlin et al. 24:ssä kirjoittajat tutkivat dlPFC:n toimintaa kahdessa tehtävässä samalla kun he manipuloivat tehtävän kannalta merkityksellisten ärsykkeiden välittämän tiedon määrää. Heidän motorisessa tilassaan aktiivisuuden koko dlPFC: ssä – alueilta, jotka on merkitty PMd: llä (dorsaalinen premotorinen aivokuori) rostraaliseen dlPFC: hen – havaittiin lisääntyvän monotonisesti, kun kontekstuaalisen vihjeen tietosisältö kasvoi (Kuva 2B). Aktiivisuuden lisäkasvua havaittiin vain PMd:ssä, kun koehenkilöiltä vaadittiin yhden vastauksen sijasta kahta vastausta. Simulaatiossa 1 (Kuva 2A, C) HER-malli selittää yleisen trendin, jonka mukaan aktiivisuus kasvaa dlPFC: ssä, kun mallin oppimien virheiden ennusteiden representaatioiden voimakkuus kasvaa – enemmän tietoa tarkoittaa enemmän mahdollisia virheitä, jotka on otettava huomioon. Yhteenvetomallin aktiivisuus kussakin tilassa korreloi BOLD-signaalin muutoksen kanssa, joka havaittiin ihmisten tiedoissa sekä Motor-olosuhteissa (r = 0.70, p < 0.001) että Task-olosuhteissa (r = 0.75, p < 0.001). Tämä tili täydentää informaatioteoreettisiin muotoiluihin perustuvaa informaatiokaskadimallia24; informaatioteoriassa informaatio on määrä, jolla epävarmuus satunnaismuuttujasta vähenee, kun otetaan huomioon toinen muuttuja. HER-mallin oppimia virheennusteita käytetään muokkaamaan lopputulosennusteita oikean käyttäytymisen tukemiseksi – toisin sanoen niiden tehtävänä on vähentää epävarmuutta toimien todennäköisistä lopputuloksista. HER-malli selittää PMd: ssä havaitun aktiivisuuden lisäkasvun representaatioiden ohimenevän päivittämisen kautta (ks. lisämateriaali) alimmalla mallitasolla, kun peräkkäiset ärsykkeet edellyttävät erilaisia vastauksia, kun taas olosuhteet, joissa vaaditaan vain yhtä vastausta, eivät aiheuta lisäpäivitystä (kuva. 2A, pohja).
Simulaatio 2: Opittu edustus
Vaikka HER-malli kykenee vangitsemaan erilaisia tuloksia, jotka liittyvät BOLD-signaalin heijastamien neuronien kokonaisuuksien aktiivisuuteen (ks. lisämateriaali), se myös esittää tietyn edustusjärjestelmän, joka on käytössä dlPFC: ssä. Nimittäin yksittäiset yksiköt HER-mallin dlPFC:ssä koodaavat kukin moniulotteisen virheennusteen komponenttia. Sen lisäksi, että HER-mallin pitäisi siis kaapata tietoja, jotka liittyvät dlPFC: ssä havaitun aktiivisuuden voimakkuuteen, HER-mallin pitäisi myös pystyä ottamaan huomioon tiedot, jotka liittyvät yksittäisten neuronien aktiivisuuteen sekä tekniikoihin, jotka on suunniteltu dekoodaamaan neuraalista aktiivisuutta, kuten MVPA: ta.
Tutkiaksemme, ovatko HER-mallin oppimat virheiden ennusteiden representaatiot johdonmukaisia ihmishenkilöillä havaittujen representaatioiden kanssa, nauhoitimme aktiivisuutta mallista, kun se suoritti jatkuvan suorituskyvyn 1-2AX-tehtävän (simulaatio 2, kuva 3A). Tämän jälkeen luokittelimme mallin aktiiviset edustukset tehtävän jaksojen aikana, jolloin mallille oli näytetty korkean ja matalan tason kontekstimuuttujia (ks. Online-menetelmät), mutta ennen mahdollisen kohdevihjeen näyttämistä. Tämä lähestymistapa on samanlainen kuin Nee & Brown11: n raportoimat monivokselimallin analyysit. Mallin representaatioiden luokittelu on yhdenmukainen ihmisillä havaitun luokittelun kanssa (Kuva 3A): alimmalla hierarkiatasolla sekvenssit, jotka voivat kulminoitua kohdevasteeseen (1 A / 2B) ja ne, jotka eivät varmasti kulminoidu kohdevasteeseen (1B / 2 A), ovat edustettuina erillisellä tavalla (Kuva 3A, pohja). Esitykset ovat kuitenkin myös osittain päällekkäisiä siten, että 1 A-sekvenssit luokitellaan osittain 2B-sekvensseiksi, kun taas 1B-sekvenssit luokitellaan osittain 2 A-sekvensseiksi. HER-mallin tasolla 2 kunkin sekvenssin luokittelu on ratkaisevampaa, ja jokainen yksilöllinen sekvenssi (1 A/1B/2 A/2B) dekoodataan yksiselitteisesti (kuva 3A, keskiosa). Tämä tulos on samankaltainen kuin ihmisen tiedot, joissa dlPFC:n keskiosassa oleva alue osoittaa suuntausta kohti lisääntyvää näyttöä ainutlaatuisen sekvenssin koodauksesta. Lopuksi kolmannella hierarkiatasolla (Kuva 3A, Yläosa) sekvenssit, jotka alkavat 1:llä tai 2:lla, on kumpikin romahdettu (eli yhtä paljon näyttöä 1 A:lle ja 1B:lle), mikä heijastaa rostraalisen dlPFC:n roolia korkean tason kontekstimuuttujien koodaamisessa. HER-malli selittää yhden kohdesekvenssin sekoittumisen toiseen (1 A / 2B) ja yhden ei-kohdesekvenssin sekoittumisen toiseen (1B / 2 A) alimmalla hierarkiatasolla seurauksena molemmille sekvenssityypeille yhteisen ennustetun vasteen lisääntyneestä aktivoitumisesta – kohdevaste edellisessä tilassa ja ei-kohdevaste jälkimmäisessä tilassa.
Simulaatio 3: Yksittäisen yksikön neurofysiologia
HER-mallin ehdottama edustuskaavio viittaa siihen, että lPFC:n yksittäisten neuronien pitäisi koodata hajautetun virheiden edustuksen komponentteja, jolloin yksittäiset yksiköt viestivät tietyn virheen havaitsemisen identiteetistä ja todennäköisyydestä. Malli ehdottaa lisäksi, että näiden signaalien pitäisi kehittyä kokeen aikana, kun tietyntyyppisten virheiden havaitsemisen todennäköisyys kasvaa tai vähenee. Tallensimme mallin aktiivisuuden, kun se suoritti viivästettyä näytteenottotehtävää (DMTS) (Simulaatio 3). Yhdenmukaisesti makakki-apinoilla34 tallennettujen havaittujen yksikkötyyppien kanssa HER-mallissa tunnistettiin yksiköitä, joiden aktiivisuus lisääntyi näytteeseen sopivan kohdeluotaimen esiintymisen jälkeen (ottelun tehostaminen; Kuva 3B), kun taas tunnistettiin erillisiä yksiköitä, joiden aktiivisuus väheni sopivan kohteen jälkeen (ottelun tukahduttaminen; Kuva 3B). HER-malli selittää nämä kahdenlaiset neuronityypit mahdollisia vastauksia koskevien ennusteiden modulaationa kohdevihjeen esittämisen jälkeen. Kun täsmäävä kohde esitetään, niiden yksiköiden aktiivisuus, jotka ennustavat ”täsmäävää” vastausta, lisääntyy (vahvistuminen), kun taas ”ei-yhdenmukaista” vastausta ennustavien yksiköiden aktiivisuus vähenee (suppressio). HER-malli viittaa lisäksi siihen, että lPFC:ssä pitäisi havaita myös muita neuronityyppejä, nimittäin mismatch enhancement- ja suppression-neuroneja – neuroneja, joiden aktiivisuus heijastaa lisääntynyttä ja vähentynyttä todennäköisyyttä tehdä ei-match- ja match-vastaus, vastaavasti.
Simulaatio 4: Sekoitettu selektiivisyys
HER-mallin postuloiman virheen representaatiokaavion lisätesti on tutkia, voivatko mallin oppimat virheen representaatiot selittää neuronityyppien moninaisuuden, joka on yleisesti havaittu yhden yksikön neurofysiologisissa tutkimuksissa. Yksittäiset neuronit PFC:ssä osoittavat rutiininomaisesti sekoitettua selektiivisyyttä35 ja reagoivat heterogeenisesti tehtävän kannalta merkityksellisten ärsykkeiden yhdistelmiin. Tutkiaksemme, esiintyykö HER-mallin yksiköillä sekaselektiivisyyttä, simuloimme mallia DMTS-tehtävän36 variaatiossa, jossa näyte- ja kohdetunnisteita edelsi sääntövihje, joka osoitti, pitäisikö mallin vastata kohdevasteeseen yhteensopiviin näyte-kohde-yhdistelmiin (kuten tavallisessa DMTS:ssä) vai pitäisikö mallin vastata kohdevasteeseen ei-yhteensopiviin näyte-kohde-yhdistelmiin. HER-hierarkian tasolta 2 tallennettu mallin aktiivisuus paljastaa kuuden yksikön klusterin, jonka aktiivisuus oli luotettavasti yhteydessä tehtäväsuoritukseen (kuva 4). Kaksi näistä yksiköistä reagoi yksinomaan sääntövihjeeseen – yksi yksikkö oli aktiivinen MATCHING-vihjeiden jälkeen ja hiljaa NON-MATCHING-vihjeiden kohdalla, kun taas toinen osoitti päinvastaista mallia. Loput yksiköt osoittivat monimutkaisia aktiivisuuskuvioita sääntö-, modaliteetti- ja kuvaidentiteettitilanteissa, mikä on yhdenmukaista kädellisten PFC:ssä havaittujen neuronityyppien kanssa.
Simulaatio 5: Käyttäytymisen neuraaliset perusteet prefrontaalisessa aivokuoressa
Sen lisäksi, että HER-malli toistaa ihmisillä tehdyistä fMRI-tiedoista ja apinoilla tehdyistä yksittäisen yksikön neurofysiologisista tutkimuksista saadut vaikutukset, jotka koskevat PFC:ssä sijaitsevien representaatioiden luonnetta, HER-mallissa on myös ehdotettu, millä tavoin nämä representaatiot voivat vaikuttaa käyttäytymismalleihin. Tutkiaksemme hierarkkisesti organisoitujen representaatioiden vaikutusta opittujen käyttäytymismallien ajalliseen kulkuun simuloimme mallia (simulaatio 5, kuva 5) ternäärisessä todennäköisyyden arviointitehtävässä37 , jossa koehenkilöitä pyydettiin arvioimaan todennäköisyys, että kahden ominaisuusulottuvuuden mukaan vaihteleva yhdistetty ärsyke kuului kuhunkin kolmesta kategoriasta. Simulaatiomme eroavat alkuperäisestä tehtävästä siinä, että ihmiskokeessa koehenkilöt saivat valita näytteitä kaksiulotteisesta ongelma-avaruudesta, kun taas simulaatioissamme mallille näytettiin satunnaisesti valittuja näytteitä. Sekä kokeen että simulaatioidemme tavoitekäyttäytyminen oli kuitenkin sama, eli kategorioiden todennäköisyysarviot. Koehenkilöiden havaittiin omaksuvan kolme erilaista strategiaa todennäköisyysarviossaan, jotka vastasivat heidän näytteenottokäyttäytymistään (kuva 5, alin rivi): yksi ryhmä (Least Certain, LC, vasemmalla) antoi johdonmukaisesti lähes yhtä suuret todennäköisyydet kullekin luokalle, toinen ryhmä (Label Margin, LM, keskellä) antoi alhaisen todennäköisyyden yhdelle luokalle ja suunnilleen yhtä suuret todennäköisyydet kahdelle muulle luokalle, kun taas viimeisessä ryhmässä (Most Certain, MC, oikealla) annettiin korkea todennäköisyys yhdelle luokalle ja alhaiset todennäköisyydet muille. HER-mallissa havaittiin samanlaisia käyttäytymismalleja simuloitujen kokeiden aikana, joissa oppimisnopeutta manipuloitiin seuraavasti (kuva 5, ylin rivi). Simulaatioissa, joissa kaikki oppiminen oli poistettu käytöstä, mallin todennäköisyysarviot vastasivat LC-ryhmää. Kun oppiminen otettiin käyttöön vain alimmalla hierarkiatasolla, mallin käyttäytyminen vastasi LM-ryhmää, mikä heijastaa opittuja representaatioita, joiden avulla malli voi sulkea pois yhden kolmesta kategoriasta, mutta mallilta puuttuu korkeamman asteen informaatio, jota tarvitaan kahden jäljellä olevan kategorian erottamiseen. Kun oppiminen otetaan käyttöön kaikilla tasoilla, malli oppii nopeasti koko tehtävän, mikä vastaa MC-ryhmän käyttäytymistä. HER-mallissa nämä käyttäytymismallit liittyvät läheisesti opittuihin virheennusteisiin: malli hajottaa tehtävän valitsemalla kullakin hierarkiatasolla ärsykkeen ominaisuuden, joka parhaiten vähentää vastauksen epävarmuutta. Tässä jälkimmäisessä tapauksessa mallin käyttäytyminen etenee nopeasti peräkkäisissä vaiheissa tapahtuvaan oppimisen estämiseen liittyvien käyttäytymisten kautta: aluksi mallin käyttäytyminen vastaa LC-ryhmää, jota seuraa LM, ennen kuin se konvergoituu ternaarisen estimointiongelman ratkaisuun, mikä viittaa siihen, miten realistinen oppiminen voi vaatia matalan tason assosiaatioiden hankkimista ennen korkeamman tason representaatioiden kehittämistä. HER-malli tarjoaa siten selvityksen siitä, miten oppimisen aikana hankitut neuraaliset representaatiot voivat vaikuttaa käyttäytymismalleihin – kyvyttömyys muodostaa korkeamman asteen representaatioita ei ainoastaan vaikuta todennäköisyysarvioihin, vaan se voi lisäksi informoida informaation itseohjautuvasta näytteenotosta.
Simulaatio 6 & 7: mPFC:n ja dlPFC:n vuorovaikutus
HER-malli, joka on ACC/mPFC:n ennustetun vaste-tulos (PRO) -mallin laajennus, kaappaa jo nyt laajan joukon ACC:ssä havaittuja vaikutuksia7,25. HER-malli ulottuu PRO-mallia pidemmälle kahdella kriittisellä tavalla: ensinnäkin se täsmentää, miten mPFC ja dlPFC voivat olla vuorovaikutuksessa tukeakseen kehittynyttä käyttäytymistä, ja toiseksi se ehdottaa mPFC: n rinnakkaista hierarkkista organisaatiota, jossa peräkkäiset hierarkkiset alueet ilmoittavat yhä abstraktimpia virhesignaaleja. Tällaista mPFC:n organisaatiota on ehdotettu aiemmin38,39, ja todellakin on löydetty todisteita, jotka tukevat mPFC:n roolia hierarkkisten virheiden käsittelyssä27. HER-malli pystyy kaappaamaan Kim et al.26:n havaitseman aktiivisuusmallin (simulaatio 6) sekä mPFC:n että dlPFC:n erillisillä alueilla (kuva 6A, keskimmäinen sarake). HER-malli tulkitsee mPFC: n hierarkkisesti organisoitujen alueiden aktiivisuuden yhä abstraktimpien ennustettujen ja havaittujen tulosten väliseksi ristiriidaksi, mikä on johdonmukaista mPFC: n roolin kanssa virheiden laskennassa, jota ehdotetaan PRO-mallissa7,25, ja täydentää Kim et ai. Kuitenkin, vaikka heidän käsityksensä korkeamman asteen virhesignaaleista on määritelty kvalitatiivisesti, HER-mallissa peräkkäiset abstraktimmat virheet ovat alempien tasojen kvantitatiivisten ennusteiden tuote, jotka eivät riitä selittämään koehenkilön havaintoja, HER-mallin rakenteen perustana olevan ennakoivan koodauskehyksen mukaisesti.
Lisätodisteita mPFC:n ja dlPFC:n vuorovaikutuksesta saadaan tutkimuksista, jotka on tehty potilailla, joilla on dlPFC:n vaurio40. Viivästyneessä näytteenottotehtävässä havaitaan virheeseen liittyvää negatiivisuutta (ERN) koehenkilöillä, joilla on dlPFC:n vaurioita, sekä oikeiden että virheellisten kokeiden osalta (kuva 6B, vasen sarake). HER-malli (simulaatio 7, kuva 6B) selittää tämän kyvyttömyydellä ylläpitää relevanttia tietoa viiveen aikana, jotta voidaan muokata ennusteita todennäköisistä tuloksista (kuva 6B, oikea sarake). Ilman tätä ylimääräistä kontekstuaalista tietoa, joka on saatavilla mallissa, sekä oikeat että virheelliset tulokset ovat yllättäviä, mikä johtaa lisääntyneeseen mPFC-aktiivisuuteen HER-mallin vaurioituneessa versiossa molemmissa koetyypeissä.
Leave a Reply