Frontal cortex function as derived from hierarchical predictive coding

Here we show how the HER model can simulate and account for a variety of published empirical findings in the dlPFC and mPFC. Przedstawione poniżej wyniki nie są bynajmniej wyczerpujące. Służą one podkreśleniu głównego punktu, że model HER PFC, jako instancja formuł kodowania predykcyjnego, jest w stanie autonomicznie uczyć się złożonych zadań w sposób, który odtwarza wzorce zachowania, efekty neuropsychologiczne i aktywność neuronalną mierzoną przez fMRI, EEG i neurofizjologię pojedynczych jednostek obserwowaną w badaniach empirycznych. Szczegóły symulacji można znaleźć w materiale dodatkowym, wraz z opisem równań definiujących model HER. Materiał uzupełniający zawiera również dalsze symulacje, które pokazują większą moc wyjaśniającą modelu HER.

Symulacja 1: Kontekst, pamięć robocza, &kontrola

Rola dlPFC w pamięci roboczej i reprezentacji struktury zadania pozostaje przedmiotem ciągłych badań. W ciągu ostatnich dwóch dekad w licznych badaniach fMRI badano strukturę i funkcję dlPFC przy różnych hierarchicznych zadaniach i wymaganiach pamięci roboczej. W pracy Koechlin i wsp.24 autorzy badali funkcję dlPFC w dwóch zadaniach, manipulując jednocześnie ilością informacji przekazywanych przez bodźce istotne dla zadania. W ich Motor Condition zaobserwowano, że aktywność w całej dlPFC – od obszarów oznaczonych jako PMd (dorsal premotor cortex) do rostralnej dlPFC – wzrastała monotonicznie wraz ze wzrostem zawartości informacyjnej wskazówki kontekstowej (ryc. 2B). Dodatkowy wzrost aktywności obserwowano tylko w PMd, gdy od badanych wymagano dwóch odpowiedzi zamiast jednej. W Symulacji 1 (Rys. 2A,C), model HER odpowiada za ogólny trend wzrostu aktywności w dlPFC jako rosnącą siłę reprezentacji przewidywania błędów wyuczonych przez model – więcej informacji oznacza więcej potencjalnych błędów, które muszą być uwzględnione. Sumaryczna aktywność modelu dla każdego warunku koreluje ze zmianą sygnału BOLD obserwowaną w danych ludzkich zarówno dla warunku motorycznego (r = 0,70, p < 0,001) jak i warunku zadaniowego (r = 0,75, p < 0,001). Ten rachunek uzupełnia model kaskady informacyjnej24 oparty na sformułowaniach teorii informacji; w teorii informacji, informacja jest wielkością, o jaką zmniejsza się niepewność dotycząca zmiennej losowej, biorąc pod uwagę inną zmienną. Przewidywania błędów wyuczone przez model HER są używane do modulowania przewidywań wyników w celu wspierania poprawnego zachowania – to znaczy, ich rolą jest redukcja niepewności dotyczącej prawdopodobnych wyników działań. Model HER odpowiada za dodatkowy wzrost aktywności obserwowany w PMd poprzez przejściową aktualizację reprezentacji (patrz materiał uzupełniający) na najniższym poziomie modelu, gdy kolejne bodźce nakazują różne odpowiedzi, podczas gdy warunki, w których wymagana jest tylko pojedyncza odpowiedź, nie pociągają za sobą dodatkowej aktualizacji (ryc. 2A u dołu). 2A, dół).

Kodowanie informacji w dlPFC. W całym manuskrypcie dane symulacyjne są zamknięte w podwójnie pogrubionych ramkach. Wraz ze wzrostem zawartości informacyjnej wskazówki kontekstowej, liczonej w bitach (oś X), wzrasta aktywność w hierarchicznie zorganizowanych regionach dlPFC. Siła przewidywań błędu utrzymywana w dlPFC jest proporcjonalna do zawartości informacji: im bardziej informacyjna jest wskazówka, tym większy będzie zgłoszony błąd bez informacji dostarczonej przez tę wskazówkę. (A) Model HER wychwytuje efekty informacji związanych zarówno z naturą bodźców istotnych dla zadania (osie x), jak i odpowiedzi, które mogą być wymagane (osie y). Model HER dostarcza zatem komplementarnego ujęcia do modelu kaskady informacyjnej PFC. (B) W warunku zadaniowym Koechlina i wsp.24 obserwuje się wzrost aktywności w dlPFC wraz z zawartością informacyjną wskazówki kontekstowej. Jednakże, tutaj aktywność w ogonowej dlPFC (panel B, środek) wykazuje dodatkowy wzrost, gdy badani muszą okazjonalnie przełączać się między dwoma zadaniami (identyfikacja samogłosek/ spółgłosek, wielkich/małych liter). (C) Ten dodatkowy wzrost związany z przełączaniem zadań jest uwzględniony jako przejściowy wzrost aktywności w modelu HER, gdy zmienia się natura zadania (środkowy rząd).

Symulacja 2: Wyuczona Reprezentacja

Pomimo, że model HER jest w stanie uchwycić szereg wyników związanych z aktywnością zespołów neuronów odzwierciedloną przez sygnał BOLD (patrz materiał uzupełniający), zakłada on również szczególny schemat reprezentacji wdrożony w dlPFC. Mianowicie, pojedyncze jednostki w modelu HER dlPFC kodują składową wielowymiarowej predykcji błędu. Oprócz przechwytywania danych związanych z siłą aktywności obserwowanej w dlPFC, model HER powinien również być w stanie uwzględnić dane związane z aktywnością poszczególnych neuronów, jak również techniki zaprojektowane do dekodowania aktywności neuronalnej, takie jak MVPA.

Aby zbadać, czy reprezentacje przewidywania błędów wyuczone przez model HER są zgodne z tymi obserwowanymi u ludzi, zarejestrowaliśmy aktywność modelu podczas wykonywania zadania 1-2AX ciągłej wydajności (Symulacja 2, Ryc. 3A). Następnie sklasyfikowaliśmy aktywne reprezentacje w modelu podczas okresów zadania, w których modelowi pokazywano zmienne kontekstowe wysokiego i niskiego poziomu (patrz Metody Online), ale przed wyświetleniem potencjalnej wskazówki docelowej. Podejście to jest podobne do analizy wzorca wielu wokseli opisanej przez Nee & Brown11. Klasyfikacja reprezentacji modelu jest zgodna z tą obserwowaną u ludzi (ryc. 3A): na najniższym poziomie hierarchicznym sekwencje, które mogą zakończyć się reakcją docelową (1 A/2B) i te, które z pewnością nie zakończą się reakcją docelową (1B/2 A) są reprezentowane w odrębny sposób (ryc. 3A, dół). Jednakże, reprezentacje te również częściowo się pokrywają, tak że sekwencje 1 A są częściowo skategoryzowane jako sekwencje 2B, podczas gdy sekwencje 1B są częściowo skategoryzowane jako sekwencje 2 A. Na poziomie 2 modelu HER, klasyfikacja każdej sekwencji jest bardziej decydująca, przy czym każda unikalna sekwencja (1 A/1B/2 A/2B) jest jednoznacznie dekodowana (Rys. 3A, Middle). Wynik ten jest podobny do danych uzyskanych u ludzi, w których region w środkowej części dolnej części mózgu wykazuje tendencję do zwiększania dowodów na kodowanie unikalnych sekwencji. Wreszcie, na trzecim poziomie hierarchii (ryc. 3A, góra), sekwencje zaczynające się od 1 lub 2 są kolapsowane (tj. jednakowe dowody dla 1 A i 1B), co odzwierciedla rolę rostralnej dlPFC w kodowaniu zmiennych kontekstowych wysokiego poziomu. Model HER wyjaśnia mylenie jednej sekwencji docelowej z inną (1 A/2B) i jednej sekwencji nie-celowej z inną (1B/2 A) na najniższym poziomie hierarchii jako konsekwencję zwiększonej aktywacji przewidywanej reakcji wspólnej dla obu typów sekwencji – reakcji docelowej w pierwszym warunku i reakcji nie-celowej w drugim.

Rozproszone reprezentacje w PFC. Oddzielne jednostki w modelu HER reprezentują składniki hierarchicznie opracowanej, wielowymiarowej predykcji błędu, co sugeruje, jak zadania poznawcze mogą być reprezentowane neuronalnie. (A) Po lewej: MVPA na reprezentacjach przewidywania błędów utrzymywanych przez model podczas wykonywania 1-2AX CPT są zgodne z danymi ludzkimi pokazującymi, że ogonowe regiony lPFC kodują potencjalne sekwencje docelowe niezależnie od kontekstu wyższego rzędu, podczas gdy bardziej rostralne regiony kodują bardziej abstrakcyjne zmienne kontekstowe. Po prawej: Wyniki MVPA u ludzi, przedrukowane za pozwoleniem z Nee & Brown11. Wyniki klasyfikacji reprezentacji modelowych są naturalnie bardziej solidne niż analiza wzorca danych fMRI, ponieważ możliwe jest rejestrowanie aktywacji jednostek w modelu z idealną wiernością, podczas gdy sygnały BOLD podlegają szumowi. Niemniej jednak, dokładność klasyfikacji dla reprezentacji modelu była znacząco skorelowana z dokładnością klasyfikacji dla danych ludzkich zarówno na hierarchicznym poziomie 2/mid-DLPFC (r = 0,64, p = 0,0074) i poziomie 1/grzbietowej kory przedruchowej (r = 0,91, p < 0,001). (B) Jednostki na poziomie 1 modelu HER (po lewej) wykazują aktywność związaną z tłumieniem i wzmacnianiem dopasowania podczas wykonywania zadania z opóźnionym dopasowaniem do próbki. Przed zaobserwowaniem bodźca docelowego, aktywność w tych jednostkach odzwierciedla równe prawdopodobieństwo zaobserwowania wskazówki pasującej lub niepasującej. Po prezentacji bodźca docelowego, aktywność jednostek przewidujących wystąpienie dopasowania jest zwiększona, podczas gdy aktywność jednostek nie przewidujących dopasowania jest tłumiona, podobnie jak w przypadku danych zarejestrowanych w lPFC małpy (po prawej). Model HER przewiduje ponadto istnienie jednostek wykazujących efekty wzmocnienia i tłumienia niedopasowania. Przedrukowano za pozwoleniem z Miller i in.34.

Symulacja 3: Neurofizjologia pojedynczych jednostek

Schemat reprezentacji zaproponowany przez model HER sugeruje, że pojedyncze neurony w lPFC powinny kodować komponenty rozproszonej reprezentacji błędu, z pojedynczymi jednostkami sygnalizującymi tożsamość i prawdopodobieństwo zaobserwowania konkretnego błędu. Model sugeruje ponadto, że sygnały te powinny ewoluować w trakcie trwania próby, w miarę jak prawdopodobieństwo zaobserwowania określonych typów błędów wzrasta lub maleje. Zarejestrowaliśmy aktywność w modelu podczas wykonywania przez niego zadania opóźnionego dopasowania do próbki (DMTS) (Symulacja 3). Zgodnie z typami jednostek zaobserwowanymi u małp makaków34, w modelu HER zidentyfikowano jednostki o zwiększonej aktywności po pojawieniu się sondy docelowej, która pasowała do próbki (wzmocnienie dopasowania; ryc. 3B), podczas gdy zidentyfikowano odrębne jednostki, których aktywność spadła po pojawieniu się dopasowanego celu (tłumienie dopasowania; ryc. 3B). Model HER ujmuje te dwa typy neuronów jako modulację przewidywań dotyczących możliwych odpowiedzi po prezentacji wskazówki docelowej. Gdy prezentowany jest pasujący cel, aktywność jednostek przewidujących odpowiedź „pasującą” wzrasta (wzmocnienie), podczas gdy aktywność jednostek przewidujących odpowiedź „niedopasowaną” spada (tłumienie). Model HER sugeruje ponadto a priori, że w lPFC powinny być obserwowane dodatkowe typy neuronów, a mianowicie neurony wzmacniające i tłumiące niedopasowanie – neurony, których aktywność odzwierciedla zwiększone i zmniejszone prawdopodobieństwo wykonania odpowiednio odpowiedzi niedopasowanej i dopasowanej.

Symulacja 4: Mieszana selektywność

Kolejnym testem schematu reprezentacji błędów postulowanego przez model HER jest zbadanie, czy reprezentacje błędów wyuczone przez model mogą wyjaśnić różnorodność typów neuronów powszechnie obserwowanych w badaniach neurofizjologicznych pojedynczych jednostek. Pojedyncze neurony w PFC rutynowo wykazują mieszaną selektywność35 , reagując w heterogeniczny sposób na kombinacje bodźców istotnych dla zadania. Aby zbadać, czy jednostki w modelu HER wykazują selektywność mieszaną, przeprowadziliśmy symulację modelu na wariacji zadania DMTS36 , w którym próbki i sondy docelowe były poprzedzone wskazówką regułową wskazującą, czy model powinien zareagować na kombinacje pasujących próbek i celów (jak w zwykłym DMTS), czy też powinien zareagować na kombinacje NIE pasujących próbek i celów. Aktywność modelu zarejestrowana z poziomu 2 hierarchii HER ujawnia skupisko 6 jednostek, których aktywność była wiarygodnie związana z wykonaniem zadania (Rys. 4). Dwie z tych jednostek reagowały wyłącznie na podpowiedź reguły – jedna z nich była aktywna przy podpowiedzi MATCHING, a milcząca przy podpowiedzi NON-MATCHING, podczas gdy druga wykazywała odwrotny wzorzec. Pozostałe jednostki wykazywały złożone wzorce aktywności w warunkach reguły, modalności i tożsamości obrazu, zgodne z typami neuronów obserwowanymi w PFC naczelnych.

Mieszana selektywność w modelu HER. Jednostki z poziomu 2 modelu HER wykazują złożone wzorce w odpowiedzi na bodźce. Odpowiedzi jednostek 1-4 pokazują interakcje pomiędzy regułą a przykładowym bodźcem prezentowanym podczas zadania DMTS, przy czym niektóre jednostki preferencyjnie reagują np. na kombinacje reguł „Same” i „Picture 1”. Dodatkowe jednostki w modelu (5 & 6) reagują wyłącznie na preferowaną regułę: „Taką samą” (jednostka 6, panel B) lub „Różną” (jednostka 5, panel A). Kombinacja jednostek reagujących specyficznie na regułę oraz regułę i interakcję kostka replikuje podobne odkrycia w LPFC naczelnych36.

Symulacja 5: Neuronalne podstawy zachowania w korze przedczołowej

Oprócz odtworzenia efektów danych z ludzkiego fMRI i badań neurofizjologicznych pojedynczych jednostek u małp, dotyczących natury reprezentacji w PFC, model HER sugeruje również, jak te reprezentacje mogą wpływać na wzorce zachowania. W celu zbadania wpływu hierarchicznie zorganizowanych reprezentacji na przebieg czasowy wyuczonych zachowań, przeprowadziliśmy symulację modelu (Symulacja 5, Rys. 5) na trójskładnikowym zadaniu szacowania prawdopodobieństwa37 , w którym badani mieli oszacować prawdopodobieństwo, że bodziec złożony, różniący się na dwóch wymiarach cech, należy do każdej z trzech kategorii. Nasze symulacje różnią się od oryginalnego zadania tym, że w eksperymencie na ludziach, badani mogli wybierać próbki z dwuwymiarowej przestrzeni problemowej, podczas gdy w naszych symulacjach, modelowi pokazywano losowo wybrane próbki. Niemniej jednak, docelowe zachowanie zarówno w eksperymencie, jak i w naszych symulacjach było takie samo, mianowicie sądy o prawdopodobieństwie kategorii. Stwierdzono, że ludzie przyjmują trzy różne strategie w swoich sądach o prawdopodobieństwie, odpowiadające ich zachowaniom związanym z próbkowaniem (Rys. 5, dolny rząd): jedna grupa (Least Certain, LC, po lewej) konsekwentnie przypisywała niemal równe prawdopodobieństwa każdej kategorii, druga grupa (Label Margin, LM, pośrodku) przypisywała niskie prawdopodobieństwo jednej kategorii i w przybliżeniu równe prawdopodobieństwa dwóm pozostałym, podczas gdy ostatnia grupa (Most Certain, MC, po prawej) przypisywała wysokie prawdopodobieństwo jednej kategorii i niskie pozostałym. Podobne wzorce zachowań zaobserwowano w modelu HER podczas symulowanych eksperymentów, w których manipulowano szybkością uczenia się w następujący sposób (ryc. 5, górny rząd). W symulacjach, w których uczenie się było wyłączone, oszacowania prawdopodobieństwa modelu odpowiadały grupie LC. Gdy uczenie było włączone tylko dla najniższego poziomu hierarchii, zachowanie modelu odpowiada grupie LM, odzwierciedlając wyuczone reprezentacje, które pozwalają modelowi wykluczyć jedną z trzech kategorii, ale brakuje mu informacji wyższego rzędu, potrzebnej do rozróżnienia pozostałych dwóch. Wreszcie, gdy uczenie jest włączone dla wszystkich poziomów, model szybko uczy się całego zadania, co odpowiada zachowaniu grupy MC. W modelu HER zachowania te są ściśle związane z przewidywaniem wyuczonych błędów: model rozkłada zadanie, wybierając na każdym poziomie hierarchii cechę bodźca, która najlepiej zmniejsza niepewność odpowiedzi. W tym ostatnim przypadku zachowanie modelu szybko przechodzi przez zachowania związane z wyłączaniem uczenia się na kolejnych etapach: początkowo zachowanie modelu odpowiada grupie LC, a następnie LM, zanim zbiegnie się do rozwiązania problemu estymacji trójskładnikowej, co sugeruje, jak realistyczne uczenie się może wymagać nabycia niskopoziomowych skojarzeń przed rozwojem reprezentacji wyższego poziomu. Model HER dostarcza zatem wyjaśnienia, w jaki sposób reprezentacje neuronalne nabyte podczas uczenia się mogą przyczyniać się do wzorców zachowania – niezdolność do tworzenia reprezentacji wyższego rzędu nie tylko wpływa na oceny prawdopodobieństwa, ale może dodatkowo informować o samoukierunkowanym próbkowaniu informacji.

Powiązanie reprezentacji z zachowaniem. Zachowanie modelu HER (u góry) z selektywnie włączonym uczeniem na zerowym (po lewej), jednym (w środku) i wszystkich (po prawej) poziomach hierarchii. Każdy punkt reprezentuje pojedynczą próbę. Oszacowane przez model prawdopodobieństwa trzech możliwych kategorii pasują do zachowania trzech grup ludzi o różnych strategiach próbkowania informacji (dół) podczas trójdzielnego zadania szacowania prawdopodobieństwa. Model HER dostarcza zatem informacji o tym, jak reprezentacja zadania na poziomie pojedynczych jednostek przyczynia się do zachowania. Przedrukowano za pozwoleniem z37.

Symulacja 6 & 7: Interakcja mPFC i dlPFC

Model HER, będący rozszerzeniem modelu przewidywanej odpowiedzi-dochodu (PRO) ACC/mPFC, już teraz ujmuje szeroki wachlarz efektów obserwowanych w obrębie ACC7,25. Model HER wykracza poza model PRO na dwa kluczowe sposoby: po pierwsze, określa, w jaki sposób mPFC i dlPFC mogą współdziałać w celu wspierania wyrafinowanych zachowań, a po drugie, sugeruje równoległą hierarchiczną organizację mPFC, w której kolejne hierarchiczne regiony zgłaszają coraz bardziej abstrakcyjne sygnały o błędach. Taka organizacja mPFC została zaproponowana już wcześniej38,39 i rzeczywiście, znaleziono dowody, które wspierają rolę mPFC w przetwarzaniu hierarchicznych błędów27. Model HER jest w stanie uchwycić wzorzec aktywności zaobserwowany przez Kim i wsp.26 (symulacja 6) dla odrębnych regionów zarówno mPFC, jak i dlPFC (ryc. 6A, środkowa kolumna). Model HER interpretuje aktywność w hierarchicznie zorganizowanych regionach mPFC jako rozbieżność między coraz bardziej abstrakcyjnymi przewidywanymi i obserwowanymi wynikami, co jest zgodne z rolą mPFC w obliczaniu błędów zaproponowaną przez model PRO7,25 i uzupełnia interpretację Kim i wsp. Jednakże, podczas gdy ich pojęcie sygnałów błędów wyższego rzędu jest określone jakościowo, kolejno bardziej abstrakcyjne błędy w modelu HER są produktem ilościowych przewidywań na niższych poziomach, które są niewystarczające do wyjaśnienia obserwacji podmiotu, zgodnie z ramami kodowania predykcyjnego, które informują strukturę modelu HER.

Interakcje mPFC i dlPFC, symulacje 6 i 7. Model HER sugeruje, jak mPFC i dlPFC mogą współpracować w celu zminimalizowania błędu predykcji poprzez przekazywanie informacji o błędach i przewidywaniach błędów poprzez poziomy hierarchiczne. (A) Symulacja 6. Zwiększona aktywność w równoległych regionach hierarchicznych w modelu HER, związanych z mPFC i dlPFC, jest związana z błędami (mPFC) i aktualizacjami przewidywań błędów (dlPFC) na różnych poziomach abstrakcji, od konkretnego (poziom 1, przełączanie bodźców) do abstrakcyjnego (poziom 2, przełączanie reakcji; poziom 3, przełączanie kontekstu). (B) Symulacja 7. Modulacja mPFC przez przewidywania błędów utrzymywane w dlPFC jest krytyczna dla kontekstualizacji przewidywań dotyczących prawdopodobnego wyniku działań. W zadaniu delayed-match-to-sample model HER prawidłowo uchwycił eliminację ERN po prawidłowych próbach dzięki utrzymywaniu informacji o wskazówce dotyczącej próbki. Jednakże, gdy model jest uszkodzony w taki sposób, że informacje normalnie utrzymywane w dlPFC nie są już dostępne dla mPFC, model wytwarza ERN zarówno dla prób poprawnych, jak i błędnych.

Dodatkowe dowody dotyczące interakcji mPFC i dlPFC pochodzą z badań pacjentów z uszkodzeniami dlPFC40. W zadaniu opóźnionego dopasowania do próbki u osób z uszkodzeniem dlPFC obserwuje się negatywność związaną z błędem (Error Related Negativity, ERN) zarówno dla prób prawidłowych, jak i nieprawidłowych (ryc. 6B, lewa kolumna). Model HER (symulacja 7, ryc. 6B) wyjaśnia to jako niezdolność do zachowania istotnych informacji w okresie opóźnienia w celu modulowania przewidywań dotyczących prawdopodobnych wyników (ryc. 6B, prawa kolumna). Bez tej dodatkowej informacji kontekstowej dostępnej w modelu, zarówno prawidłowe, jak i nieprawidłowe wyniki są zaskakujące, co skutkuje zwiększoną aktywnością mPFC w uszkodzonej wersji modelu HER na obu rodzajach prób.

.