Frontal cortex function as derived from hierarchical predictive coding

Aqui mostramos como o modelo HER pode simular e dar conta de uma variedade de achados empíricos publicados no dlPFC e mPFC. Os resultados relatados abaixo não são, de forma alguma, exaustivos. Eles servem para enfatizar o ponto principal que o modelo HER de PFC, como instância de formulações de codificação preditiva, é capaz de aprender autonomamente tarefas complexas de forma a reproduzir padrões de comportamento, efeitos neuropsicológicos e atividade neural medidos por fMRI, EEG, neurofisiologia de unidade única observada na investigação empírica. Os detalhes das simulações podem ser encontrados no material suplementar, juntamente com uma descrição das equações que definem o modelo HER. O material suplementar também inclui outras simulações que demonstram mais do poder explicativo do modelo HER.

Simulação 1: Contexto, Memória de Trabalho, & Controle

O papel do dlPFC na memória de trabalho e representação da estrutura de tarefas continua sendo uma preocupação constante na pesquisa. Nas últimas duas décadas, numerosos estudos fMRI investigaram a estrutura e função do dlPFC sob várias exigências hierárquicas de tarefas e memória de trabalho. Em Koechlin et al.24, os autores investigaram a função da dlPFC em duas tarefas enquanto manipulavam a quantidade de informação veiculada pelos estímulos relevantes às tarefas. Em sua Condição Motora, a atividade ao longo do dlPFC – desde áreas rotuladas como PMd (córtex pré-motor dorsal) até o dlPFC rostral – foi observada para aumentar monotonicamente à medida que o conteúdo de informação de um taco contextual aumentava (Fig. 2B). Um aumento adicional na atividade foi observado apenas no PMd quando os sujeitos foram obrigados a fazer duas respostas ao invés de uma única resposta. Na simulação 1 (Fig. 2A,C), o modelo HER contabiliza a tendência geral de aumento da atividade na dlPFC como a força crescente das representações de previsão de erros aprendidas pelo modelo – mais informação significa mais erros potenciais que devem ser contabilizados. O resumo da atividade do modelo para cada condição se correlaciona com a mudança de sinal BOLD observada nos dados humanos tanto para a condição Motora (r = 0,70, p < 0,001) quanto para a condição Tarefa (r = 0,75, p < 0,001). Esta conta complementa o modelo Information Cascade24 baseado em formulações teóricas de informação; na teoria da informação, informação é a quantidade pela qual a incerteza sobre uma variável aleatória diminui dada outra variável. As previsões de erro aprendidas pelo modelo HER são usadas para modular as previsões de resultados a fim de suportar o comportamento correto – ou seja, seu papel é reduzir a incerteza em relação aos resultados prováveis das ações. O modelo HER é responsável pelo aumento adicional de atividade observado no PMd através da atualização transitória das representações (ver material suplementar) no nível mais baixo do modelo quando os estímulos sucessivos exigem respostas diferentes, enquanto as condições em que apenas uma única resposta é necessária não implicam uma atualização adicional (Fig. 2A, inferior).

Informação codificada em dlPFC. Os dados simulados estão contidos em caixas de dupla ordem ao longo de todo o manuscrito. Conforme aumenta o conteúdo de informação de um taco de contexto, calculado em Bits (eixo X), aumenta a atividade em regiões hierarquicamente organizadas do dlPFC. A força das previsões de erro mantidas em dlPFC é proporcional ao conteúdo da informação: quanto mais informativo for um taco, maior será um erro reportado sem a informação fornecida por esse taco. (A) O modelo HER captura os efeitos da informação relacionada tanto com a natureza dos estímulos relevantes da tarefa (eixos x) como com as respostas que possam ser requeridas (eixos y). O modelo HER fornece assim uma conta complementar ao modelo de Cascata de Informação do PFC. (B) Na Condição de Tarefa de Koechlin et al.24, a atividade em dlPFC é observada para aumentar com o conteúdo de informação de um taco contextual. Entretanto, aqui a atividade em dlPFC caudal (painel B, meio) mostra um aumento adicional quando os sujeitos devem ocasionalmente alternar entre duas tarefas (vogal/consonante, identificação de maiúsculas e minúsculas). (C) Este aumento adicional relacionado à comutação de tarefa é contabilizado como aumentos transitórios de atividade no modelo HER quando a natureza da tarefa muda (linha do meio).

Simulação 2: Representação aprendida

Embora o modelo HER seja capaz de capturar uma gama de resultados relacionados com a atividade de conjuntos de neurônios refletidos pelo sinal BOLD (ver material suplementar), ele também apresenta um esquema de representação particular implantado em dlPFC. Nomeadamente, unidades únicas no modelo HER dlPFC cada código para um componente de uma previsão de erro multidimensional. Além de capturar dados relacionados à força de atividade observada em dlPFC, então, o modelo HER também deve ser capaz de contabilizar dados relacionados à atividade de neurônios individuais, bem como técnicas projetadas para decodificar a atividade neural como MVPA.

Para investigar se as representações de previsão de erro aprendidas pelo modelo HER são consistentes com as observadas em indivíduos humanos, registramos a atividade do modelo enquanto executava a tarefa de desempenho contínuo 1-2AX (Simulação 2, Fig. 3A). Posteriormente classificamos as representações ativas no modelo durante os períodos da tarefa em que o modelo tinha sido mostrado variáveis de contexto de alto e baixo nível (ver Métodos Online), mas antes de uma possível indicação de alvo ser exibida. Esta abordagem é similar às análises de padrões multi-voxel relatadas por Nee & Brown11. A classificação das representações do modelo é consistente com a observada em sujeitos humanos (Fig. 3A): no nível hierárquico mais baixo, as sequências que podem culminar numa resposta alvo (1 A/2B) e aquelas que certamente não culminarão numa resposta alvo (1B/2 A) são representadas de forma distinta (Fig. 3A, Fundo). Entretanto, as representações também se sobrepõem parcialmente, de modo que 1 A é parcialmente categorizado como 2B, enquanto 1B é parcialmente categorizado como 2 A. No nível 2 do modelo HER, a classificação de cada sequência é mais decisiva, com cada sequência única (1 A/1B/2 A/2B) sendo descodificada sem ambiguidades (Fig. 3A, Meio). Este resultado é semelhante aos dados humanos, nos quais uma região em meados de DlPFC mostra uma tendência para o aumento da evidência para a codificação de sequências únicas. Finalmente, no terceiro nível hierárquico (Fig. 3A, Top), seqüências começando com 1 ou 2 são colapsadas (ou seja, evidência igual para 1 A e 1B), refletindo o papel da dlPFC rostral na codificação de variáveis de contexto de alto nível. O modelo HER explica a confusão de uma sequência alvo com outra (1 A/2B) e uma sequência não alvo com outra (1B/2 A) no nível hierárquico mais baixo como consequência do aumento da activação de uma resposta prevista comum a ambos os tipos de sequências – uma resposta alvo na primeira condição, e uma resposta não alvo na segunda condição.

Representações distribuídas em PFC. Unidades separadas no modelo HER representam componentes de uma previsão de erro multi-dimensional, hierarquicamente elaborada, sugerindo como as tarefas cognitivas podem ser representadas neuralmente. (A) Esquerda: MVPA sobre representações de previsão de erro mantidas pelo modelo enquanto executa o CPT 1-2AX são consistentes com dados humanos mostrando que regiões caudais do código lPFC para potenciais seqüências alvo independentemente do contexto de ordem mais alta, enquanto regiões mais rostrais codificam variáveis de contexto mais abstratas. direita: Resultados humanos de MVPA, reimpressos com permissão de Nee & Brown11. Os resultados de classificação das representações do modelo são naturalmente mais robustos do que a análise padrão dos dados fMRI, pois é possível registrar a ativação de unidades no modelo com perfeita fidelidade, enquanto os sinais BOLD estão sujeitos a ruído. No entanto, a precisão de classificação das representações do modelo foi significativamente correlacionada com a precisão de classificação dos dados humanos tanto no nível hierárquico 2/mid-DLPFC (r = 0,64, p = 0,0074) quanto no nível 1/córtex pré-motor dorsal (r = 0,91, p < 0,001). (B) As unidades no nível 1 do modelo HER (esquerda) mostram a atividade relacionada à supressão e ao aprimoramento de correspondência durante a execução de uma tarefa de correspondência com amostra retardada. Antes de observar um estímulo alvo, a atividade nessas unidades reflete a probabilidade igual de observar um taco de partida ou de não partida. Após a apresentação do estímulo alvo, a atividade das unidades que prevêem a ocorrência de uma correspondência é aumentada, enquanto a atividade das unidades que não prevêem uma correspondência é suprimida, semelhante aos dados registrados de lPFC macaco (à direita). O modelo HER prevê ainda a existência de unidades mostrando efeitos de melhoria e supressão de incompatibilidade. Reimpresso por permissão de Miller et al.34.

Simulação 3: Neurofisiologia de Unidade Única

O esquema de representação proposto pelo modelo HER sugere que neurônios individuais em lPFC devem codificar componentes de uma representação de erro distribuída, com unidades únicas sinalizando a identidade e a probabilidade de observar um erro em particular. O modelo sugere ainda que estes sinais devem evoluir ao longo de uma tentativa à medida que a probabilidade de observação de tipos específicos de erros aumenta ou diminui. Registramos a atividade no modelo à medida que ele executava uma tarefa de correspondência com amostra atrasada (DMTS) (Simulação 3). Consistente com os tipos de unidades observadas registradas em macacos macacos34, as unidades do modelo HER foram identificadas com aumento de atividade após a ocorrência de uma sonda alvo que correspondesse à amostra (match enhancement; Fig. 3B), enquanto unidades distintas foram identificadas cuja atividade diminuiu após um alvo correspondente (match suppression; Fig. 3B). O modelo HER considera esses dois tipos de neurônios como a modulação das previsões de possíveis respostas após a apresentação de um sinal de alvo. Quando um alvo correspondente é apresentado, a atividade das unidades que prevêem uma resposta “correspondente” aumenta (melhora) enquanto a atividade das unidades que prevêem uma resposta “não correspondente” diminui (supressão). O modelo HER sugere ainda, a priori, que tipos adicionais de neurônios devem ser observados na lPFC, ou seja, neurônios de realce e supressão de incompatibilidade – neurônios cuja atividade reflete o aumento e a diminuição da probabilidade de se obter uma resposta não compatível e compatível, respectivamente.

Simulação 4: Seletividade Mista

Um outro teste do esquema de representação de erros postulado pelo modelo HER é examinar se as representações de erros aprendidas pelo modelo podem explicar a diversidade de tipos de neurônios comumente observados em estudos neurofisiológicos de uma única unidade. Neurônios isolados em PFC rotineiramente exibem seletividade mista35 , respondendo de forma heterogênea a combinações de estímulos relevantes às tarefas. Para investigar se as unidades do modelo HER exibem seletividade mista, simulamos o modelo em uma variação da tarefa DMTS36 na qual a amostra e as sondas alvo foram precedidas por uma sugestão de regra indicando se o modelo deveria fazer uma resposta alvo a combinações de amostra/alvo MATCHING (como no DMTS usual), ou se o modelo deveria fazer uma resposta alvo a combinações de amostra/alvo NON-MATCHING. A atividade do modelo registrada a partir do nível 2 da hierarquia HER revela um cluster de 6 unidades cuja atividade foi associada de forma confiável ao desempenho da tarefa (Fig. 4). Duas dessas unidades responderam exclusivamente à regra taco – uma unidade estava ativa seguindo taco de NÃO COMPLETO, e silenciosa para taco de NÃO COMPLETO, enquanto a outra mostrou o padrão oposto. As demais unidades exibiram padrões complexos de atividade através das condições de regra, modalidade e imagem, consistentes com os tipos de neurônios observados no PFC primata.

Seletividade Misturada no modelo HER. As unidades do nível 2 do modelo HER mostram padrões complexos em resposta aos estímulos. As respostas das unidades 1-4 mostram interações entre uma regra do cued e uma amostra de estímulo apresentada durante uma tarefa DMTS, com algumas unidades respondendo preferencialmente a, por exemplo, combinações de regras ‘Same’ e ‘Picture 1’. Unidades adicionais no modelo (5 & 6) respondem apenas a uma regra preferida: ‘Igual’ (Unidade 6, painel B) ou ‘Diferente’ (Unidade 5, painel A). A combinação de unidades de interação regra específica e regraXcue replica achados similares no LPFC36.

Simulação 5: As bases neurais de comportamento no córtex pré-frontal

Além de reproduzir efeitos de dados de fMRI humana e estudos de neurofisiologia de uma única unidade em macacos em relação à natureza das representações no PFC, o modelo HER também sugere como essas representações podem influenciar os padrões de comportamento. A fim de investigar a influência das representações hierarquicamente organizadas sobre o curso temporal dos comportamentos aprendidos, simulamos o modelo (Simulação 5, Fig. 5) em uma tarefa de estimação de probabilidade ternária37 na qual foi solicitado aos sujeitos que estimassem a probabilidade de que um estímulo composto, variando ao longo de duas dimensões características, pertencesse a cada uma das três categorias. Nossas simulações diferem da tarefa original na medida em que, no experimento humano, os sujeitos foram autorizados a escolher amostras de um espaço problemático bidimensional, enquanto em nossas simulações, o modelo foi mostrado com amostras selecionadas aleatoriamente. No entanto, o comportamento alvo do experimento e de nossas simulações foi o mesmo, ou seja, os julgamentos de probabilidade das categorias. Os sujeitos humanos adotaram três estratégias diferentes em seus julgamentos de probabilidade correspondentes ao seu comportamento amostral (Fig. 5, linha inferior): um grupo (Menos Certo, MC, esquerda) atribuiu consistentemente probabilidades quase iguais para cada categoria, um segundo grupo (Margem de Rótulo, LM, centro) atribuiu uma probabilidade baixa a uma categoria e probabilidades aproximadamente iguais às outras duas, enquanto o grupo final (Mais Certo, MC, direita) atribuiu uma probabilidade alta a uma categoria e probabilidades baixas às outras. Padrões semelhantes de comportamento foram observados no modelo HER durante experimentos simulados nos quais a taxa de aprendizagem foi manipulada da seguinte forma (Fig. 5, linha superior). Para simulações nas quais todo o aprendizado foi desabilitado, as estimativas de probabilidade do modelo correspondiam ao grupo LC. Quando o aprendizado foi habilitado apenas para o nível hierárquico mais baixo, o comportamento do modelo corresponde ao grupo LM, refletindo representações aprendidas que permitem ao modelo descartar uma das três categorias, mas sem a informação de ordem superior necessária para distinguir entre as duas restantes. Finalmente, quando a aprendizagem é habilitada para todos os níveis, o modelo aprende rapidamente toda a tarefa, correspondendo ao comportamento do grupo MC. No modelo HER, estes comportamentos estão intimamente ligados às previsões de erro aprendidas: o modelo decompõe uma tarefa selecionando, em cada nível hierárquico, a característica de estímulo que melhor reduz a incerteza de resposta. Neste último caso, o comportamento do modelo progride rapidamente através dos comportamentos associados à incapacidade de aprendizagem em estágios sucessivos: inicialmente o comportamento do modelo corresponde ao grupo LC, seguido pelo LM, antes de convergir para uma solução para o problema da estimativa ternária, sugerindo como a aprendizagem realista pode exigir a aquisição de associações de baixo nível antes do desenvolvimento de representações de nível superior. O modelo HER fornece assim um relato de como as representações neurais adquiridas durante o aprendizado podem contribuir para padrões de comportamento – a incapacidade de formar representações de ordem mais elevada não só influencia os julgamentos de probabilidade, mas pode também informar uma amostragem auto-direcionada de informações.

Conectando representações ao comportamento. Comportamento do modelo HER (topo) com aprendizagem seletivamente habilitada em zero (esquerda), um (centro) e todos os níveis hierárquicos (direita). Cada ponto representa uma única tentativa. A estimativa do modelo das probabilidades de três categorias possíveis corresponde ao comportamento de três grupos de sujeitos humanos com estratégias de amostragem de informação variável (inferior) durante uma tarefa de estimação de probabilidade ternária. O modelo HER fornece assim um relato de como a representação de tarefas no nível de unidades individuais contribui para o comportamento. Reimpresso com permissão de37,

Simulação 6 & 7: Interação do mPFC e dlPFC

O modelo HER, sendo uma extensão do modelo previsto de resposta-aída (PRO) do ACC/mPFC, já captura uma ampla gama de efeitos observados dentro do ACC7,25. O modelo HER estende-se além do modelo PRO de duas formas críticas: primeiro, especifica como mPFC e dlPFC podem interagir para suportar comportamentos sofisticados e, segundo, sugere uma organização hierárquica paralela do mPFC na qual sucessivas regiões hierárquicas reportam sinais de erro cada vez mais abstratos. Tal organização da mPFC foi proposta anteriormente38,39, e, de fato, foram encontradas evidências que suportam um papel para a mPFC no processamento de erros hierárquicos27. O modelo HER é capaz de capturar o padrão de atividade observado por Kim et al.26 (Simulação 6) para regiões distintas tanto da mPFC quanto da dlPFC (Fig. 6A, coluna central). O modelo HER interpreta a atividade em regiões hierarquicamente organizadas do mPFC como a discrepância entre os resultados previstos e observados cada vez mais abstratos, consistente com o papel do mPFC no cálculo do erro proposto pelo modelo PRO7,25, e complementar à interpretação de Kim et al. No entanto, enquanto a sua noção de sinais de erro de ordem superior é especificada qualitativamente, erros sucessivamente mais abstratos no modelo HER são produto de previsões quantitativas em níveis inferiores que são insuficientes para explicar as observações de um sujeito, em linha com o quadro de codificação preditiva que informa a estrutura do modelo HER.

Interacções de mPFC e dlPFC, Simulações 6 e 7. O modelo HER sugere como o mPFC e o dlPFC podem cooperar para minimizar o erro de previsão através da passagem de informação de erro e previsão de erro por níveis hierárquicos. (A) Simulação 6. O aumento da atividade em regiões hierárquicas paralelas no modelo HER, associado ao mPFC e dlPFC, está associado a erros (mPFC) e atualizações de previsões de erros (dlPFC) em diferentes níveis de abstração, do concreto (nível 1, comutador de estímulo) ao abstrato (nível 2, comutador de resposta; nível 3, comutador de contexto). (B) Simulação 7. A modulação do mPFC pelas previsões de erro mantidas na dlPFC é crítica para contextualizar as previsões em relação ao provável resultado das ações. Em uma tarefa de retardo de correspondência para amostra, o modelo HER captura corretamente a eliminação do ERN após os testes corretos devido à manutenção das informações relativas à indicação da amostra. Entretanto, quando o modelo é lesionado de tal forma que as informações normalmente mantidas em dlPFC não estão mais disponíveis para mPFC, o modelo produz um ERN para correção e erro dos ensaios da mesma forma.

Provas adicionais relativas à interação entre mPFC e dlPFC vêm de estudos de pacientes com lesões de dlPFC40. Em uma combinação tardia com a tarefa da amostra, uma Negatividade Relacionada ao Erro (ERN) é observada em indivíduos com lesões a dlPFC tanto para estudos corretos quanto incorretos (Fig. 6B, coluna da esquerda). O modelo HER (Simulação 7, Fig. 6B) explica isso como a incapacidade de manter informações relevantes ao longo de um período de atraso, a fim de modular as previsões relativas aos resultados prováveis (Fig. 6B, coluna da direita). Sem esta informação contextual adicional disponível no modelo, tanto os resultados correctos como os incorrectos são surpreendentes, resultando num aumento da actividade mPFC numa versão lesionada do modelo HER em ambos os tipos de ensaios.