Función de la corteza frontal derivada de la codificación predictiva jerárquica

Aquí mostramos cómo el modelo HER puede simular y dar cuenta de una variedad de hallazgos empíricos publicados en el dlPFC y el mPFC. Los resultados que se presentan a continuación no son en absoluto exhaustivos. Sirven para enfatizar el punto principal de que el modelo HER del CPF, como una instancia de las formulaciones de codificación predictiva, es capaz de aprender de forma autónoma tareas complejas de una manera que reproduce los patrones de comportamiento, los efectos neuropsicológicos y la actividad neural medida por fMRI, EEG, neurofisiología de unidad única observada en la investigación empírica. Los detalles de las simulaciones se pueden encontrar en el material suplementario, junto con una descripción de las ecuaciones que definen el modelo HER. El material suplementario también incluye otras simulaciones que demuestran más del poder explicativo del modelo HER.

Simulación 1: Contexto, Memoria de Trabajo, & Control

El papel del dlPFC en la memoria de trabajo y la representación de la estructura de la tarea sigue siendo una preocupación de investigación en curso. En las últimas dos décadas, numerosos estudios de fMRI han investigado la estructura y la función del dlPFC bajo varias tareas jerárquicas y demandas de memoria de trabajo. En Koechlin et al.24, los autores investigaron la función del dlPFC en dos tareas mientras manipulaban la cantidad de información transmitida por los estímulos relevantes para la tarea. En su condición motora, se observó que la actividad en todo el dlPFC -desde las áreas etiquetadas como PMd (corteza premotora dorsal) hasta el dlPFC rostral- aumentaba monotónicamente a medida que aumentaba el contenido de información de una pista contextual (Fig. 2B). Sólo se observó un aumento adicional de la actividad en la PMd cuando se pidió a los sujetos que dieran dos respuestas en lugar de una sola. En la Simulación 1 (Fig. 2A,C), el modelo HER explica la tendencia general de aumento de la actividad en el dlPFC a medida que aumenta la fuerza de las representaciones de predicción de error aprendidas por el modelo – más información significa más errores potenciales que deben ser contabilizados. El resumen de la actividad del modelo para cada condición se correlaciona con el cambio de la señal BOLD observado en los datos de los humanos tanto para la condición motora (r = 0,70, p < 0,001) como para la condición de tarea (r = 0,75, p < 0,001). Esta cuenta complementa el modelo de cascada de información24 basado en las formulaciones de la teoría de la información; en la teoría de la información, la información es la cantidad en la que la incertidumbre sobre una variable aleatoria disminuye dada otra variable. Las predicciones de error aprendidas por el modelo HER se utilizan para modular las predicciones de resultados con el fin de apoyar el comportamiento correcto, es decir, su función es reducir la incertidumbre sobre los resultados probables de las acciones. El modelo HER explica el aumento adicional de la actividad observado en PMd a través de la actualización transitoria de las representaciones (ver material suplementario) en el nivel más bajo del modelo cuando los estímulos sucesivos exigen respuestas diferentes, mientras que las condiciones en las que sólo se requiere una única respuesta no implican una actualización adicional (Fig. 2A, abajo).

Codificación de información en el dlPFC. Los datos simulados están encerrados en cajas de doble borde en todo el manuscrito. A medida que el contenido de la información de un contexto cue aumenta, calculado en Bits (eje X), la actividad a través de las regiones organizadas jerárquicamente de dlPFC aumenta. La fuerza de las predicciones de error mantenidas en el dlPFC es proporcional al contenido de información: cuanto más informativa es una pista, mayor será el error reportado sin la información suministrada por esa pista. (A) El modelo HER capta los efectos de la información relacionada tanto con la naturaleza de los estímulos relevantes para la tarea (ejes x) como con las respuestas que pueden ser necesarias (ejes y). Por tanto, el HER proporciona una explicación complementaria al modelo de cascada de información del CPF. (B) En la condición de tarea de Koechlin et al.24, se observa que la actividad en el CPFD aumenta con el contenido de información de una pista contextual. Sin embargo, aquí la actividad en el dlPFC caudal (panel B, centro) muestra un incremento adicional cuando los sujetos deben cambiar ocasionalmente entre dos tareas (vocal/consonante, identificación de mayúsculas/minúsculas). (C) Este aumento adicional relacionado con el cambio de tarea se contabiliza como aumentos transitorios de la actividad en el modelo HER cuando la naturaleza de la tarea cambia (fila central).

Simulación 2: Representación aprendida

Aunque el modelo HER es capaz de capturar una serie de resultados relacionados con la actividad de conjuntos de neuronas reflejados por la señal BOLD (véase el material suplementario), también postula un esquema de representación particular desplegado en el dlPFC. A saber, las unidades individuales en el modelo HER dlPFC codifican cada una un componente de una predicción de error multidimensional. Además de capturar los datos relacionados con la fuerza de la actividad observada en el dlPFC, el modelo HER también debería ser capaz de dar cuenta de los datos relacionados con la actividad de las neuronas individuales, así como de las técnicas diseñadas para decodificar la actividad neuronal, como el MVPA.

Para investigar si las representaciones de predicción de errores aprendidas por el modelo HER son consistentes con las observadas en sujetos humanos, registramos la actividad del modelo mientras realizaba la tarea de rendimiento continuo 1-2AX (Simulación 2, Fig. 3A). Posteriormente, clasificamos las representaciones activas en el modelo durante los periodos de la tarea en los que se habían mostrado al modelo variables de contexto de alto y bajo nivel (véase Métodos en línea), pero antes de que se mostrara una posible señal de objetivo. Este enfoque es similar a los análisis de patrones multivoxel reportados por Nee & Brown11. La clasificación de las representaciones del modelo es consistente con la observada en sujetos humanos (Fig. 3A): en el nivel jerárquico más bajo, las secuencias que pueden culminar en una respuesta objetivo (1 A/2B) y las que seguramente no culminarán en una respuesta objetivo (1B/2 A) están representadas de forma distinta (Fig. 3A, abajo). Sin embargo, las representaciones también se solapan parcialmente, de forma que las secuencias 1 A se clasifican parcialmente como secuencias 2B, mientras que las secuencias 1B se clasifican parcialmente como secuencias 2 A. En el nivel 2 del modelo HER, la clasificación de cada secuencia es más decisiva, y cada secuencia única (1 A/1B/2 A/2B) se decodifica sin ambigüedad (Fig. 3A, Medio). Este resultado es similar a los datos humanos, en los que una región en la parte media del CPD muestra una tendencia hacia una mayor evidencia de codificación de secuencias únicas. Finalmente, en el tercer nivel jerárquico (Fig. 3A, Superior), las secuencias que comienzan con 1 o 2 están cada una colapsada (es decir, igual evidencia para 1 A y 1B), reflejando el papel de la dlPFC rostral en la codificación de variables de contexto de alto nivel. El modelo HER explica la confusión de una secuencia objetivo con otra (1 A/2B) y de una secuencia no objetivo con otra (1B/2 A) en el nivel jerárquico más bajo como consecuencia de la mayor activación de una respuesta predicha común a ambos tipos de secuencias: una respuesta objetivo en la primera condición, y una respuesta no objetivo en la segunda.

Representaciones distribuidas en el CPF. Unidades separadas en el modelo HER representan componentes de una predicción de error multidimensional elaborada jerárquicamente, sugiriendo cómo las tareas cognitivas pueden ser representadas neuralmente. (A) Izquierda: el MVPA sobre las representaciones de predicción de errores mantenidas por el modelo mientras se realiza el CPT 1-2AX son consistentes con los datos humanos que muestran que las regiones caudales de la CPFl codifican las secuencias objetivo potenciales independientemente del contexto de orden superior, mientras que las regiones más rostrales codifican variables de contexto más abstractas. Derecha: Resultados de MVPA en humanos, reimpresos con permiso de Nee & Brown11. Los resultados de clasificación de las representaciones del modelo son naturalmente más robustos que el análisis de patrones de los datos de fMRI, ya que es posible registrar la activación de las unidades en el modelo con perfecta fidelidad, mientras que las señales BOLD están sujetas al ruido. No obstante, la precisión de la clasificación de las representaciones del modelo se correlacionó significativamente con la precisión de la clasificación de los datos humanos tanto en el nivel jerárquico 2/mid-DLPFC (r = 0,64, p = 0,0074) como en el nivel 1/corteza premotora dorsal (r = 0,91, p < 0,001). (B) Las unidades del nivel 1 del modelo HER (izquierda) muestran la actividad relacionada con la supresión y el aumento del emparejamiento mientras se realiza una tarea de emparejamiento con muestra retrasada. Antes de observar un estímulo objetivo, la actividad en estas unidades refleja la misma probabilidad de observar una señal de coincidencia o de no coincidencia. Tras la presentación del estímulo objetivo, la actividad de las unidades que predicen la aparición de una coincidencia aumenta, mientras que la actividad de las unidades que no predicen la coincidencia se suprime, de forma similar a los datos registrados en el CPFl de los monos (derecha). El modelo HER predice además la existencia de unidades que muestran efectos de potenciación y supresión de las coincidencias. Reimpreso con permiso de Miller et al.34.

Simulación 3: Neurofisiología de una sola unidad

El esquema de representación propuesto por el modelo HER sugiere que las neuronas individuales en la CPFl deberían codificar los componentes de una representación de error distribuida, con unidades individuales que señalan la identidad y la probabilidad de observar un error particular. El modelo sugiere además que estas señales deberían evolucionar a lo largo de un ensayo a medida que la probabilidad de observar tipos específicos de errores aumenta o disminuye. Registramos la actividad del modelo mientras realizaba una tarea de emparejamiento retrasado de la muestra (Simulación 3). En consonancia con los tipos de unidades observadas registradas en monos macacos34 , se identificaron unidades en el modelo HER con una mayor actividad tras la aparición de una sonda objetivo que coincidía con la muestra (aumento de la coincidencia; Fig. 3B), mientras que se identificaron unidades distintas cuya actividad disminuía tras un objetivo coincidente (supresión de la coincidencia; Fig. 3B). El modelo HER explica estos dos tipos de neuronas como la modulación de las predicciones con respecto a las posibles respuestas tras la presentación de un objetivo. Cuando se presenta un objetivo coincidente, la actividad de las unidades que predicen una respuesta «coincidente» aumenta (aumento) mientras que la actividad de las unidades que predicen una respuesta «no coincidente» disminuye (supresión). El modelo HER sugiere además, a priori, que deberían observarse tipos adicionales de neuronas en el CPFl, a saber, neuronas de potenciación y supresión de la falta de coincidencia, es decir, neuronas cuya actividad refleja el aumento y la disminución de la probabilidad de dar una respuesta de no coincidencia y de coincidencia, respectivamente.

Simulación 4: Selectividad mixta

Una prueba más del esquema de representación del error postulado por el modelo HER es examinar si las representaciones del error aprendidas por el modelo pueden explicar la diversidad de tipos de neuronas comúnmente observadas en estudios neurofisiológicos de una sola unidad. Las neuronas individuales en el CPF muestran habitualmente una selectividad mixta35 , respondiendo de forma heterogénea a combinaciones de estímulos relevantes para la tarea. Para investigar si las unidades del modelo HER muestran una selectividad mixta, simulamos el modelo en una variación de la tarea DMTS36 en la que las sondas de muestra y objetivo iban precedidas de una regla que indicaba si el modelo debía dar una respuesta de objetivo a las combinaciones de muestra/objetivo ADECUADAS (como en el DMTS habitual), o si el modelo debía dar una respuesta de objetivo a las combinaciones de muestra/objetivo NO ADECUADAS. La actividad del modelo registrada en el nivel 2 de la jerarquía HER revela un grupo de 6 unidades cuya actividad se asoció de forma fiable con el rendimiento de la tarea (Fig. 4). Dos de estas unidades respondieron exclusivamente a la señal de la regla: una unidad estuvo activa tras las señales de COINCIDENCIA, y silenciosa para las señales de NO COINCIDENCIA, mientras que la otra mostró el patrón opuesto. Las unidades restantes mostraron patrones complejos de actividad a través de la regla, la modalidad y las condiciones de identidad de la imagen, consistentes con los tipos de neuronas observados en el CPF de los primates.

Selectividad mixta en el modelo HER. Las unidades del nivel 2 del modelo HER muestran patrones complejos en respuesta a los estímulos. Las respuestas de las unidades 1-4 muestran interacciones entre una regla indicada y un estímulo de muestra presentado durante una tarea DMTS, con algunas unidades respondiendo preferentemente a, por ejemplo, combinaciones de reglas «Same» y «Picture 1». Otras unidades del modelo (5 & 6) responden únicamente a una regla preferida: ‘Same’ (Unidad 6, panel B) o ‘Different’ (Unidad 5, panel A). La combinación de unidades de interacción regla-específica y regla-señal replica hallazgos similares en el LPFC de primates36.

Simulación 5: Las bases neurales del comportamiento en el córtex prefrontal

Además de reproducir los efectos de los datos de fMRI en humanos y de los estudios de neurofisiología de una sola unidad en mono respecto a la naturaleza de las representaciones en el PFC, el modelo HER también sugiere cómo estas representaciones pueden influir en los patrones de comportamiento. Para investigar la influencia de las representaciones organizadas jerárquicamente en el curso temporal de los comportamientos aprendidos, simulamos el modelo (Simulación 5, Fig. 5) en una tarea de estimación de probabilidad ternaria37 en la que se pedía a los sujetos que estimaran la probabilidad de que un estímulo compuesto, que variaba a lo largo de dos dimensiones de características, perteneciera a cada una de las tres categorías. Nuestras simulaciones difieren de la tarea original en que, en el experimento con humanos, se permitía a los sujetos elegir muestras de un espacio de problemas bidimensional, mientras que en nuestras simulaciones se mostraban al modelo muestras seleccionadas al azar. No obstante, el comportamiento objetivo tanto del experimento como de nuestras simulaciones era el mismo, es decir, los juicios de probabilidad de las categorías. Los sujetos humanos adoptaron tres estrategias diferentes en sus juicios de probabilidad correspondientes a su comportamiento de muestreo (Fig. 5, fila inferior): un grupo (Least Certain, LC, izquierda) asignó sistemáticamente probabilidades casi iguales para cada categoría, un segundo grupo (Label Margin, LM, centro) asignó una probabilidad baja a una categoría y probabilidades aproximadamente iguales a las otras dos, mientras que el grupo final (Most Certain, MC, derecha) asignó una probabilidad alta a una categoría y probabilidades bajas a las otras. Se observaron patrones de comportamiento similares en el modelo HER durante los experimentos simulados en los que se manipuló la tasa de aprendizaje de la siguiente manera (Fig. 5, fila superior). En las simulaciones en las que se desactivó todo el aprendizaje, las estimaciones de probabilidad del modelo correspondieron al grupo LC. Cuando se habilitó el aprendizaje sólo para el nivel jerárquico más bajo, el comportamiento del modelo corresponde al grupo LM, reflejando representaciones aprendidas que permiten al modelo descartar una de las tres categorías pero que carecen de la información de orden superior necesaria para distinguir entre las dos restantes. Por último, cuando se habilita el aprendizaje para todos los niveles, el modelo aprende rápidamente toda la tarea, lo que corresponde al comportamiento del grupo MC. En el modelo HER, estos comportamientos están íntimamente ligados a las predicciones de error aprendidas: el modelo descompone una tarea seleccionando, en cada nivel jerárquico, la característica del estímulo que mejor reduce la incertidumbre de la respuesta. En este último caso, el comportamiento del modelo progresa rápidamente a través de los comportamientos asociados a la desactivación del aprendizaje en etapas sucesivas: inicialmente el comportamiento del modelo corresponde al grupo LC, seguido de LM, antes de converger en una solución al problema de estimación ternaria, lo que sugiere cómo el aprendizaje realista puede requerir la adquisición de asociaciones de bajo nivel antes del desarrollo de representaciones de nivel superior. El modelo HER proporciona, por tanto, una explicación de cómo las representaciones neuronales adquiridas durante el aprendizaje podrían contribuir a los patrones de comportamiento: la incapacidad de formar representaciones de orden superior no sólo influye en los juicios de probabilidad, sino que además puede informar sobre el muestreo autodirigido de información.

Conectando las representaciones con el comportamiento. Comportamiento del modelo HER (arriba) con el aprendizaje habilitado selectivamente en los niveles jerárquicos cero (izquierda), uno (centro) y todos (derecha). Cada punto representa un único ensayo. La estimación del modelo de las probabilidades de tres posibles categorías coincide con el comportamiento de tres grupos de sujetos humanos con diferentes estrategias de muestreo de información (abajo) durante una tarea de estimación de probabilidad ternaria. El modelo HER proporciona, por tanto, una explicación de cómo la representación de la tarea a nivel de unidades individuales contribuye al comportamiento. Reimpreso con permiso de37.

Simulación 6 & 7: Interacción del CPM y el CPD

El modelo HER, al ser una extensión del modelo de respuesta-resultado predicho (PRO) del CAC/ CPM, ya captura una amplia gama de efectos observados dentro del CAC7,25. El modelo HER va más allá del modelo PRO en dos aspectos fundamentales: en primer lugar, especifica cómo la CPM y la CPDL pueden interactuar para apoyar comportamientos sofisticados y, en segundo lugar, sugiere una organización jerárquica paralela de la CPM en la que las sucesivas regiones jerárquicas informan de señales de error cada vez más abstractas. Esta organización de la CPM se ha propuesto anteriormente38,39 y, de hecho, se han encontrado pruebas que apoyan el papel de la CPM en el procesamiento de errores jerárquicos27. El modelo HER es capaz de capturar el patrón de actividad observado por Kim et al.26 (Simulación 6) para distintas regiones tanto de la CPM como de la CPDL (Fig. 6A, columna central). El modelo HER interpreta la actividad en las regiones jerárquicamente organizadas de la CPM como la discrepancia entre los resultados cada vez más abstractos predichos y los observados, lo que es coherente con el papel de la CPM en el cálculo de errores propuesto por el modelo PRO7,25, y complementa la interpretación de Kim et al. Sin embargo, mientras que su noción de señales de error de orden superior se especifica cualitativamente, los errores sucesivamente más abstractos en el modelo HER son producto de predicciones cuantitativas a niveles inferiores que son insuficientes para explicar las observaciones de un sujeto, en línea con el marco de codificación predictiva que informa la estructura del modelo HER.

Interacciones de mPFC y dlPFC, Simulaciones 6 y 7. El modelo HER sugiere cómo la mPFC y la dlPFC pueden cooperar para minimizar el error de predicción a través de la transmisión de información de error y de predicción a través de niveles jerárquicos. (A) Simulación 6. El aumento de la actividad en las regiones jerárquicas paralelas en el modelo HER, asociadas a la CPM y a la CPDL, se asocia a los errores (CPM) y a las actualizaciones de las predicciones de error (CPDL) en diferentes niveles de abstracción, desde lo concreto (nivel 1, cambio de estímulo) hasta lo abstracto (nivel 2, cambio de respuesta; nivel 3, cambio de contexto). (B) Simulación 7. La modulación de la mPFC por las predicciones de error mantenidas en la dlPFC es fundamental para contextualizar las predicciones relativas al resultado probable de las acciones. En una tarea de emparejamiento retardado de la muestra, el modelo HER capta correctamente la eliminación de la RER tras los ensayos correctos debido al mantenimiento de la información relativa a la señal de la muestra. Sin embargo, cuando el modelo se lesiona de manera que la información que normalmente se mantiene en el CPDL ya no está disponible para el CPM, el modelo produce una NRE tanto en los ensayos correctos como en los de error.

La evidencia adicional con respecto a la interacción del CPDL y el CPMm proviene de estudios de pacientes con lesiones del CPDL40. En una tarea de emparejamiento retardado con una muestra, se observa una Negatividad Relacionada con el Error (ERN) en sujetos con lesiones en el dlPFC tanto para los ensayos correctos como para los incorrectos (Fig. 6B, columna izquierda). El modelo HER (Simulación 7, Fig. 6B) explica esto como la incapacidad de mantener información relevante a través de un periodo de retraso para modular las predicciones sobre los resultados probables (Fig. 6B, columna derecha). Sin esta información contextual adicional disponible en el modelo, tanto los resultados correctos como los incorrectos son sorprendentes, lo que resulta en un aumento de la actividad del CPM en una versión lesionada del modelo HER en ambos tipos de ensayos.