Articles / octobre 19, 2021

Fonction du cortex frontal telle que dérivée du codage prédictif hiérarchique

Nous montrons ici comment le modèle HER peut simuler et rendre compte d’une variété de résultats empiriques publiés dans le dlPFC et le mPFC. Les résultats présentés ci-dessous ne sont en aucun cas exhaustifs. Ils servent à souligner le fait que le modèle HER du PFC, en tant qu’instance de formulations de codage prédictif, est capable d’apprendre de façon autonome des tâches complexes d’une manière qui reproduit les modèles de comportement, les effets neuropsychologiques et l’activité neuronale mesurée par IRMf, EEG et neurophysiologie unitaire observés dans les recherches empiriques. Les détails des simulations se trouvent dans le matériel supplémentaire, ainsi qu’une description des équations définissant le modèle HER. Le matériel supplémentaire comprend également d’autres simulations qui démontrent davantage le pouvoir explicatif du modèle HER.

Simulation 1 : Contexte, mémoire de travail, &Contrôle

Le rôle du dlPFC dans la mémoire de travail et la représentation de la structure de la tâche reste une préoccupation de recherche permanente. Au cours des deux dernières décennies, de nombreuses études d’IRMf ont étudié la structure et la fonction du dlPFC sous diverses tâches hiérarchisées et demandes de mémoire de travail. Dans l’étude de Koechlin et al.24, les auteurs ont étudié la fonction du dlPFC dans deux tâches tout en manipulant la quantité d’informations transmises par des stimuli pertinents pour la tâche. Dans leur condition motrice, l’activité dans tout le dlPFC – des zones étiquetées PMd (cortex prémoteur dorsal) au dlPFC rostral – a été observée comme augmentant de façon monotone à mesure que le contenu informatif d’un indice contextuel augmentait (Fig. 2B). Une augmentation supplémentaire de l’activité a été observée uniquement dans le PMd lorsque les sujets devaient donner deux réponses plutôt qu’une seule. Dans la simulation 1 (Fig. 2A,C), le modèle HER explique la tendance générale de l’augmentation de l’activité dans le dlPFC par l’augmentation de la force des représentations de prédiction des erreurs apprises par le modèle – plus d’informations signifie plus d’erreurs potentielles à prendre en compte. L’activité sommaire du modèle pour chaque condition est en corrélation avec le changement du signal BOLD observé dans les données humaines pour la condition motrice (r = 0,70, p < 0,001) et la condition de tâche (r = 0,75, p < 0,001). Ce compte rendu complète le modèle de la cascade d’information24 basé sur des formulations de la théorie de l’information ; dans la théorie de l’information, l’information est la quantité par laquelle l’incertitude au sujet d’une variable aléatoire diminue étant donné une autre variable. Les prédictions d’erreurs apprises par le modèle HER sont utilisées pour moduler les prédictions de résultats afin de soutenir un comportement correct – c’est-à-dire que leur rôle est de réduire l’incertitude concernant les résultats probables des actions. Le modèle HER explique l’augmentation supplémentaire de l’activité observée dans la PMd par la mise à jour transitoire des représentations (voir matériel supplémentaire) au niveau le plus bas du modèle lorsque des stimuli successifs exigent des réponses différentes, alors que les conditions dans lesquelles une seule réponse est requise n’entraînent pas de mise à jour supplémentaire (Fig. 2A, bas).

Simulation 2 : Représentation apprise

Bien que le modèle HER soit capable de capturer une gamme de résultats liés à l’activité d’ensembles de neurones reflétée par le signal BOLD (voir matériel supplémentaire), il postule également un schéma de représentation particulier déployé dans le dlPFC. En effet, les unités individuelles du modèle HER du dlPFC codent chacune pour une composante d’une prédiction d’erreur multidimensionnelle. En plus de saisir les données liées à la force de l’activité observée dans le dlPFC, le modèle HER devrait donc également être capable de rendre compte des données relatives à l’activité des neurones individuels ainsi que des techniques conçues pour décoder l’activité neuronale, comme la MVPA.

Pour vérifier si les représentations de prédiction d’erreur apprises par le modèle HER sont cohérentes avec celles observées chez les sujets humains, nous avons enregistré l’activité du modèle alors qu’il effectuait la tâche de performance continue 1-2AX (simulation 2, figure 3A). Nous avons ensuite classé les représentations actives dans le modèle pendant les périodes de la tâche au cours desquelles des variables contextuelles de haut et de bas niveau ont été montrées au modèle (voir Méthodes en ligne), mais avant l’affichage d’un indice de cible potentielle. Cette approche est similaire aux analyses de modèles multi-voxels rapportées par Nee & Brown11. La classification des représentations du modèle est conforme à celle observée chez les sujets humains (Fig. 3A) : au niveau hiérarchique le plus bas, les séquences qui peuvent aboutir à une réponse cible (1 A/2B) et celles qui n’aboutiront certainement pas à une réponse cible (1B/2 A) sont représentées de manière distincte (Fig. 3A, en bas). Cependant, les représentations se chevauchent aussi partiellement, de sorte que les séquences 1 A sont partiellement catégorisées comme des séquences 2B, tandis que les séquences 1B sont partiellement catégorisées comme des séquences 2 A. Au niveau 2 du modèle HER, la classification de chaque séquence est plus décisive, chaque séquence unique (1 A/1B/2 A/2B) étant décodée sans ambiguïté (Fig. 3A, milieu). Ce résultat est similaire aux données humaines, dans lesquelles une région située au milieu du DLPFC montre une tendance à l’augmentation des preuves de codage de séquences uniques. Enfin, au troisième niveau hiérarchique (Fig. 3A, en haut), les séquences commençant par 1 ou 2 sont chacune regroupées (c’est-à-dire que les preuves sont égales pour 1 A et 1B), ce qui reflète le rôle du dlPFC rostral dans le codage des variables contextuelles de haut niveau. Le modèle HER explique la confusion d’une séquence cible avec une autre (1 A/2B) et d’une séquence non cible avec une autre (1B/2 A) au niveau hiérarchique le plus bas comme une conséquence de l’activation accrue d’une réponse prédite commune aux deux types de séquences – une réponse cible dans la première condition, et une réponse non cible dans la seconde.

Simulation 3 : Neurophysiologie d’unité unique

Le schéma de représentation proposé par le modèle HER suggère que les neurones individuels du lPFC devraient coder pour les composants d’une représentation d’erreur distribuée, avec des unités uniques signalant l’identité et la probabilité d’observer une erreur particulière. Le modèle suggère également que ces signaux évoluent au cours d’un essai, à mesure que la probabilité d’observer des types d’erreurs spécifiques augmente ou diminue. Nous avons enregistré l’activité du modèle pendant qu’il effectuait une tâche de correspondance différée avec l’échantillon (DMTS) (Simulation 3). Conformément aux types d’unités observés chez les singes macaques34, les unités du modèle HER ont été identifiées comme ayant une activité accrue après l’apparition d’une sonde cible correspondant à l’échantillon (amélioration de la correspondance ; Fig. 3B), tandis que des unités distinctes ont été identifiées comme ayant une activité réduite après une cible correspondante (suppression de la correspondance ; Fig. 3B). Le modèle HER explique ces deux types de neurones par la modulation des prédictions concernant les réponses possibles après la présentation d’un indice de cible. Lorsqu’une cible correspondante est présentée, l’activité des unités prédisant une réponse » correspondante » augmente (amélioration) tandis que l’activité des unités prédisant une réponse » non correspondante » diminue (suppression). Le modèle HER suggère en outre a priori que des types supplémentaires de neurones devraient être observés dans le lPFC, à savoir les neurones d’amélioration et de suppression du mismatch – des neurones dont l’activité reflète l’augmentation et la diminution de la probabilité de faire une réponse de non-appariement et d’appariement, respectivement.

Simulation 4 : Sélectivité mixte

Un autre test du schéma de représentation des erreurs postulé par le modèle HER consiste à examiner si les représentations des erreurs apprises par le modèle peuvent expliquer la diversité des types de neurones couramment observés dans les études neurophysiologiques d’unités uniques. Les neurones uniques du PFC présentent couramment une sélectivité mixte35, répondant de manière hétérogène à des combinaisons de stimuli pertinents pour la tâche. Pour déterminer si les unités du modèle HER présentent une sélectivité mixte, nous avons simulé le modèle sur une variante de la tâche DMTS36 dans laquelle les sondes de l’échantillon et de la cible étaient précédées d’un indice de règle indiquant si le modèle devait répondre de manière ciblée aux combinaisons échantillon/cible CORRESPONDANTES (comme dans la DMTS habituelle), ou si le modèle devait répondre de manière ciblée aux combinaisons échantillon/cible NON CORRESPONDANTES. L’activité du modèle enregistrée au niveau 2 de la hiérarchie HER révèle un groupe de 6 unités dont l’activité était associée de manière fiable à la performance de la tâche (Fig. 4). Deux de ces unités répondaient exclusivement à l’indice de règle – une unité était active à la suite d’indices de concordance, et silencieuse pour les indices de non- concordance, tandis que l’autre présentait le schéma opposé. Les autres unités présentaient des schémas complexes d’activité à travers les conditions de règle, de modalité et d’identité d’image, en accord avec les types de neurones observés dans le PFC des primates.

Simulation 5 : Les bases neurales du comportement dans le cortex préfrontal

En plus de reproduire les effets des données IRMf humaines et des études neurophysiologiques à unité unique chez le singe concernant la nature des représentations dans le PFC, le modèle HER suggère également comment ces représentations peuvent influencer les modèles de comportement. Afin d’étudier l’influence des représentations organisées de manière hiérarchique sur le déroulement temporel des comportements appris, nous avons simulé le modèle (Simulation 5, Fig. 5) sur une tâche d’estimation de probabilité ternaire37 dans laquelle les sujets devaient estimer la probabilité qu’un stimulus composé, variant selon deux dimensions de caractéristiques, appartienne à chacune des trois catégories. Nos simulations diffèrent de la tâche originale en ce sens que, dans l’expérience humaine, les sujets étaient autorisés à choisir des échantillons dans un espace de problème bidimensionnel, alors que dans nos simulations, le modèle se voyait présenter des échantillons choisis au hasard. Néanmoins, le comportement cible de l’expérience et de nos simulations était le même, à savoir les jugements de probabilité des catégories. On a constaté que les sujets humains adoptaient trois stratégies différentes dans leurs jugements de probabilité correspondant à leur comportement d’échantillonnage (Fig. 5, rangée du bas) : un groupe (Least Certain, LC, gauche) attribuait systématiquement des probabilités presque égales à chaque catégorie, un deuxième groupe (Label Margin, LM, centre) attribuait une faible probabilité à une catégorie et des probabilités approximativement égales aux deux autres, tandis que le dernier groupe (Most Certain, MC, droite) attribuait une forte probabilité à une catégorie et de faibles probabilités aux autres. Des schémas de comportement similaires ont été observés dans le modèle HER au cours d’expériences simulées dans lesquelles le taux d’apprentissage était manipulé comme suit (Fig. 5, rangée supérieure). Pour les simulations dans lesquelles tout apprentissage était désactivé, les estimations de probabilité du modèle correspondaient au groupe LC. Lorsque l’apprentissage n’était activé que pour le niveau hiérarchique le plus bas, le comportement du modèle correspondait au groupe LM, reflétant des représentations apprises qui permettent au modèle d’exclure l’une des trois catégories, mais ne disposant pas des informations d’ordre supérieur nécessaires pour distinguer les deux autres. Enfin, lorsque l’apprentissage est activé pour tous les niveaux, le modèle apprend rapidement la tâche entière, ce qui correspond au comportement du groupe MC. Dans le modèle HER, ces comportements sont intimement liés aux prédictions d’erreurs apprises : le modèle décompose une tâche en sélectionnant, à chaque niveau hiérarchique, la caractéristique du stimulus qui réduit le mieux l’incertitude de la réponse. Dans ce dernier cas, le comportement du modèle progresse rapidement à travers les comportements associés à la désactivation de l’apprentissage à des étapes successives : initialement, le comportement du modèle correspond au groupe LC, puis LM, avant de converger vers une solution au problème d’estimation ternaire, suggérant comment un apprentissage réaliste peut nécessiter l’acquisition d’associations de bas niveau avant le développement de représentations de plus haut niveau. Le modèle HER fournit donc un compte rendu de la façon dont les représentations neuronales acquises au cours de l’apprentissage pourraient contribuer à des modèles de comportement – l’incapacité à former des représentations d’ordre supérieur n’influence pas seulement les jugements de probabilité, mais peut en outre informer l’échantillonnage autodirigé d’informations.

Simulation 6 & 7 : Interaction du mPFC et du dlPFC

Le modèle HER, étant une extension du modèle de réponse-résultat prédit (PRO) du CAC/mPFC, capture déjà un large éventail d’effets observés au sein du CAC7,25. Le modèle HER va au-delà du modèle PRO de deux façons essentielles : premièrement, il spécifie comment le mPFC et le dlPFC peuvent interagir afin de soutenir des comportements sophistiqués, et deuxièmement, il suggère une organisation hiérarchique parallèle du mPFC dans laquelle des régions hiérarchiques successives signalent des signaux d’erreur de plus en plus abstraits. Une telle organisation du mPFC a été proposée précédemment38,39 et, en effet, des preuves ont été trouvées qui soutiennent un rôle du mPFC dans le traitement des erreurs hiérarchiques27. Le modèle HER est capable de capturer le modèle d’activité observé par Kim et al.26 (Simulation 6) pour des régions distinctes du mPFC et du dlPFC (Fig. 6A, colonne du milieu). Le modèle HER interprète l’activité dans les régions du mPFC organisées de manière hiérarchique comme la divergence entre les résultats prédits et observés de plus en plus abstraits, ce qui est cohérent avec le rôle du mPFC dans le calcul des erreurs proposé par le modèle PRO7,25, et complémentaire de l’interprétation de Kim et al. Cependant, alors que leur notion de signaux d’erreur d’ordre supérieur est spécifiée qualitativement, les erreurs successivement plus abstraites dans le modèle HER sont le produit de prédictions quantitatives à des niveaux inférieurs qui sont insuffisantes pour expliquer les observations d’un sujet, conformément au cadre de codage prédictif qui informe la structure du modèle HER.

Des preuves supplémentaires concernant l’interaction du mPFC et du dlPFC proviennent d’études de patients présentant des lésions du dlPFC40. Dans une tâche de correspondance différée avec un échantillon, une négativité liée à l’erreur (ERN) est observée chez les sujets présentant des lésions du dlPFC pour les essais corrects et incorrects (figure 6B, colonne de gauche). Le modèle HER (Simulation 7, Fig. 6B) explique ce phénomène par l’incapacité à conserver des informations pertinentes pendant une période de retard afin de moduler les prédictions concernant les résultats probables (Fig. 6B, colonne de droite). Sans cette information contextuelle supplémentaire disponible dans le modèle, les résultats corrects et incorrects sont surprenants, ce qui entraîne une augmentation de l’activité du mPFC dans une version lésionnée du modèle HER sur les deux types d’essais.

Universe