Contexte : Qu’est-ce qu’un modèle génératif ?

Que signifie « génératif » dans le nom « Generative Adversarial Network » ? « Génératif » décrit une classe de modèles statistiques qui s’oppose aux modèles discriminatifs.

Informellement:

• Les modèles génératifs peuvent générer de nouvelles instances de données.
• Les modèles discriminatifs discriminent entre différents types d’instances de données.

Un modèle génératif pourrait générer de nouvelles photos d’animaux qui ressemblent à de vrais animaux, tandis qu’un modèle discriminatif pourrait distinguer un chien d’un chat. Les GAN ne sont qu’un type de modèle génératif.

Plus formellement, étant donné un ensemble d’instances de données X et un ensemble d’étiquettes Y :

• Les modèles génératifs capturent la probabilité conjointe p(X, Y), ou simplementp(X) s’il n’y a pas d’étiquettes.
• Les modèles discriminatifs capturent la probabilité conditionnelle p(Y | X).

Un modèle génératif inclut la distribution des données elles-mêmes, et vous dit quelle est la probabilité d’un exemple donné. Par exemple, les modèles qui prédisent le prochain mot d’une séquence sont typiquement des modèles génératifs (généralement beaucoup plus simples que les GAN)parce qu’ils peuvent attribuer une probabilité à une séquence de mots.

Un modèle discriminant ignore la question de savoir si une instance donnée est probable, et vous dit simplement quelle est la probabilité qu’une étiquette s’applique à cetteinstance.

Notez qu’il s’agit d’une définition très générale. Il existe de nombreux types de modèles génératifs. Les GAN ne sont qu’un type de modèle génératif.

Modélisation des probabilités

Aucun des deux types de modèle ne doit retourner un nombre représentant une probabilité. Vous pouvez modéliser la distribution des données en imitant cette distribution.

Par exemple, un classificateur discriminant comme un arbre de décision peut étiqueter une instancesans attribuer de probabilité à cette étiquette. Un tel classificateur serait encore un modèle parce que la distribution de tous les labels prédits modéliserait la distribution réelle des labels dans les données.

De même, un modèle génératif peut modéliser une distribution en produisant des « fausses » données convaincantes qui semblent tirées de cette distribution.

Les modèles génératifs sont difficiles

Les modèles génératifs s’attaquent à une tâche plus difficile que les modèles discriminatifs analogues. Les modèles génératifs doivent modéliser davantage.

Un modèle génératif pour les images pourrait capturer des corrélations telles que « les choses qui ressemblent à des bateaux vont probablement apparaître près de choses qui ressemblent à de l’eau « et « il est peu probable que des yeux apparaissent sur des fronts. » Ce sont des distributions très compliquées.

En revanche, un modèle discriminant pourrait apprendre la différence entre « voilier » ou « pas voilier » en recherchant simplement quelques modèles révélateurs. Il pourrait ignorer beaucoup de corrélations que le modèle génératif doit obtenir correctement.

Les modèles discriminatifs essaient de tracer des frontières dans l’espace des données, tandis que les modèles génératifs essaient de modéliser comment les données sont placées dans l’espace. Par exemple, le diagramme suivant montre des modèles discriminatifs et génératifs de chiffres manuscrits :

Figure 1 : Modèles discriminatif et génératif de chiffres manuscrits.

Le modèle discriminatif essaie de faire la différence entre les 0’sand 1 manuscrits en traçant une ligne dans l’espace des données. S’il obtient la bonne ligne, il peut distinguer les 0 des 1 sans jamais avoir à modéliser exactement où lesinstances sont placées dans l’espace de données de chaque côté de la ligne.

En revanche, le modèle génératif essaie de produire des 1 et des 0 convaincants en générant des chiffres qui se rapprochent de leurs homologues réels dans l’espace de données. Il doit modéliser la distribution dans tout l’espace de données.

LesGAN offrent un moyen efficace d’entraîner de tels modèles riches pour ressembler à une distribution réelle. Pour comprendre comment ils fonctionnent, nous devrons comprendre la structure de base d’un GAN.

Vérifiez votre compréhension : Modèles génératifs vs. modèles discriminatifs