Hintergrund: Was ist ein generatives Modell?

Was bedeutet „generativ“ im Namen „Generative Adversarial Network“? „Generativ“ beschreibt eine Klasse von statistischen Modellen, die sich von diskriminativen Modellen unterscheidet.

Informell:

• Generative Modelle können neue Dateninstanzen erzeugen.
• Diskriminative Modelle unterscheiden zwischen verschiedenen Arten von Dateninstanzen.

Ein generatives Modell könnte neue Fotos von Tieren erzeugen, die wie echte Tiere aussehen, während ein diskriminatives Modell einen Hund von einer Katze unterscheiden könnte. GANs sind nur eine Art von generativem Modell.

Formaler ausgedrückt: Bei einem Satz von Dateninstanzen X und einem Satz von Kennzeichnungen Y:

• Generative Modelle erfassen die gemeinsame Wahrscheinlichkeit p(X, Y), oder nurp(X), wenn es keine Kennzeichnungen gibt.
• Diskriminative Modelle erfassen die bedingte Wahrscheinlichkeit p(Y | X).

Ein generatives Modell umfasst die Verteilung der Daten selbst und gibt an, wie wahrscheinlich ein bestimmtes Beispiel ist. Zum Beispiel sind Modelle, die das nächste Wort in einer Sequenz vorhersagen, typischerweise generative Modelle (in der Regel viel einfacher als GANs), weil sie einer Sequenz von Wörtern eine Wahrscheinlichkeit zuweisen können.

Ein diskriminatives Modell ignoriert die Frage, ob eine gegebene Instanz wahrscheinlich ist, und sagt Ihnen nur, wie wahrscheinlich es ist, dass eine Bezeichnung auf die Instanz zutrifft.

Beachten Sie, dass dies eine sehr allgemeine Definition ist. Es gibt viele Arten von generativen Modellen. GANs sind nur eine Art von generativem Modell.

Modellierung von Wahrscheinlichkeiten

Keine der beiden Arten von Modellen muss eine Zahl zurückgeben, die eine Wahrscheinlichkeit darstellt. Man kann die Verteilung von Daten modellieren, indem man diese Verteilung nachahmt.

Ein diskriminierender Klassifikator wie ein Entscheidungsbaum kann beispielsweise eine Instanz kennzeichnen, ohne dieser Kennzeichnung eine Wahrscheinlichkeit zuzuweisen. Ein solcher Klassifikator wäre immer noch ein Modell, weil die Verteilung aller vorhergesagten Bezeichnungen die reale Verteilung der Bezeichnungen in den Daten modellieren würde.

Als ähnliches kann ein generatives Modell eine Verteilung modellieren, indem es überzeugende „falsche“ Daten erzeugt, die so aussehen, als ob sie aus dieser Verteilung stammen.

Generative Modelle sind schwierig

Generative Modelle haben eine schwierigere Aufgabe als analoge diskriminative Modelle. Generative Modelle müssen mehr modellieren.

Ein generatives Modell für Bilder könnte Korrelationen erfassen wie „Dinge, die wie Boote aussehen, tauchen wahrscheinlich in der Nähe von Dingen auf, die wie Wasser aussehen“ und „Augen tauchen wahrscheinlich nicht auf Stirnen auf.“ Das sind sehr komplizierte Verteilungen.

Im Gegensatz dazu könnte ein diskriminatives Modell den Unterschied zwischen „Segelboot“ und „nicht Segelboot“ lernen, indem es nur nach einigen verräterischen Mustern sucht. Es könnte viele der Korrelationen ignorieren, die das generative Modell richtig hinbekommen muss.

Diskriminative Modelle versuchen, Grenzen im Datenraum zu ziehen, während generative Modelle zu modellieren versuchen, wie die Daten im Raum platziert sind. Das folgende Diagramm zeigt zum Beispiel diskriminative und generative Modelle für handschriftliche Ziffern:

Abbildung 1: Diskriminative und generative Modelle handgeschriebener Ziffern.

Das diskriminative Modell versucht, den Unterschied zwischen handgeschriebenen 0’en und 1’en zu erkennen, indem es eine Linie im Datenraum zieht. Wenn es die Linie richtig trifft, kann es 0en von 1en unterscheiden, ohne jemals genau modellieren zu müssen, wo die Instanzen im Datenraum auf beiden Seiten der Linie platziert sind.

Im Gegensatz dazu versucht das generative Modell, überzeugende 1en und 0en zu erzeugen, indem es Ziffern generiert, die nahe an ihre realen Gegenstücke im Datenraum fallen. Es muss die Verteilung im gesamten Datenraum modellieren.

GANs bieten eine effektive Möglichkeit, solche reichhaltigen Modelle so zu trainieren, dass sie einer realen Verteilung ähneln. Um zu verstehen, wie sie funktionieren, müssen wir die Grundstruktur eines GANs verstehen.

Prüfen Sie Ihr Verständnis: Generative vs. diskriminative Modelle