Háttér: Mi az a generatív modell?

Mit jelent a “generatív” a “Generative Adversarial Network” névben? “Generatív” a statisztikai modellek egy osztályát írja le, amely ellentétben áll a diszkriminatív modellekkel.

Informálisan:

• A generatív modellek képesek új adatpéldányokat generálni.
• A diszkriminatív modellek megkülönböztetik a különböző típusú adatpéldányokat.

A generatív modell új állatfotókat generálhat, amelyek úgy néznek ki, mint a valódi állatok, míg a diszkriminatív modell meg tudja különböztetni a kutyát a macskától. A GAN-ok csak a generatív modellek egyik fajtája.

Formálisabban, adott X adatpéldányok és Y címkék halmaza:

• A generatív modellek a közös valószínűséget p(X, Y), vagy csakp(X), ha nincsenek címkék.
• A diszkriminatív modellek a feltételes valószínűséget p(Y | X) ragadják meg.

A generatív modell magában foglalja az adatok eloszlását, és megmondja, hogy egy adott példa milyen valószínűségű. Például azok a modellek, amelyek megjósolják a következő szót a szekvenciában, tipikusan generatív modellek (általában sokkal egyszerűbbek, mint a GAN-ok)mert valószínűséget tudnak rendelni a szavak szekvenciájához.

A diszkriminatív modell figyelmen kívül hagyja azt a kérdést, hogy egy adott példány valószínű-e, és csak azt mondja meg, hogy egy címke milyen valószínűséggel vonatkozik az adott példányra.

Megjegyezzük, hogy ez egy nagyon általános definíció. Sokféle generatív modell létezik. A GAN-ok csak egyfajta generatív modell.

Modelling Probabilities

Egyik fajta modellnek sem kell valószínűséget jelentő számot visszaadnia. Modellezhetjük az adatok eloszlását az eloszlás utánzásával.

Egy diszkriminatív osztályozó, mint például a döntési fa, címkézhet egy példányt anélkül, hogy valószínűséget rendelne a címkéhez. Egy ilyen osztályozó még mindig modell lenne, mert az összes megjósolt címke eloszlása modellezné a címkék valós eloszlását az adatokban.

Hasonlóképpen, egy generatív modell képes modellezni egy eloszlást úgy, hogy meggyőző “hamis” adatokat állít elő, amelyek úgy néznek ki, mintha az adott eloszlásból származnának.

A generatív modellek nehéz

A generatív modellek nehezebb feladatot oldanak meg, mint az analóg diszkriminatív modellek. A generatív modelleknek többet kell modellezniük.

A képek generatív modellje olyan összefüggéseket ragadhat meg, mint “a csónaknak kinéző dolgok valószínűleg víznek kinéző dolgok közelében fognak megjelenni” és “a szemek nem valószínű, hogy homlokon jelennek meg”. Ezek nagyon bonyolult eloszlások.

Ezzel szemben egy diszkriminatív modell megtanulhatja a különbséget a “vitorlás” és a “nem vitorlás” között, csupán néhány árulkodó mintát keresve. Figyelmen kívül hagyhat számos olyan korrelációt, amelyet a generatív modellnek helyesen kell értelmeznie.

A diszkriminatív modellek megpróbálnak határokat húzni az adattérben, míg a generatívmodellek azt próbálják modellezni, hogy az adatok hogyan helyezkednek el a térben. Az alábbi ábra például a kézzel írt számjegyek diszkriminatív és generatív modelljét mutatja:

1. ábra: Kézzel írt számjegyek diszkriminatív és generatív modellje.

A diszkriminatív modell az adattérben egy vonal meghúzásával próbálja megkülönböztetni a kézzel írt 0-s és 1-es számjegyeket. Ha jól húzza meg a vonalat, akkor meg tudja különböztetni a 0-akat az 1-esektől anélkül, hogy valaha is modelleznie kellene, hogy pontosan hol helyezkednek el az adatok térében a vonal mindkét oldalán.

A generatív modell ezzel szemben megpróbál meggyőző 1-eseket és 0-akat létrehozni azáltal, hogy olyan számjegyeket generál, amelyek közel esnek a valós megfelelőikhez az adattérben. Az eloszlást kell modelleznie az egész adattérben.

A GAN-ok hatékony módot kínálnak az ilyen gazdag modellek betanítására, hogy hasonlítsanak a valós eloszlásra. Ahhoz, hogy megértsük, hogyan működnek, meg kell értenünk a GAN alapszerkezetét.

Check Your Understanding: Generative vs. Discriminative Models