Souvislosti: Co je to generativní model?

Co znamená slovo „generativní“ v názvu „Generative Adversarial Network“? „Generativní“ popisuje třídu statistických modelů, která je v kontrastu s modely diskriminačními.

Informativně:

• Generativní modely mohou generovat nové instance dat.
• Diskriminační modely rozlišují mezi různými druhy datových instancí.

Generativní model může generovat nové fotografie zvířat, které vypadají jako skutečná zvířata, zatímco diskriminační model může rozlišit psa od kočky. GAN jsoujen jedním z druhů generativních modelů.

Formálněji řečeno, vzhledem k množině datových případů X a množině štítků Y:

• Generativní modely zachycují společnou pravděpodobnost p(X, Y), nebo jenp(X), pokud neexistují žádné štítky.
• Diskriminační modely zachycují podmíněnou pravděpodobnost p(Y | X).

Generativní model zahrnuje rozdělení samotných dat a říká, jaká je pravděpodobnost daného příkladu. Například modely, které předpovídají další slovo v posloupnosti, jsou typicky generativní modely (obvykle mnohem jednodušší než GAN)protože mohou posloupnosti slov přiřadit pravděpodobnost.

Diskriminační model ignoruje otázku, zda je daný příklad pravděpodobný, a pouze říká, s jakou pravděpodobností se na daný příklad vztahuje značka.

Všimněte si, že toto je velmi obecná definice. Existuje mnoho druhů generativních modelů. GAN jsou jen jedním z druhů generativních modelů.

Modelování pravděpodobnosti

Žádný z druhů modelů nemusí vracet číslo představující pravděpodobnost. Můžete modelovat rozdělení dat tak, že toto rozdělení napodobíte.

Například diskriminační klasifikátor, jako je rozhodovací strom, může označit instancibez přiřazení pravděpodobnosti tomuto označení. Takový klasifikátor by byl stále modelem, protože rozdělení všech předpovězených štítků by modelovalo skutečné rozdělení štítků v datech.

Podobně může generativní model modelovat rozdělení tak, že vytvoří přesvědčivá „falešná“ data, která vypadají, jako by byla čerpána z tohoto rozdělení.

Generativní modely jsou obtížné

Generativní modely řeší obtížnější úkol než analogické diskriminační modely. Generativní modely musí modelovat více.

Generativní model pro obrázky může zachytit korelace jako „věci, které vypadají jako lodě, se pravděpodobně objeví v blízkosti věcí, které vypadají jako voda“ a „oči se pravděpodobně neobjeví na čelech“. To jsou velmi složité distribuce.

Naproti tomu diskriminační model by se mohl naučit rozlišovat mezi „plachetnicí“ a „ne plachetnicí“ pouhým hledáním několika vypovídajících vzorů. Mohl by ignorovat mnoho korelací, které generativní model musí správně vystihnout.

Diskriminační modely se snaží vytyčit hranice v prostoru dat, zatímco generativní modely se snaží modelovat, jak jsou data umístěna v celém prostoru. Například následující diagram ukazuje diskriminační a generativní modely rukopisných číslic:

Obrázek 1: Diskriminační a generativní model ručně psaných číslic.

Diskriminační model se snaží rozlišit ručně psané číslice 0’sand 1’s nakreslením čáry v datovém prostoru. Pokud správně určí čáru, rozliší 0 od 1, aniž by musel přesně modelovat, kde jsou v datovém prostoru na obou stranách čáry umístěny.

Naproti tomu generativní model se snaží vytvořit přesvědčivé 1 a 0 generováním číslic, které se v datovém prostoru blíží svým skutečným protějškům. Musí modelovat rozdělení v celém datovém prostoru.

GAN nabízí efektivní způsob, jak trénovat takové bohaté modely, aby se podobaly skutečnému rozdělení. Abychom pochopili, jak fungují, budeme muset porozumět základnístruktuře GAN.

Ověřte si své porozumění: Generativní vs. diskriminační modely

.