Wprowadzenie: Co to jest model generatywny?

Co oznacza słowo „generatywny” w nazwie „Generative Adversarial Network”? „Generatywny” opisuje klasę modeli statystycznych, która kontrastuje z modelami dyskryminacyjnymi.

Informacyjnie:

• Modele generatywne mogą generować nowe instancje danych.
• Modele dyskryminacyjne rozróżniają różne rodzaje danychainstancji.

Model generatywny może generować nowe zdjęcia zwierząt, które wyglądają jak prawdziwe zwierzęta, podczas gdy model dyskryminacyjny może odróżnić psa od kota. GANs arejust one kind of generative model.

More formally, given a set of data instances X and a set of labels Y:

• Generative models capture the joint probability p(X, Y), or justp(X) if there are no labels.
• Modele dyskryminacyjne wychwytują prawdopodobieństwo warunkowe p(Y | X).

Model generatywny obejmuje rozkład samych danych i mówi, jak prawdopodobny jest dany przykład. Na przykład, modele, które przewidują następne słowo w sekwencji są typowymi modelami generatywnymi (zwykle znacznie prostszymi niż GAN), ponieważ mogą przypisać prawdopodobieństwo do sekwencji słów.

Model dyskryminacyjny ignoruje pytanie, czy dana instancja jest prawdopodobna, i po prostu mówi, jak prawdopodobne jest zastosowanie etykiety do danej instancji.

Zauważ, że jest to bardzo ogólna definicja. Istnieje wiele rodzajów modeli generatywnych. GAN-y są tylko jednym z rodzajów modeli generatywnych.

Modelowanie prawdopodobieństwa

Żaden z tych rodzajów modeli nie musi zwracać liczby reprezentującej prawdopodobieństwo. Można modelować rozkład danych przez naśladowanie tego rozkładu.

Na przykład klasyfikator dyskryminacyjny, taki jak drzewo decyzyjne, może nadać etykietę instancji bez przypisywania prawdopodobieństwa do tej etykiety. Taki klasyfikator nadal byłby modelem, ponieważ rozkład wszystkich przewidywanych etykiet modelowałby rzeczywisty rozkład etykiet w danych.

Podobnie, model generatywny może modelować rozkład poprzez produkowanie przekonujących „fałszywych” danych, które wyglądają jak wyciągnięte z tego rozkładu.

Modele generatywne są trudne

Modele generatywne stawiają czoła trudniejszemu zadaniu niż analogiczne modele dyskryminacyjne. Modele generatywne muszą modelować więcej.

Model generatywny dla obrazów może uchwycić korelacje takie jak „rzeczy wyglądające jak łodzie prawdopodobnie pojawią się w pobliżu rzeczy wyglądających jak woda” i „jest mało prawdopodobne, że oczy pojawią się na czołach”. Są to bardzo skomplikowane rozkłady.

W przeciwieństwie do tego, model dyskryminacyjny może nauczyć się różnicy pomiędzy „żaglówką” a „nie żaglówką”, szukając tylko kilku charakterystycznych wzorców. Mógłby zignorować wiele korelacji, które model generatywny musi mieć w porządku.

Modele dyskryminacyjne próbują narysować granice w przestrzeni danych, podczas gdy modele generatywne próbują modelować, jak dane są umieszczone w całej przestrzeni. Na przykład, poniższy diagram przedstawia dyskryminacyjne i generatywne modele cyfr pisma ręcznego:

Rysunek 1: Dyskryminacyjny i generatywny model odręcznych cyfr.

Model dyskryminacyjny próbuje odróżnić odręczne 0’i 1’poprzez narysowanie linii w przestrzeni danych. Jeśli linia jest prawidłowa, odróżnia on cyfry 0 od cyfr 1 bez konieczności dokładnego modelowania, gdzie w przestrzeni danych po obu stronach linii znajdują się poszczególne przypadki.

W przeciwieństwie do tego, model generatywny próbuje wytworzyć przekonujące cyfry 1 i 0 poprzez generowanie cyfr, które są zbliżone do ich rzeczywistych odpowiedników w przestrzeni danych. Musi on modelować rozkład w całej przestrzeni danych.

GAN oferują efektywny sposób trenowania tak bogatych modeli, aby przypominały rzeczywisty rozkład. Aby zrozumieć, jak one działają, musimy zrozumieć podstawową strukturę GAN.

Sprawdź swoje zrozumienie: Generative vs. Discriminative Models