Context: Ce este un model generativ?

Ce înseamnă „generativ” în denumirea „Generative Adversarial Network”? „Generativ” descrie o clasă de modele statistice care contrastează cu modelele discriminatorii.

Informal:

• Modelele generative pot genera noi instanțe de date.
• Modelele discriminative discriminează între diferite tipuri de circumstanțe de date.

Un model generativ ar putea genera noi fotografii de animale care arată ca animalele reale, în timp ce un model discriminativ ar putea deosebi un câine de o pisică. GAN-urile sunt doar un tip de model generativ.

Mai formal, dat fiind un set de instanțe de date X și un set de etichete Y:

• Modelele generative captează probabilitatea comună p(X, Y), sau doarp(X) dacă nu există etichete.
• Modelele discriminative captează probabilitatea condiționată p(Y | X).

Un model generativ include distribuția datelor în sine și vă spune cât de probabil este un anumit exemplu. De exemplu, modelele care prezic următorul cuvânt dintr-o secvență sunt de obicei modele generative (de obicei mult mai simple decât GAN-urile)deoarece pot atribui o probabilitate unei secvențe de cuvinte.

Un model discriminativ ignoră întrebarea dacă un anumit exemplu este probabil și vă spune doar cât de probabil este ca o etichetă să se aplice la acel exemplu.

Rețineți că aceasta este o definiție foarte generală. Există multe tipuri de modele generative. GAN-urile sunt doar un tip de model generativ.

Modelarea probabilităților

Nici un tip de model nu trebuie să returneze un număr care să reprezinte o probabilitate. Puteți modela distribuția datelor imitând acea distribuție.

De exemplu, un clasificator discriminativ, cum ar fi un arbore de decizie, poate eticheta o instanță fără să atribuie o probabilitate acelei etichete. Un astfel de clasificator ar fi totuși un model, deoarece distribuția tuturor etichetelor prezise ar modela distribuția reală a etichetelor din date.

În mod similar, un model generativ poate modela o distribuție prin producerea de date „false” convingătoare care arată ca și cum ar fi extrase din acea distribuție.

Modelurile generative sunt dificile

Modelurile generative abordează o sarcină mai dificilă decât modelele discriminative analoge. Modelele generative trebuie să modeleze mai mult.

Un model generativ pentru imagini ar putea capta corelații precum „lucrurile care seamănă cu bărci vor apărea probabil în apropierea lucrurilor care seamănă cu apa” și „este puțin probabil ca ochii să apară pe frunte”. Acestea sunt distribuții foarte complicate.

În schimb, un model de discriminare ar putea învăța diferența dintre „barcă cu pânze” sau „nu este o barcă cu pânze”, căutând doar câteva tipare revelatoare. Acesta ar putea ignora multe dintre corelațiile pe care modelul generativ trebuie să le corecteze.

Modelurile discriminative încearcă să traseze limite în spațiul de date, în timp ce modelele generative încearcă să modeleze modul în care datele sunt plasate în tot spațiul. De exemplu, următoarea diagramă prezintă modele discriminative și generative ale cifrelor scrise de mână:

Figura 1: Modele discriminative și generative ale cifrelor scrise de mână.

Modelul discriminativ încearcă să facă diferența între cifrele scrise de mână 0 și 1 prin trasarea unei linii în spațiul de date. Dacă reușește să traseze corect linia, poate distinge 0 de 1 fără a fi nevoit să modeleze cu exactitate unde sunt plasate cifrele în spațiul de date de o parte și de alta a liniei.

În schimb, modelul generativ încearcă să producă 1 și 0 convingători prin generarea de cifre care se apropie de omologii lor reali în spațiul de date. Acesta trebuie să modeleze distribuția în întregul spațiu de date.

GAN-urile oferă o modalitate eficientă de a antrena astfel de modele bogate pentru a semăna cu o distribuție reală. Pentru a înțelege cum funcționează acestea, va trebui să înțelegem structura de bază a unui GAN.

Verifică-ți înțelegerea: Generative vs. Discriminative Models

.