Mitä ”generatiivinen” tarkoittaa nimessä ”Generative Adversarial Network”?

”Generatiivinen” kuvaa tilastollisten mallien luokkaa, joka on vastakohtana diskriminoiville malleille.

Informaattisesti:

• Generatiivisilla malleilla voidaan synnyttää uusia datatapauksia.
• Diskriminatiiviset mallit erottavat erityyppisiä datainstansseja toisistaan.

Generatiivinen malli voi tuottaa uusia valokuvia eläimistä, jotka näyttävät oikeiltaeläimiltä, kun taas diskriminatiivinen malli voi erottaa koiran kissasta. GANit ovat vain yksi generatiivisen mallin laji.

Ammattimaisemmin, kun annetaan joukko datatapauksia X ja joukko merkintöjä Y:

• Generatiiviset mallit kaappaavat yhteisen todennäköisyyden p(X, Y), tai vainp(X), jos merkintöjä ei ole.
• Diskriminatiiviset mallit kaappaavat ehdollisen todennäköisyyden p(Y | X).

Generatiivinen malli sisältää itse datan jakauman ja kertoo, kuinka todennäköinen tietty esimerkki on. Esimerkiksi mallit, jotka ennustavat seuraavan sanan peräkkäin, ovat tyypillisesti generatiivisia malleja (yleensä paljon yksinkertaisempia kuin GANit)koska ne voivat antaa todennäköisyyden sanojen peräkkäisyydelle.

Diskriminatiivinen malli jättää huomiotta kysymyksen siitä, onko tietty tapaus todennäköinen, ja kertoo vain sen, kuinka todennäköistä on, että merkintä pätee kyseiseen tapaukseen.

Huomaa, että tämä on hyvin yleinen määritelmä. On olemassa monenlaisia generatiivisia malleja. GANit ovat vain yksi generatiivisen mallin laji.

Todennäköisyyksien mallintaminen

Kummankin mallin lajin ei tarvitse palauttaa todennäköisyyttä kuvaavaa lukua. Voit mallintaa datan jakaumaa jäljittelemällä kyseistä jakaumaa.

Esimerkiksi diskriminoiva luokittelija, kuten päätöspuu, voi merkitä instanssin antamatta todennäköisyyttä kyseiselle merkinnälle. Tällainen luokittelija olisi silti malli, koska kaikkien ennustettujen merkintöjen jakauma mallintaa merkintöjen todellista jakaumaa datassa.

Toisella tavalla generatiivinen malli voi mallintaa jakaumaa tuottamalla vakuuttavaa ”väärennettyä” dataa, joka näyttää siltä, että se on poimittu kyseisestä jakaumasta.

GENERATIIVISET MALLIT OLEVAT VAIKKAITA

Generatiiviset mallit käsittelevät vaikeampaa tehtävää kuin analogiset diskriminoivat mallit. Generatiivisten mallien on mallinnettava enemmän.

Kuvien generatiivinen malli saattaa tallentaa korrelaatioita, kuten ”veneen näköiset asiat esiintyvät todennäköisesti veden näköisten asioiden läheisyydessä” ja ”silmät eivät todennäköisesti esiinny otsassa”. Nämä ovat hyvin monimutkaisia jakaumia.

Sen sijaan diskriminatiivinen malli voisi oppia eron ”purjeveneen” ja ”ei-purjeveneen” välillä etsimällä vain muutamia paljastavia malleja. Se voisikin jättää huomiotta monet korrelaatiot, jotka generatiivisen mallin on saatava oikein.

Diskriminatiiviset mallit pyrkivät piirtämään rajoja data-avaruuteen, kun taas generatiiviset mallit pyrkivät mallintamaan, miten data sijoittuu koko avaruuteen. Esimerkiksi seuraavassa kaaviossa esitetään diskriminatiiviset ja generatiiviset mallit käsin kirjoitetuista numeroista:

Kuva 1: Käsinkirjoitettujen numeroiden diskriminatiiviset ja generatiiviset mallit.

Diskriminatiivinen malli yrittää erottaa käsinkirjoitetut 0:t ja 1:t toisistaan piirtämällä viivan data-avaruuteen. Jos se saa viivan oikein, se erottaa 0:t ja 1:t toisistaan ilman, että sen tarvitsee koskaan mallintaa tarkalleen, mihin kohtaan data-avaruutta ne sijoittuvat viivan molemmin puolin.

Generatiivinen malli sen sijaan pyrkii tuottamaan vakuuttavia 1:iä ja 0:ita generoimalla numeroita, jotka sijoittuvat lähelle niiden todellisia vastineita data-avaruudessa. Sen on mallinnettava jakaumaa koko data-avaruudessa.

GANit tarjoavat tehokkaan tavan kouluttaa tällaisia rikkaita malleja muistuttamaan todellista jakaumaa. Ymmärtääksemme miten ne toimivat meidän on ymmärrettävä GANin perusrakenne.

Check Your Understanding: Generative vs. Discriminative Models