Antecedentes: O que é um Modelo Generativo?

O que significa “generativo” no nome “Generative Adversarial Network”? “Generativo” descreve uma classe de modelos estatísticos que contrasta modelos retirativos.

Informalmente:

• Modelos generativos podem gerar novas instâncias de dados.
• Modelos discriminatórios discriminam entre diferentes tipos de dados.

Um modelo generativo pode gerar novas fotos de animais que se parecem com animais reais, enquanto um modelo discriminativo pode distinguir um cão de um gato. GANs são apenas um tipo de modelo generativo.

Mais formalmente, dado um conjunto de instâncias de dados X e um conjunto de etiquetas Y:

• Modelos generativos capturam a probabilidade conjunta p(X, Y), ou apenasp(X) se não houver etiquetas.
• Modelos discriminativos capturam a probabilidade condicional p(Y | X).

Um modelo generativo inclui a distribuição dos dados em si, e diz-lhe como é provável que um dado exemplo seja. Por exemplo, modelos que prevêem a próxima palavra em sequência são tipicamente modelos generativos (normalmente muito mais simples do que GANs) porque podem atribuir uma probabilidade a uma sequência de palavras.

Um modelo discriminativo ignora a questão de se uma dada instância é provável, e apenas lhe diz como é provável que uma etiqueta seja aplicada à substância.

Note que esta é uma definição muito geral. Existem muitos tipos de modelos generativos. GANs são apenas um tipo de modelo generativo.

Probabilidades de modelagem

Nenhum dos tipos de modelo tem que retornar um número representando a aprobabilidade. Você pode modelar a distribuição de dados imitando essa distribuição.

Por exemplo, um classificador discriminativo como uma árvore de decisão pode rotular uma instância sem atribuir uma probabilidade a essa etiqueta. Tal classificador ainda seria um modelo bonito porque a distribuição de todas as etiquetas previstas modelaria a distribuição real das etiquetas nos dados.

Simplesmente, um modelo generativo pode modelar uma distribuição produzindo dados “falsos” convincentes que parecem ser extraídos dessa distribuição.

Modelos generativos são difíceis

Modelos generativos abordam uma tarefa mais difícil do que os modelos discriminatórios análogos. Modelos generativos têm que modelar mais.

Um modelo generativo para imagens pode capturar correlações como “coisas que parecem barcos provavelmente vão aparecer perto de coisas que parecem água” e “é improvável que os olhos apareçam na testa”. Estas são distribuições vericomplicadas.

Em contraste, um modelo discriminativo pode aprender a diferença entre “veleiro” ou “não veleiro”, procurando apenas alguns padrões de contos. Poderia ignorar muitas das correlações que o modelo generativo deve ter.

Modelos discriminatórios tentam traçar limites no espaço de dados, enquanto modelos generativos tentam modelar como os dados são colocados em todo o espaço. Por exemplo, o diagrama a seguir mostra modelos discriminatórios e generativos de manuscritos:

Figure 1: Modelos discriminatórios e generativos de dígitos escritos à mão.

O modelo discriminativo tenta dizer a diferença entre os 0’areia 1’s escritos à mão desenhando uma linha no espaço de dados. Se ele acertar a linha, ele candistingue 0’s de 1’s sem nunca ter que modelar exatamente onde as substâncias são colocadas no espaço de dados de cada lado da linha.

Em contraste, o modelo generativo tenta produzir dígitos 1’s e 0’s convincentes, gerando dígitos que caem perto de seus equivalentes reais no espaço de dados. Ele tem que modelar a distribuição ao longo do espaço de dados.

GANs oferecem uma maneira eficaz de treinar modelos tão ricos para se assemelharem a uma distribuição real. Para entender como eles funcionam, precisaremos entender a estrutura básica de um GAN.

Check Your Understanding: Modelos Generativos vs. Discriminativos