Antecedentes: ¿Qué es un modelo generativo?

¿Qué significa «generativo» en el nombre «Generative Adversarial Network»? «Generativo» describe una clase de modelos estadísticos que contrasta con los modelos discriminatorios.

Informalmente:

• Los modelos generativos pueden generar nuevas instancias de datos.
• Los modelos discriminativos discriminan entre diferentes tipos de instancias de datos.

Un modelo generativo podría generar nuevas fotos de animales que se parecen a los animales reales, mientras que un modelo discriminativo podría distinguir un perro de un gato. Los GAN son sólo un tipo de modelo generativo.

Más formalmente, dado un conjunto de instancias de datos X y un conjunto de etiquetas Y:

• Los modelos generativos capturan la probabilidad conjunta p(X, Y), o simplementep(X) si no hay etiquetas.
• Los modelos discriminativos capturan la probabilidad condicional p(Y | X).

Un modelo generativo incluye la distribución de los datos en sí, y le dice qué probabilidad tiene un ejemplo dado. Por ejemplo, los modelos que predicen la siguiente palabra en una secuencia son típicamente modelos generativos (normalmente mucho más simples que los GAN) porque pueden asignar una probabilidad a una secuencia de palabras.

Un modelo discriminativo ignora la cuestión de si una instancia dada es probable, y sólo le dice la probabilidad de que una etiqueta se aplique a la instancia.

Nótese que ésta es una definición muy general. Hay muchos tipos de modelos generativos. Los GAN son sólo un tipo de modelo generativo.

Modelación de probabilidades

Ningún tipo de modelo tiene que devolver un número que represente la aprobación. Se puede modelar la distribución de los datos imitando esa distribución.

Por ejemplo, un clasificador discriminativo como un árbol de decisión puede etiquetar una instancia sin asignar una probabilidad a esa etiqueta. Dicho clasificador seguiría siendo un modelo porque la distribución de todas las etiquetas predichas modelaría la distribución real de las etiquetas en los datos.

De forma similar, un modelo generativo puede modelar una distribución produciendo datos «falsos» convincentes que parecen extraídos de esa distribución.

Los modelos generativos son difíciles

Los modelos generativos abordan una tarea más difícil que los modelos discriminatorios análogos. Los modelos generativos tienen que modelar más.

Un modelo generativo para imágenes podría capturar correlaciones como «las cosas que se parecen a los barcos probablemente van a aparecer cerca de las cosas que se parecen al agua» y «es poco probable que los ojos aparezcan en las frentes». Se trata de distribuciones muy complicadas.

En cambio, un modelo discriminativo podría aprender la diferencia entre «velero» y «no velero» con sólo buscar unos pocos patrones reveladores. Podría ignorar muchas de las correlaciones que el modelo generativo debe acertar.

Los modelos discriminativos tratan de trazar límites en el espacio de datos, mientras que los modelos generativos tratan de modelar cómo se colocan los datos en todo el espacio. Por ejemplo, el siguiente diagrama muestra los modelos discriminativo y generativo de los dígitos manuscritos:

Figura 1: Modelos discriminativo y generativo de los dígitos escritos a mano.

El modelo discriminativo trata de diferenciar entre los 0 y los 1 escritos a mano trazando una línea en el espacio de datos. Si acierta con la línea, puede distinguir los 0 de los 1 sin tener que modelar exactamente dónde se sitúan las instancias en el espacio de datos a cada lado de la línea.

En cambio, el modelo generativo intenta producir 1 y 0 convincentes generando dígitos que se acerquen a sus homólogos reales en el espacio de datos. Tiene que modelar la distribución en todo el espacio de datos.

Los GAN ofrecen una forma eficaz de entrenar estos modelos ricos para que se parezcan a una distribución real. Para entender cómo funcionan, tendremos que comprender la estructura básica de un GAN.

Comprueba tu comprensión: Modelos Generativos vs. Discriminativos