Distancia de inicio de Fréchet

La distancia de inicio de Fréchet (DIF) es una métrica utilizada para determinar la calidad de las imágenes creadas por un modelo generativo, como una red adversarial generativa (GAN). A diferencia de la puntuación de inicio anterior (IS), que evalúa solo la distribución de las imágenes generadas, la DIF compara la distribución de las imágenes generadas con la distribución de un conjunto de imágenes reales («verdad fundamental»).

La métrica DIF se introdujo en 2017, y es el estándar actual para evaluar la calidad de los modelos generativos desde 2020. Se ha utilizado para medir la calidad de muchos modelos recientes, incluidas las redes de alta resolución StyleGAN1 y StyleGAN2 .

Definición

Para cualesquiera dos distribuciones de probabilidad

$\mu ,\nu$

encima

${ℝ}^n$

teniendo media finita y varianzas, ladistancia de Fréchet es

$$d_F(\mu ,\nu ):={(\underset{\gamma \in \mathrm{\Gamma }(\mu ,\nu )}{\inf }\underset{{ℝ}^n\times {ℝ}^n}{\int }\Vert x-y{\Vert }^2\mathrm{d}\gamma (x,y))}^{1/2},$$

dónde

$\mathrm{\Gamma }(\mu ,\nu )$

es el conjunto de todas las medidas de

${ℝ}^n\times {ℝ}^n$

con marginales

$\mu$

y

$\nu$

en el primer y segundo factor respectivamente. (El conjunto

$\mathrm{\Gamma }(\mu ,\nu )$

también se denomina el conjunto de todos los acoplamientos de

$\mu$

y

$\nu$

. ). Es decir, es la distancia de 2 Wasserstein en

${ℝ}^n$

. Para dos distribuciones gaussianas multidimensionales

$𝒩(\mu ,\mathrm{\Sigma })$

y

$𝒩({\mu }^{\prime },{\mathrm{\Sigma }}^{\prime })$

, es explícitamente resoluble como

$$d_F(𝒩(\mu ,\mathrm{\Sigma }),𝒩({\mu }^{\prime },{\mathrm{\Sigma }}^{\prime }){)}^2=\Vert \mu -{\mu }^{\prime }\underset{2}{\overset{2}{\Vert }}+\mathrm{tr}(\mathrm{\Sigma }+{\mathrm{\Sigma }}^{\prime }-2{({\mathrm{\Sigma }}^{\frac{1}{2}}\cdot {\mathrm{\Sigma }}^{\prime }\cdot {\mathrm{\Sigma }}^{\frac{1}{2}})}^{\frac{1}{2}})$$

Esto nos permite definir el DIF en forma de pseudocódigo :

INGRESA una función

$f:{\mathrm{\Omega }}_X\to {ℝ}^n$

.

INGRESA dos conjuntos de datos $S,S^{\prime }\subset {\mathrm{\Omega }}_X$ .

Calcula $f(S),f(S^{\prime })\subset {ℝ}^n$ .

Ajusta dos distribuciones gaussianas $𝒩(\mu ,\mathrm{\Sigma }),𝒩({\mu }^{\prime },{\mathrm{\Sigma }}^{\prime })$, respectivamente para $f(S),f(S^{\prime })$ .

DEVUELVE

$d_F(𝒩(\mu ,\mathrm{\Sigma }),𝒩({\mu }^{\prime },{\mathrm{\Sigma }}^{\prime }){)}^2$

.

En la mayoría de los usos prácticos del DIF,

${\mathrm{\Omega }}_X$

es el espacio de las imágenes, y

$f$

es un modelo de Inception v3 formado en ImageNet, pero sin la etapa de clasificación final. Técnicamente, es el vector de activación de 2048 dimensiones de la etapa pool3 .

En lugar de comparar imágenes píxel por píxel directamente (por ejemplo, como lo hace la norma L2 ), el DIF compara la media y la desviación estándar de la capa más profunda en Inception v3. Estas etapas están más cerca de los nodos de salida que corresponden a objetos del mundo real, como una raza específica de perro o un avión, y más lejos de las poco profundas cerca de la imagen de entrada.

Variantes

Se han sugerido variantes especializadas de DIF como métrica de evaluación para algoritmos de mejora de la música como Distancia de audio Fréchet (DAF), para modelos generativos de video como Distancia de vídeo Fréchet (DVF), y para moléculas generadas por IA como Distancia Fréchet ChemNet (DFC) .

Limitaciones

Chong y Forsyth demostraron que DIF está sesgado estadísticamente, en el sentido de que su valor esperado sobre datos finitos no es su valor real. Además, debido a que DIF midió la distancia de Wasserstein hacia la distribución real del terreno, no es adecuada para evaluar la calidad de los generadores en configuraciones de adaptación de dominio o en generación de tiro cero. Finalmente, mientras que la DIF es más consistente con el juicio humano que la puntuación de inicio utilizada anteriormente, hay casos en los que la DIF es inconsistente con el juicio humano (por ejemplo, Figura 3,5 en Liu et al. ).