Núcleo definido positivo

En teoría de operadores, una rama de las matemáticas, un núcleo definido positivo es una generalización del concepto de función definida positiva o de matriz definida positiva. Fue introducido por primera vez por James Mercer a principios del Plantilla:Siglo, en el contexto de la resolución de ecuaciones con integrales. Desde entonces, las funciones definidas positivas y sus diversos análogos y generalizaciones han surgido en diversas partes de las matemáticas. Aparecen naturalmente en el análisis de Fourier, en la teoría de la probabilidad, en la teoría de operadores, en la teoría de funciones complejas, en problemas de momentos, en ecuaciones integrales, problemas de condiciones de contorno para ecuaciones en derivadas parciales, en aprendizaje automático, en problemas de embebido, en teoría de la información y en otras áreas.

Este artículo discute algunos de los desarrollos históricos y actuales de la teoría de los núcleos definidos positivos, comenzando con la idea general y las propiedades antes de considerar sus aplicaciones prácticas.

Definición

Sea $𝒳$ un conjunto no vacío, a veces denominado conjunto índice. Una función simétrica $K:𝒳\times 𝒳\to ℝ$ se denomina núcleo definido positivo (d.p.) en $𝒳$ si Plantilla:NumBlk se cumple para cualquier $x_1,\dots ,x_n\in 𝒳$, dado $n\in \mathbb{N},c_1,\dots ,c_n\in ℝ$.

En la teoría de la probabilidad, a veces se hace una distinción entre núcleos definidos positivos, para los cuales la igualdad en (1.1) implica $c_i=0(\mathrm{\forall }i)$, y núcleos semidefinidos positivos (s.d.p.), que no imponen esta condición. Téngase en cuenta que esto es equivalente a exigir que cualquier matriz finita construida mediante evaluación por pares, ${𝐊}_{ij}=K(x_i,x_j)$, tenga autovalores completamente positivos (d.p.) o no negativos (s.d.p.).

En la literatura matemática, los núcleos suelen ser funciones de valores complejos, pero en el presente artículo figuran funciones de valores reales, que es la práctica común en las aplicaciones de núcleos d.p.

Algunas propiedades generales

• Para una familia de núcleos d.p. $(K_i{)}_{i\in \mathbb{N}},K_i:𝒳\times 𝒳\to ℝ$
  • La suma cónica $\sum _{i=1}^n{\lambda }_i{K}_i$ es d.p., dado ${\lambda }_1,\dots ,{\lambda }_n\ge 0$
  • El producto $K_1^{a_1}\dots K_n^{a_n}$ es d.p., dado $a_1,\dots ,a_n\in \mathbb{N}$
  • El límite $K=\underset{n\to \mathrm{\infty }}{\lim }{K}_n$ es d.p. si el límite existe.
• Si $({𝒳}_i{)}_{i=1}^n$ es una secuencia de conjuntos y $(K_i{)}_{i=1}^n,K_i:{𝒳}_i\times {𝒳}_i\to ℝ$ es una secuencia de núcleos d.p., entonces tanto

$$K((x_1,\dots ,x_n),(y_1,\dots ,y_n))=\prod _{i=1}^n{K}_i(x_i,y_i)$$

como

$$K((x_1,\dots ,x_n),(y_1,\dots ,y_n))=\sum _{i=1}^n{K}_i(x_i,y_i)$$ son núcleos d.p. en $𝒳={𝒳}_1\times \dots \times {𝒳}_n$.

• Sea ${𝒳}_0\subset 𝒳$. Entonces la restricción $K_0$ de $K$ a ${𝒳}_0\times {𝒳}_0$ también es un núcleo d.p.

Ejemplos de núcleos definidos positivos

• Ejemplos comunes de núcleos d.p. definidos en el espacio euclídeo ${ℝ}^d$ incluyen:
  • Núcleo lineal: $K(𝐱,𝐲)={𝐱}^T𝐲,𝐱,𝐲\in {ℝ}^d$.
  • Núcleo polinómico: $K(𝐱,𝐲)=({𝐱}^T𝐲+r{)}^n,𝐱,𝐲\in {ℝ}^d,r\ge 0,n\ge 1$.
  • Núcleo gaussiano (función núcleo de base radial): $K(𝐱,𝐲)=e^{-\frac{\Vert 𝐱-𝐲{\Vert }^2}{2{\sigma }^2}},𝐱,𝐲\in {ℝ}^d,\sigma >0$.
  • Núcleo laplaciano: $K(𝐱,𝐲)=e^{-\alpha \Vert 𝐱-𝐲\Vert },𝐱,𝐲\in {ℝ}^d,\alpha >0$.
  • Núcleo de Abel: $K(x,y)=e^{-\alpha |x-y|},x,y\in ℝ,\alpha >0$.
  • Núcleo que genera espacios de Sóbolev $W_2^k({ℝ}^d)$: $K(x,y)=\Vert x-y{\Vert }_2^{k-\frac{d}{2}}{B}_{k-\frac{d}{2}}(\Vert x-y{\Vert }_2)$, donde $B_{\nu }$ es la función de Bessel de tercera especie.
  • Núcleo que genera el espacio de Paley-Wiener: $K(x,y)=\text{sinc}(\alpha (x-y)),x,y\in ℝ,\alpha >0$.
• Si $H$ es un espacio de Hilbert, entonces su producto interno correspondiente $(\cdot ,\cdot {)}_H:H\times H\to ℝ$ es un núcleo d.p. De hecho, se tiene que $$\sum _{i,j=1}^n{c}_i{c}_j(x_i,x_j{)}_H={(\sum _{i=1}^n{c}_i{x}_i,\sum _{j=1}^n{c}_j{x}_j)}_H={\Vert \sum _{i=1}^n{c}_i{x}_i\Vert }_H^2\ge 0$$
• Núcleos definidos en ${ℝ}_{+}^d$ e histogramas: los histogramas se encuentran con frecuencia en aplicaciones de problemas de la vida real. La mayoría de las observaciones suelen estar disponibles en forma de vectores de conteo no negativos que, si se normalizan, producen histogramas de frecuencias. Se ha demostrado que la siguiente familia de métricas al cuadrado, respectivamente la divergencia de Jensen, el cuadrado $\chi$, la variación total y dos variaciones de la distancia de Hellinger: $${\psi }_{JD}=H\left(\frac{\theta +{\theta }^{\prime }}{2}\right)-\frac{H(\theta )+H({\theta }^{\prime })}{2},$$$${\psi }_{{\chi }^2}=\sum _i\frac{({\theta }_i-{{\theta }_i}^{\prime }{)}^2}{{\theta }_i+{{\theta }_i}^{\prime }},{\psi }_{TV}=\sum _i|{\theta }_i-{{\theta }_i}^{\prime }|,$$$${\psi }_{H_1}=\sum _i|\sqrt{{\theta }_i}-\sqrt{{{\theta }_i}^{\prime }}|,{\psi }_{H_2}=\sum _i{|\sqrt{{\theta }_i}-\sqrt{{{\theta }_i}^{\prime }}|}^2,$$ se pueden utilizar para definir núcleos d.p. utilizando la siguiente fórmula $$K(\theta ,{\theta }^{\prime })=e^{-\alpha \psi (\theta ,{\theta }^{\prime })},\alpha >0.$$

Historia

Los núcleos definidos positivos, como se definen en (1.1), aparecieron por primera vez en 1909 en un artículo sobre ecuaciones integrales de James Mercer. Varios otros autores hicieron uso de este concepto en las siguientes dos décadas, pero ninguno de ellos usó explícitamente núcleos $K(x,y)=f(x-y)$, es decir, funciones d.p. (de hecho, M. Mathias y S. Bochner parecen no haber estado al tanto de estos estudios). El trabajo de Mercer surgió del artículo de Hilbert de 1904 sobre las ecuaciones integrales de Fredholm del segundo tipo:

Plantilla:NumBlk

En particular, Hilbert había demostrado que:

Plantilla:NumBlk

donde $K$ es un núcleo simétrico real continuo, $x$ es continuo, $\{{\psi }_n\}$ es un sistema completo de orthonormal eigenfunctions y los ${\lambda }_n$ son los correspondientes autovalores de (1.2). Hilbert ideó la definición de un núcleo definido como uno para el cual la integral doble

$$J(x)=\underset{a}{\overset{b}{\int }}\underset{a}{\overset{b}{\int }}K(s,t)x(s)x(t)\mathrm{d}s\mathrm{d}t$$

satisface que $J(x)>0$ excepto para $x(t)=0$. El objeto original del artículo de Mercer era caracterizar los núcleos que son definidos en el sentido de Hilbert, pero pronto descubrió que la clase de tales funciones era demasiado restrictiva para caracterizarlas en términos de determinantes. Por lo tanto, definió un núcleo simétrico real continuo $K(s,t)$ como de tipo positivo (es decir, definido positivo) si $J(x)\ge 0$ para todas las funciones continuas reales $x$ sobre $[a,b]$, y demostró que (1.1) es una condición necesaria y suficiente para que un núcleo sea de tipo positivo. Luego demostró que para cualquier núcleo d.p. la expansión

$$K(s,t)=\sum _n\frac{{\psi }_n(s){\psi }_n(t)}{{\lambda }_n}$$

se mantiene absoluta y uniformemente.

Aproximadamente al mismo tiempo, W. H. Young, motivado por una pregunta diferente en la teoría de ecuaciones integrales, demostró que para núcleos continuos la condición (1.1) es equivalente a $J(x)\ge 0$ para todo $x\in L^1[a,b]$.

E.H. Moore inició el estudio de un tipo muy general de núcleo d.p. Si $E$ es un conjunto abstracto, llama a las funciones $K(x,y)$ definidas en $E\times E$ matrices hermíticas positivas si cumplen (1.1) para todo $x_i\in E$. Moore estaba interesado en la generalización de ecuaciones integrales y demostró que para cada $K$ existe un espacio de Hilbert $H$ de funciones tales que, para cada $f\in H,f(y)=(f,K(\cdot ,y){)}_H$. Esta propiedad se denomina propiedad de reproducción del núcleo y resulta ser importante en la solución de problemas de valores de frontera para ecuaciones diferenciales parciales elípticas.

Otra línea de desarrollo en la que los núcleos d.p. jugaron un papel importante fue la teoría de los armónicos en espacios homogéneos, iniciada por E. Cartan en 1929, y continuada por H. Weyl y S. Ito. La teoría más completa sobre núcleos d.p. en espacios homogéneos es la de Mark Krein que incluye como casos especiales el trabajo sobre funciones d.p. e irreducibles representaciones unitarias de grupos localmente compactos.

En la teoría de la probabilidad los núcleos d.p. surgen como núcleos de covarianza de procesos estocásticos.

Conexión con la reproducción de núcleos de espacios de Hilbert y mapas de características

Los núcleos definidos positivos proporcionan un marco que abarca algunas construcciones espaciales básicas de Hilbert. A continuación, se presenta una estrecha relación entre los núcleos definidos positivos y dos objetos matemáticos, a saber, la reproducción de núcleos de espacios de Hilbert y mapas de características.

Sea $X$ un conjunto, $H$ un espacio de Hilbert de funciones $f:X\to ℝ$ y $(\cdot ,\cdot {)}_H:H\times H\to ℝ$ el producto interno correspondiente en $H$. Para cualquier $x\in X$, la evaluación funcional $e_x:H\to ℝ$ está definida por $f\mapsto e_x(f)=f(x)$. Primero se define un espacio de Hilbert del núcleo de reproducción (EHRN):

Definición: Un espacio

$H$

es denominado espacio de Hilbert con reproducción del núcleo si los funcionales valoración son continuos.

Cada EHRN tiene una función especial asociada, a saber, el núcleo reproductor:

Definición: El núcleo reproductor es una función

$K:X\times X\to ℝ$

tal que

1. $K_x(\cdot )\in H,\mathrm{\forall }x\in X$, y
2. $(f,K_x)=f(x)$, para todo $f\in H$ y $x\in X$.

La última propiedad se llama la propiedad de reproducción.

El siguiente resultado muestra la equivalencia entre EHRN y la reproducción de los núcleos: Plantilla:Teorema

Ahora, la conexión entre los núcleos definidos positivos y los EHRN viene dada por el siguiente teorema Plantilla:Teorema

Por lo tanto, dado un núcleo definido positivo $K$, es posible construir un EHRN asociado con $K$ como núcleo reproductor.

Como se indicó anteriormente, los núcleos definidos positivos se pueden construir a partir de productos internos. Este hecho se puede utilizar para conectar los núcleos d.p. con otro objeto interesante que surge en las aplicaciones de aprendizaje automático, a saber, el mapa de características. Sea $F$ un espacio de Hilbert y $(\cdot ,\cdot {)}_F$ el producto interno correspondiente. Cualquier mapa $\mathrm{\Phi }:X\to F$ se denomina mapa de características. En este caso se denomina $F$ al espacio de características. Es fácil ver que cada mapa de características define un único núcleo d.p. por

$$K(x,y)=(\mathrm{\Phi }(x),\mathrm{\Phi }(y){)}_F.$$

De hecho, la definición positiva de $K$ se deriva de la propiedad del producto interior definido positivo. Por otro lado, cada núcleo d.p. y su EHRN correspondiente tienen muchos mapas de características asociados. Por ejemplo: sean $F=H$, y $\mathrm{\Phi }(x)=K_x$ para todo $x\in X$. Entonces $(\mathrm{\Phi }(x),\mathrm{\Phi }(y){)}_F=(K_x,K_y{)}_H=K(x,y)$, por la propiedad de reproducción. Esto sugiere una nueva visión de los núcleos d.p. como productos internos en espacios de Hilbert propios, o en otras palabras, los núcleos d.p. se pueden ver como mapas de similitud que cuantifican de manera efectiva lo similares que son dos puntos $x$ e $y$ a través del valor $K(x,y)$. Además, mediante la equivalencia de núcleos d.p. y su correspondiente EHRN, cada mapa de características se puede utilizar para construir un EHRN.

Núcleos y distancias

Los métodos del núcleo a menudo se comparan con los métodos basados en la distancia, como vecinos más próximos. En esta sección se discuten los paralelismos entre sus dos ingredientes respectivos, a saber, los núcleos $K$ y las distancias $d$.

Aquí, por una función de distancia entre cada par de elementos de algún conjunto $X$, se hace referencia a una métrica definida en ese conjunto, es decir, cualquier función de valor no negativo $d$ en $𝒳\times 𝒳$ que satisfaga

• $d(x,y)\ge 0$ y $d(x,y)=0$ si y solo si $x=y$,
• $d(x,y)=d(y,x)$,
• $d(x,z)\le d(x,y)+d(y,z)$.

Un enlace entre distancias y núcleos d.p. está dada por un tipo particular de núcleo, llamado núcleo definido negativo, caracterizado de la siguiente manera

Definición: Una función simétrica

$\psi :𝒳\times 𝒳\to ℝ$

se denomina núcleo definido negativo (d.n.) sobre

$𝒳$

si

Plantilla:NumBlk

mantiene para cualquier $n\in \mathbb{N},x_1,\dots ,x_n\in 𝒳,$ y $c_1,\dots ,c_n\in ℝ$ tales que ${\sum }_{i=1}^n{c}_i=0$.

El paralelismo entre núcleos d.n. y distancias es el siguiente: siempre que un núcleo d.n. desaparece en el conjunto $\{(x,x):x\in 𝒳\}$, y es cero solo en este conjunto, entonces su raíz cuadrada es una distancia para $𝒳$. Al mismo tiempo cada distancia no corresponde necesariamente a un núcleo d.n. Esto solo es cierto para distancias hilbertianas, en las que la distancia $d$ se llama hilbertiana si se puede embeber el espacio métrico $(𝒳,d)$ isométricamente en algún espacio de Hilbert.

Por otra parte, los núcleos d.n. se pueden identificar con una subfamilia de núcleos d.p. conocidos como núcleos infinitamente divisibles. Se dice que un núcleo $K$ de valor no negativo es infinitamente divisible si para cada $n\in \mathbb{N}$ existe un núcleo $K_n$ definido positivo tal que $K=(K_n{)}^n$.

Otra relación es que un núcleo d.p. induce una pseudométrica, donde la primera restricción en la función de distancia se relaja para permitir que $d(x,y)=0$ para $x\ne y$. Dado un núcleo definido positivo $K$, se puede definir una función de distancia como:

$$d(x,y)=\sqrt{K(x,x)-2K(x,y)+K(y,y)}$$

Algunas aplicaciones

Núcleos en el aprendizaje automático

Los núcleos definidos positivos, a través de su equivalencia con la reproducción de espacios de Hilbert del núcleo, son particularmente importantes en el campo de la teoría del aprendizaje estadística debido al célebre teorema de representación que establece que cada función minimizadora en un EHRN se puede escribir como una combinación lineal de la función del núcleo evaluada en los puntos de entrenamiento. Este es un resultado útil en la práctica, ya que simplifica eficazmente el problema de minimización de riesgos empíricos de un problema de optimización de dimensión infinita a uno de dimensión finita.

Núcleos en modelos probabilísticos

Hay varias formas diferentes en las que surgen núcleos en la teoría de la probabilidad.

• Problemas de recuperación no deterministas: supóngase que se quiere encontrar la respuesta $f(x)$ de una función modelo desconocida $f$ en un nuevo punto $x$ de un conjunto $𝒳$, siempre que se tenga una muestra de pares de entrada-salida $(x_i,f_i)=(x_i,f(x_i))$ dada por observación o experimento. La respuesta $f_i$ en $x_i$ no es una función fija de $x_i$ sino una realización de una variable aleatoria de valor real $Z(x_i)$. El objetivo es obtener información sobre la función $E[Z(x_i)]$ que reemplaza a $f$ en la configuración determinista. Para dos elementos $x,y\in 𝒳$, las variables aleatorias $Z(x)$ y $Z(y)$ no estarán descorrelacionadas, porque si $x$ está demasiado cerca de $y$, los experimentos aleatorios descritos por $Z(x)$ y $Z(y)$ a menudo mostrarán un comportamiento similar. Esto se describe mediante un núcleo de covarianza $K(x,y)=E[Z(x)\cdot Z(y)]$. Tal núcleo existe y es positivo-definido bajo suposiciones adicionales débiles. Sin embargo, se puede obtener una buena estimación de $Z(x)$ utilizando la interpolación con el núcleo de covarianza, ignorando por completo el fondo probabilístico.

Supóngase ahora que una variable de ruido $ϵ(x)$, con media cero y varianza ${\sigma }^2$, se agrega a $x$, de modo que el ruido es independiente para diferentes $x$ e independiente de $Z$, entonces el problema de encontrar una buena estimación para $f$ es idéntico al anterior, pero con un núcleo modificado proporcionado por $K(x,y)=E[Z(x)\cdot Z(y)]+{\sigma }^2{\delta }_{xy}$.

• Estimación de densidad por núcleos: el problema es recuperar la densidad $f$ de una distribución multivariante sobre un dominio $𝒳$, a partir de una muestra grande $x_1,\dots ,x_n\in 𝒳$ incluyendo repeticiones. Cuando los puntos de muestreo son densos, la verdadera función de densidad debe tomar valores grandes. Es posible una estimación de densidad simple contando el número de muestras en cada celda de una cuadrícula y trazando el histograma resultante, que produce una estimación de densidad constante por partes. Se puede obtener una mejor estimación utilizando un núcleo invariante de traslación no negativa $K$, con integral total igual a uno, y definiendo $$f(x)=\frac{1}{n}\sum _{i=1}^{n}K\left(\frac{x-x_i}{h}\right)$$ como una estimación suave.

Solución numérica de ecuaciones diferenciales parciales

Una de las mayores áreas de aplicación de los llamados métodos sin malla es la solución numérica de ecuaciones en derivadas parciales. Algunos de los métodos populares sin malla están estrechamente relacionados con los núcleos definidos positivos (como el método sin malla local de Petrov Galerkin, el método de partícula del núcleo de reproducción y la hidrodinámica de partículas suavizadas). Estos procedimientos utilizan un núcleo de base radial con un método de colocación.

Otras aplicaciones

En la literatura sobre experimentos informáticos y otros experimentos de ingeniería, se encuentran cada vez más modelos basados en núcleos d.p., la función núcleo de base radial o el krigeaje. Uno de esos temas es la metodología de superficie de respuesta. Otros tipos de aplicaciones que se reducen al ajuste de datos son el prototipado rápido y los gráficos por computadora. Aquí, a menudo se usan modelos de superficie implícitos para aproximar o interpolar datos de nubes de puntos.

Aplicaciones de los núcleos definidos positivos en varias otras ramas de las matemáticas se encuentran en la integración multivariante, la optimización multivariante y en el análisis numérico y la computación científica, donde se estudian algoritmos rápidos, precisos y adaptables, idealmente desarrollados en entornos informáticos de alto rendimiento.

Véase también

• Función covarianza
• Ecuación integral
• Transformada integral
• Función definida positiva en un grupo
• Reproducción del espacio de Hilbert del núcleo
• Método del kernel