Estimador de James-Stein

El estimador de James-Stein es un estimador sesgado de la media de los vectores aleatorios gaussianos. Se puede demostrar que el estimador de James-Stein domina el enfoque de los mínimos cuadrados, es decir, tiene un error cuadrático medio menor. Es el ejemplo más conocido del fenómeno de Stein.

Una versión anterior del estimador fue desarrollado por Charles Stein en 1956, y se refiere a veces como estimador de Stein. El resultado fue mejorado por Willard James y Charles Stein en 1961.

Definición

Supongamos que θ es un vector de parámetros desconocidos de longitud m, y sea y un vector de observaciones de θ de (también de la longitud m). Las observaciones se distribuyen normalmente:

$𝐲\sim N(\mathit{\theta },{\sigma }^{2}I).$

Estamos interesados en la obtención de una estimación $\hat{\mathit{\theta }}=\hat{\mathit{\theta }}(𝐲)$ de θ, basado en una observación de un solo vector y.

Esta es una situación cotidiana en la que se mide un conjunto de parámetros y las mediciones están dañados por el ruido gaussiano independiente. Puesto que el ruido tiene media cero, que es muy razonable utilizar las mediciones a sí mismos como una estimación de los parámetros. Este es el enfoque del estimador de mínimos cuadrados, que es ${\hat{\mathit{\theta }}}_{LS}=𝐲$.

Como resultado, hubo una considerable sorpresa e incredulidad cuando Stein demostró que, en términos de error cuadrático medio $E\{\Vert \mathit{\theta }-\hat{\mathit{\theta }}{\Vert }^2\}$. Este enfoque no es óptimo. El resultado se conoció como el fenómeno de Stein.

El estimador James-Stein

MSE (R) del estimador de mínimos cuadrados (ML) versus el estimador de James-Stein (JS). El estimador de James-Stein da su mejor estimación cuando la norma del vector de parámetro real θ es cercana a cero.

Si ${\sigma }^2$ es conocido, el estimador James-Stein está dado por:

${\hat{\mathit{\theta }}}_{JS}=(1-\frac{(m-2){\sigma }^2}{\Vert 𝐲{\Vert }^2})𝐲.$

James y Stein demostraron que el estimador anterior domina ${\hat{\mathit{\theta }}}_{LS}$ para cualquier $m\ge 3$, lo que significa que el estimador de James-Stein siempre logra un error cuadrático medio (MSE) más bajo que el estimador de máxima verosimilitud. Por definición, esto hace que el estimador de mínimos cuadrados sea inadmisible cuando $m\ge 3$.

Tenga en cuenta que si $(m-2){\sigma }^2<\Vert 𝐲{\Vert }^2$ entonces este estimador simplemente toma el estimador natural $𝐲$ y lo encoge hacia el origen 0. De hecho, esta no es la única dirección de contracción que funciona. Deje ν ser un vector fijo arbitrario de longitud $m$ metro. Luego existe un estimador del tipo James-Stein que se contrae hacia ν, es decir