Jackknife (estadística)

En estadística, el método jackknife es una técnica de remuestreo. Es una técnica útil para la estimación del sesgo y la varianza de estimadores. Básicamente, se forma un estimador del parámetro de interés por la media de las estimaciones conseguidas al eliminar, para cada una de ellas, una de las observaciones de la muestra original. Este estimador luego se usa estimar el sesgo y la varianza.

Historia

La técnica jackknife es anterior a otros métodos de remuestreo comunes como el bootstrap. Fue desarrollada por Maurice Quenouille (1949, 1956) y John W. Tukey (1958) se expandió en la técnica y propuso el nombre actual jackknife, ya que, al igual que una navaja de Boy Scout, es una herramienta "áspera y lista" que puede resolver una variedad de problemas a pesar de que los problemas específicos pueden ser más eficientemente resueltos con una herramienta diseñada para tal fin. Posteriormente Bradley Efron, al proponer la técnica bootstrap, demuestra que el jackknife es una aproximación lineal de esta.

Definición del estimador jackknife

Sea $\theta$ el parámetro que se quiere estimar usando un estimador $\hat{\theta }$ a partir de una muestra de tamaño $n$. Se consideran los $n$ estimadores ${\hat{\theta }}_{(j)}$ de misma forma funcional que $\hat{\theta }$ fruto de omitir la $j$-ésima observación de la muestra para cada $j=1,\dots ,n$. A estas estimaciones se las conoce como replicas jackknife y un primer estimador es su media

${\hat{\theta }}_{(\cdot )}=\frac{1}{n}\sum _{j=1}^n{\hat{\theta }}_{(j)}$

que en el caso en que las réplicas jackknife sean incorreladas, disminuye la varianza respecto a $\hat{\theta }$.

El estimador $\hat{\theta }$ es en general sesgado. Una asunción razonable en la mayoría de los casos es que el sesgo del estimador tiende a 0 cuanto mayor es el tamaño muestral $n$, así se puede suponer que $𝔼[\hat{\theta }]\approx \theta +\frac{b}{n}$. Entonces la media de las réplicas jackknife cumple

$𝔼[{\hat{\theta }}_{(\cdot )}]=𝔼[{\hat{\theta }}_{(j)}]\approx \theta +\frac{b}{n-1}$

de manera que

$𝔼[n\hat{\theta }-(n-1){\hat{\theta }}_{(\cdot )}]\approx n\theta +b-(n-1)\theta -b=\theta$

Se define el estimador jackknife con corrección de sesgo como

${\hat{\theta }}^{jack}=n\hat{\theta }-(n-1){\hat{\theta }}_{(\cdot )}$

que se puede escribir también como la media de los pseudovalores ${\theta }_j=n\hat{\theta }-(n-1){\hat{\theta }}_{(j)}$

${\hat{\theta }}^{jack}=\frac{1}{n}\sum _{j=1}^n{\hat{\theta }}_j$

Estimación del sesgo y de la varianza

De la discusión del apartado anterior se tiene que

$𝔼[{\hat{\theta }}_{(\cdot )}-\hat{\theta }]=\frac{b}{n(n-1)}$

por lo tanto multiplicando por $n-1$ se tiene una estimación aproximada del sesgo de $\hat{\theta }$:

$\widehat{𝔹}(\hat{\theta })=(n-1)({\hat{\theta }}_{(\cdot )}-\hat{\theta })$

Si al estimador $\hat{\theta }$ se le resta la estimación de su sesgo, se obtiene de nuevo el estimador jackknife

$\hat{\theta }-\widehat{𝔹}(\hat{\theta })=\hat{\theta }-(n-1)({\hat{\theta }}_{(\cdot )}-\hat{\theta })=n\hat{\theta }-(n-1){\hat{\theta }}_{(\cdot )}={\hat{\theta }}^{jack}$

Dada la expresión del estimador jackknife como media de pseudovalores, una estimación natural de su varianza es $\frac{1}{n}{S}^2$, siendo en este caso $S^2$la cuasivarianza o varianza muestral de los pseudovalores

$\hat{V}({\hat{\theta }}^{jack})=\frac{1}{n(n-1)}\sum _{j=1}^n({\hat{\theta }}_j-{\hat{\theta }}^{jack}{)}^2$.

Esta expresión se usa también como estimación de la varianza de $\hat{\theta }$.