O grande en notación de probabilidad

El orden en la notación de probabilidad se utiliza en la teoría de probabilidad y en estadística en analogía directa a la notación de la O grande que es estándar en matemáticas . Mientras que la notación de la O grande refiere a la convergencia de sucesiones, el orden en la notación de probabilidad trata de la convergencia de sucesiones de variables aleatorias, donde convergencia se entiende en el sentido de convergencia en probabilidad.

Definiciones

O pequeña: convergencia en probabilidad

Para una sucesión de variables aleatorias X _n y una sucesión de constantes a _n (ambas indizadas por n, no necesariamente discretas), la notación

$X_n=o_p(a_n)$

significa que el conjunto de valores X _n / a _n converge en probabilidad a 0 cuando n tiende a cierto límite. De manera equivalente, X _n = o _p ( a _n ) se puede escribir como X _n / a _n = o _p (1), es decir

$\underset{n\to \mathrm{\infty }}{\lim }P[\left|\frac{X_n}{a_n}\right|\ge \epsilon ]=0,$

para cada ε > 0.

O grande: cota estocástica

La notación

$X_n=O_p(a_n)\text{ cuando }n\to \mathrm{\infty }$

significa que el conjunto de valores X _n / a _n está acotado estocásticamente. Es decir, para cualquier ε > 0, existe un M > 0 finito y un N > 0 finito tales que

$P(|\frac{X_n}{a_n}|>M)<\epsilon ,\mathrm{\forall }n>N.$

Comparación de las dos definiciones

La diferencia entre las definiciones es sutil. Si se utiliza la definición de límite se obtiene que:

• $O_p(1)$ : $\mathrm{\forall }\epsilon \mathrm{\exists }{N}_{\epsilon },{\delta }_{\epsilon }\text{ tal que }P(|X_n|\ge {\delta }_{\epsilon })\le \epsilon \mathrm{\forall }n>N_{\epsilon }$
• $o_p(1)$ : $\mathrm{\forall }\epsilon ,\delta \mathrm{\exists }{N}_{\epsilon ,\delta }\text{ tal que }P(|X_n|\ge \delta )\le \epsilon \mathrm{\forall }n>N_{\epsilon ,\delta }$

La diferencia radica en la $\delta$: para la cota estocástica, basta con que exista una $\delta$ (arbitrariamente grande) para satisfacer la desigualdad, y $\delta$ puede depender de $\epsilon$ (de ahí la ${\delta }_{\epsilon }$ ). Por otra parte, para que haya convergencia, la afirmación tiene que ser válida no sólo para una, sino para cualquier $\delta$ (arbitrariamente pequeña). En cierto sentido, esto significa que la sucesión debe estar acotada, con una cota que se hace más pequeña a medida que aumenta el tamaño de la muestra.

Esto sugiere que si una sucesión es $o_p(1)$, entonces es $O_p(1)$. Es decir, la convergencia en probabilidad implica que está acotada estocásticamente. Pero el regreso no es válido.

Ejemplo

Si $(X_n)$ es una sucesión de variables aleatorias tal que cada elemento tiene varianza finita, entonces

$X_n-E(X_n)=O_p\left(\sqrt{\mathrm{var}(X_n)}\right)$

(véase el Teorema 14.4-1 en Bishop et al.)

Si, además, $a_n^{-2}\mathrm{var}(X_n)=\mathrm{var}(a_n^{-1}{X}_n)$ es una sucesión nula para una sucesión $(a_n)$ de números reales, entonces $a_n^{-1}(X_n-E(X_n))$ converge en probabilidad a 0 por la desigualdad de Chebyshev y por lo tanto

$X_n-E(X_n)=o_p(a_n).$