Ver el código de «Cota de Cramér-Rao»

[[Archivo:Cramer-Rao bound illustration variance.jpg|miniaturadeimagen|Ilustración del límite de Cramer-Rao: no existe un estimador imparcial que sea capaz de estimar el parámetro (bidimensional) con menos varianza que el límite de Cramer-Rao, ilustrado como elipse de desviación estándar.]]
En [[estadística]], la '''cota de Cramér-Rao''' (abreviada CRB por sus siglas del [[Idioma inglés|inglés]]) o '''cota inferior de Cramér-Rao''' (CRLB), llamada así en honor a [[Harald Cramér]] y [[C. R. Rao| Calyampudi Radhakrishna Rao]], expresa una cota inferior para la [[varianza]] de un [[estimador insesgado]], basado en la [[información de Fisher]].

Establece que la inversa multiplicativa de la información de Fisher de un parámetro <math>\theta</math>, <math>\mathcal{I}(\theta)</math>, es una cota inferior para la varianza de un estimador insesgado del parámetro (denotado mediante <math>\widehat{\theta}</math>). Nótese que <math>f</math> es la [[función de verosimilitud]].

:<math>
\mathrm{var} \left(\widehat{\theta}\right)
\geq
\frac{1}{\mathcal{I}(\theta)}
=
\frac{1}
{
 \mathrm{E}
 \left[
  \left[
   \frac{\partial}{\partial \theta} \ln f(X;\theta)
  \right]^2
 \right]
}
</math>

En algunos casos, no existe un estimador insesgado que alcance la cota inferior.

A esta cota se la conoce también como la '''desigualdad de Cramér-Rao''' o como la '''desigualdad de información'''.

== Condiciones de regularidad ==
La cota depende de dos condiciones de regularidad débiles de la [[función de densidad de probabilidad]], <math>f(x; \theta)</math>, y del estimador <math>T(X)</math>:
* La [[información de Fisher]] siempre está definida; en otras palabras, para todo <math>x</math> tal que <math>f(x; \theta) > 0</math>,

::<math> \frac{\partial}{\partial\theta} \ln f(x;\theta)</math>

: es finito.
* Las operaciones de integración con respecto a <math>x</math> y de diferenciación con respecto a <math>\theta</math> pueden intercambiarse en la esperanza de <math>T</math>; es decir,

::<math>
 \frac{\partial}{\partial\theta}
 \left[
  \int T(x) f(x;\theta) \,dx
 \right]
 =
 \int T(x)
  \left[
   \frac{\partial}{\partial\theta} f(x;\theta)
  \right]
 \,dx
</math>

:siempre que el miembro derecho de la ecuación sea finito.

En algunos casos, un estimador ''sesgado'' puede tener tanto varianza como [[error cuadrático medio]] por debajo de la cota inferior de Cramér-Rao (la cota inferior se aplica solo a estimadores insesgados).

Si se extiende la segunda condición de regularidad a la segunda derivada, entonces se puede usar una forma alternativa de la información de Fisher para obtener una nueva desigualdad de Cramér-Rao

:<math>
\mathrm{var} \left(\widehat{\theta}\right)
\geq
\frac{1}{\mathcal{I}(\theta)}
=
\frac{1}
{
 -\mathrm{E}
 \left[
  \frac{d^2}{d\theta^2} \ln f(X;\theta)
 \right]
}
</math>

En algunos casos puede resultar más sencillo tomar la esperanza con respecto a la segunda derivada que tomarla respecto del cuadrado de la primera derivada.

== Parámetros múltiples ==
Extendiendo la cota de Cramér-Rao para múltiples parámetros, defínase el vector columna de parámetros

: <math>\boldsymbol{\theta} = \left[ \theta_1, \theta_2, \dots, \theta_d \right]^T \in \mathbb{R}^d</math>

con [[función de densidad de probabilidad]] <math>f(x; \boldsymbol{\theta})</math> que satisface las dos condiciones de regularidad definidas anteriormente.

La [[matriz de información de Fisher]] es una matriz de dimensión <math>d \times d</math> con elementos <math>\mathcal{I}_{m, k}</math> definidos según

: <math>
\mathcal{I}_{m, k}
=
\mathrm{E}
\left[
 \frac{d}{d\theta_m} \log f\left(x; \boldsymbol{\theta}\right)
 \frac{d}{d\theta_k} \log f\left(x; \boldsymbol{\theta}\right)
\right]
</math>

entonces, la cota de Cramér-Rao es

: <math>
\mathrm{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)
\geq
\frac
 {\partial \boldsymbol{\psi} \left(\boldsymbol{\theta}\right)}
 {\partial \boldsymbol{\theta}^T}
\mathcal{I}\left(\boldsymbol{\theta}\right)^{-1}
\frac
 {\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)^T}
 {\partial \boldsymbol{\theta}}
</math>

donde
* <math>
\boldsymbol{T}(X) = \begin{bmatrix} T_1(X) & T_2(X) & \cdots & T_d(X) \end{bmatrix}^T
</math>
* <math>
\boldsymbol{\psi}
=
\mathrm{E}\left[\boldsymbol{T}(X)\right]
=
\begin{bmatrix} \psi_1\left(\boldsymbol{\theta}\right) &
 \psi_2\left(\boldsymbol{\theta}\right) &
 \cdots &
 \psi_d\left(\boldsymbol{\theta}\right)
\end{bmatrix}^T
</math>

<!-- Espacio en blanco vertical introducido acá únicamente para facilitar la legibilidad. -->

* <math>\frac{\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)}{\partial \boldsymbol{\theta}^T}
=
\begin{bmatrix}
 \psi_1 \left(\boldsymbol{\theta}\right) \\
 \psi_2 \left(\boldsymbol{\theta}\right) \\
 \vdots \\  \\
 \psi_d \left(\boldsymbol{\theta}\right)
\end{bmatrix}
\begin{bmatrix}
 \frac{\partial}{\partial \theta_1} &
 \frac{\partial}{\partial \theta_2} &
 \cdots &
 \frac{\partial}{\partial \theta_d}
\end{bmatrix}
=
\begin{bmatrix}
 \frac{\partial \psi_1 \left(\boldsymbol{\theta}\right)}{\partial \theta_1} &
 \frac{\partial \psi_1 \left(\boldsymbol{\theta}\right)}{\partial \theta_2} &
 \cdots &
 \frac{\partial \psi_1 \left(\boldsymbol{\theta}\right)}{\partial \theta_d} \\  \\
 \frac{\partial \psi_2 \left(\boldsymbol{\theta}\right)}{\partial \theta_1} &
 \frac{\partial \psi_2 \left(\boldsymbol{\theta}\right)}{\partial \theta_2} &
 \cdots &
 \frac{\partial \psi_2 \left(\boldsymbol{\theta}\right)}{\partial \theta_d} \\  \\
 \vdots &
 \vdots &
 \ddots &
 \vdots \\  \\
 \frac{\partial \psi_d \left(\boldsymbol{\theta}\right)}{\partial \theta_1} &
 \frac{\partial \psi_d \left(\boldsymbol{\theta}\right)}{\partial \theta_2} &
 \cdots &
 \frac{\partial \psi_d \left(\boldsymbol{\theta}\right)}{\partial \theta_d}
\end{bmatrix}
</math>

<!-- Espacio en blanco vertical introducido acá únicamente para facilitar la legibilidad. -->

*<math>
\frac{\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)^T}{\partial \boldsymbol{\theta}}
=
\begin{bmatrix}
 \frac{\partial}{\partial \theta_1} \\
 \frac{\partial}{\partial \theta_2} \\
 \vdots \\
 \frac{\partial}{\partial \theta_d}
\end{bmatrix}
\begin{bmatrix}
 \psi_1 \left(\boldsymbol{\theta}\right) &
 \psi_2 \left(\boldsymbol{\theta}\right) &
 \cdots &
 \psi_d \left(\boldsymbol{\theta}\right)
\end{bmatrix}
=
\begin{bmatrix}
 \frac{\partial \psi_1 \left(\boldsymbol{\theta}\right)}{\partial \theta_1} &
 \frac{\partial \psi_2 \left(\boldsymbol{\theta}\right)}{\partial \theta_1} &
 \cdots &
 \frac{\partial \psi_d \left(\boldsymbol{\theta}\right)}{\partial \theta_1} \\  \\
 \frac{\partial \psi_1 \left(\boldsymbol{\theta}\right)}{\partial \theta_2} &
 \frac{\partial \psi_2 \left(\boldsymbol{\theta}\right)}{\partial \theta_2} &
 \cdots &
 \frac{\partial \psi_d \left(\boldsymbol{\theta}\right)}{\partial \theta_2} \\  \\
 \vdots &
 \vdots &
 \ddots &
 \vdots \\  \\
 \frac{\partial \psi_1 \left(\boldsymbol{\theta}\right)}{\partial \theta_d} &
 \frac{\partial \psi_2 \left(\boldsymbol{\theta}\right)}{\partial \theta_d} &
 \cdots &
 \frac{\partial \psi_d \left(\boldsymbol{\theta}\right)}{\partial \theta_d}
\end{bmatrix}
</math>

Y <math>\mathrm{cov}_{\boldsymbol{\theta}} \left( \boldsymbol{T}(X) \right)</math> es una [[Matriz definida positiva|matriz semi-definida positiva]], es decir

: <math> x^{T} \mathrm{cov}_{\boldsymbol{\theta}} \left( \boldsymbol{T}(X) \right) x \geq 0 \quad \forall x \in \mathbb{R}^d</math>

Si <math>\boldsymbol{T}(X) = \begin{bmatrix} T_1(X) & T_2(X) & \cdots & T_d(X) \end{bmatrix}^T</math> es un estimador insesgado (es decir, <math>\boldsymbol{\psi}\left(\boldsymbol{\theta}\right) = \boldsymbol{\theta}</math>) entonces la cota de Cramér-Rao es

: <math>
\mathrm{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)
\geq
\mathcal{I}\left(\boldsymbol{\theta}\right)^{-1}
</math>

<!--
==Single-parameter proof==
First, a more general version of the bound will be proven; namely, that if the expectation of <math>T</math> is denoted by <math>\psi (\theta)</math>, then for all <math>\theta</math>

:<math>{\rm var}(t(X)) \geq \frac{[\psi^\prime(\theta)]^2}{{\mathcal I}(\theta)}</math>

The Cramér-Rao bound will then follow as a consequence.

Let <math>X</math> be a [[random variable]] with [[probability density function]] <math>f(x, \theta)</math>.
Here <math>T = t(X)</math> is a [[statistic]], which is used as an [[estimator]] for <math>\theta</math>.  If <math>V</math> is the [[score (statistics)|score]], i.e.

:<math>V = \frac{\partial}{\partial\theta} \ln f(X;\theta)</math>

then the [[expected value|expectation]] of <math>V</math>, written <math>{\rm E}(V)</math>, is zero.
If we consider the [[covariance]] <math>{\rm cov}(V, T)</math> of <math>V</math> and <math>T</math>, we have <math>{\rm cov}(V, T) = {\rm E}(V T)</math>, because <math>{\rm E}(V) = 0</math>.  Expanding this expression we have

:<math>
{\rm cov}(V,T)
=
{\rm E}
\left(
 T \cdot \frac{\partial}{\partial\theta} \ln f(X;\theta)
\right)
</math>

This may be expanded using the [[chain rule]]

:<math>\frac{\partial}{\partial\theta} \ln Q = \frac{1}{Q}\frac{\partial Q}{\partial\theta}</math>

and the definition of expectation gives, after cancelling <math>f(x; \theta)</math>,

:<math>
{\rm E} \left(
 T \cdot \frac{\partial}{\partial\theta} \ln f(X;\theta)
\right)
=
\int
 t(x)
 \left[
  \frac{\partial}{\partial\theta} f(x;\theta)
 \right]
\, dx
=
\frac{\partial}{\partial\theta}
\left[
 \int t(x)f(x;\theta)\,dx
\right]
=
\psi^\prime(\theta)
</math>

because the integration and differentiation operations commute (second condition).

The [[Cauchy-Schwarz inequality]] shows that

:<math>
\sqrt{ {\rm var} (T) {\rm var} (V)} \geq \left| {\rm cov}(V,T) \right| = \left | \psi^\prime (\theta)
\right |</math>

therefore

:<math>
{\rm var\ } T \geq \frac{[\psi^\prime(\theta)]^2}{{\rm var} (V)}
=
\frac{[\psi^\prime(\theta)]^2}{{\mathcal I}(\theta)}
=
\left[
 \frac{\partial}{\partial\theta}
 {\rm E} (T)
\right]^2
\frac{1}{{\mathcal I}(\theta)}   
</math>

[[Q.E.D.]]

If <math>T</math> is an unbiased estimator of <math>\theta</math>, that is, <math>{\rm E}(T) =\theta</math>, then <math>\psi'(\theta) = 1</math>; the inequality then becomes

:<math>
{\rm var}(T) \geq \frac{1}{{\mathcal I}(\theta)}
</math>

This is the Cramér-Rao bound.

The [[efficiency (statistics)|efficiency]] of <math>T</math> is defined as

:<math>e(T) = \frac{\frac{1}{{\mathcal I}(n\theta)}}{{\rm var}(T)}</math>

or the minimum possible variance for an unbiased estimator divided by its actual variance.
The Cramér-Rao lower bound thus gives <math>e(T) \le 1</math>.
-->

== Ejemplos ==
=== Distribución normal multivariada ===
Para el caso de una [[distribución normal multivariada]] de dimensión ''d''

: <math>
\boldsymbol{x}
\sim
N_d
\left(
 \boldsymbol{\mu} \left( \boldsymbol{\theta} \right)
 ,
 C \left( \boldsymbol{\theta} \right)
\right)
</math>

con [[función de densidad de probabilidad]]

:<math>
f\left( \boldsymbol{x}; \boldsymbol{\theta} \right)
=
\frac{1}{\sqrt{ (2\pi)^d \left| C \right| }}
\exp
\left(
 -\frac{1}{2}
 \left(
  \boldsymbol{x} - \boldsymbol{\mu}
 \right)^{T}
 C^{-1}
 \left(
  \boldsymbol{x} - \boldsymbol{\mu}
 \right)
\right),
</math>

la [[matriz de información de Fisher]] tiene entradas

:<math>
\mathcal{I}_{m, k}
=
\frac{\partial \boldsymbol{\mu}^T}{\partial \theta_m}
C^{-1}
\frac{\partial \boldsymbol{\mu}}{\partial \theta_k}
+
\frac{1}{2}
\mathrm{tr}
\left(
 C^{-1}
 \frac{\partial C}{\partial \theta_m}
 C^{-1}
 \frac{\partial C}{\partial \theta_k}
\right)
</math>

donde <math>tr</math> es la [[traza de una matriz]].

En particular, si <math>w[n]</math> es [[Ruido gaussiano#Ruido blanco gaussiano|ruido blanco gaussiano]] (una muestra de <math>N</math> observaciones independientes) con varianza conocida <math>\sigma^2</math>, es decir,

:<math>w[n] \sim \mathbb{N}_N \left(\boldsymbol{\mu}(\theta), \sigma^2 {\mathcal I} \right),</math>

y <math>\theta</math> es un escalar, entonces la matriz de [[información de Fisher]] es de dimensión 1&nbsp;&times;&nbsp;1

:<math>
\mathcal{I}(\theta)
=
\left(\frac{\partial\boldsymbol{\mu}(\theta)}{\partial\theta_m}\right)^TC^{-1}\left(\frac{\partial\boldsymbol{\mu}(\theta)}{\partial\theta_k}\right) = \sum^N_{i=0}\frac{1}{\sigma^2} = \frac{N}{\sigma^2},
</math>

y por lo tanto la cota de Cramér-Rao es

:<math>
\mathrm{var}\left(\theta\right)
\geq
\frac{\sigma^2}{N}.
</math>

<!--
===Normal variance with known mean===
Suppose ''X'' is a [[normal distribution|normally distributed]] random variable with known mean <math>\mu</math> and unknown variance <math>\sigma^2</math>.  Consider the following statistic:

:<math>
T=\frac{\sum_{i=1}^n\left(X_i-\mu\right)^2}{n}.
</math>

Then ''T'' is unbiased for <math>\sigma^2</math>, as <math>E(T)=\sigma^2</math>.  What is the variance of ''T''?

:<math>
\mathrm{Var}(T) = \frac{\mathrm{var}(X-\mu)^2}{n}=\frac{1}{n}
\left[
E\left\{(X-\mu)^4\right\}-\left(E\left\{(X-\mu)^2\right\}\right)^2
\right]
</math>

(the second equality follows directly from the definition of variance).  The first term is the fourth [[moment about the mean]] and has value <math>3(\sigma^2)^2</math>; the second is the square of the variance, or <math>(\sigma^2)^2</math>.
Thus

:<math>\mathrm{var}(T)=\frac{2(\sigma^2)^2}{n}.</math>

Now, what is the [[Fisher information]] in the sample? Recall that the [[score (statistics)|score]] ''V'' is defined as

:<math>
V=\frac{\partial}{\partial\sigma^2}\log L(\sigma^2,X)
</math>

where <math>L</math> is the [[likelihood function]].  Thus in this case,

:<math>
V=\frac{\partial}{\partial\sigma^2}\log\left[\frac{1}{\sqrt{2\pi\sigma^2}}e^{-(X-\mu)^2/{2\sigma^2}}\right]
=\frac{(X-\mu)^2}{2(\sigma^2)^2}-\frac{1}{2\sigma^2}
</math>

where the second equality is from elementary calculus.  Thus, the information in a single observation is just minus the expectation of the derivative of ''V'', or

:<math>
{\mathcal I}
=-E\left(\frac{\partial V}{\partial\sigma^2}\right)
=-E\left(-\frac{(X-\mu)^2}{(\sigma^2)^3}+\frac{1}{2(\sigma^2)^2}\right)
=\frac{\sigma^2}{(\sigma^2)^3}-\frac{1}{2(\sigma^2)^2}
=\frac{1}{2(\sigma^2)^2}.</math>

Thus the information in a sample of <math>n</math> independent observations is just <math>n</math> times this, or <math>\frac{n}{2(\sigma^2)^2}</math>.

The Cramer Rao bound states that 

:<math>
\mathrm{var}(T)\geq\frac{1}{{\mathcal I}}.</math>

In this case, the inequality is satisfied. Equality is also achieved, showing that the [[estimator]] is [[efficiency (statistics)|efficient]].

== Bibliografía complementaria ==
* {{cite book
  | last = Kay
  | first = Steven M.
  | title = Statistical Signal Processing, Volume I: Estimation Theory
  | publisher = Prentice Hall
  | date = 1993
  | pages = ch. 3
  | id = ISBN 0-13-345711-7 }}
-->


== Véase también ==

* [[Información de Fisher]]
{{Control de autoridades}}
[[Categoría:Desigualdades]]
[[Categoría:Estimación estadística]]