Entropía condicional

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

Definición

Supóngase que $X$ es una variable aleatoria sobre un espacio de probabilidad $\mathrm{\Omega }$ y $A\subset \mathrm{\Omega }$ sea un evento. Si $X$ toma valores sobre un conjunto finito $\{a_i|1\le i\le m\}$, se define de manera natural la entropía condicional de $X$ dado $A$ como: Plantilla:Ecuación De la misma manera si $Y$ es otra variable aleatoria que toma valores $b_k$ se define la entropía condicional $H(X|Y)$ como: Plantilla:Ecuación Puede interpretarse la anterior magnitud como la incertidumbre de $X$ dado un valor particular de $Y$, promediado por todos los valores posibles de $Y$.

Propiedades

• Trivialmente se tiene que $H(X|X)=0$
• $H(X|Y)=H(X)$ si $X$ e $Y$ son variables independientes.
• Dadas dos variables que toman un conjunto finito de valores: $H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)$
• Como consecuencia de lo anterior y de que $H(X,Y)\le H(Y)+H(X)$, se tiene: $H(X|Y)\le H(X)$.

Referencias

Bibliografía

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3