Principio de máxima entropía

En mecánica estadística, el principio de máxima entropía establece que la distribución de probabilidad menos sesgada que se le puede atribuir a un sistema estadístico es aquella en la que dadas unas ciertas condiciones fijas maximiza la entropía, $S$, esto es, aquella en la que la desinformación es máxima. Esto viene a decir que en una situación de desconocimiento de información la distribución estadística menos sesgada será aquella en que menos información extrínseca al problema contenga. El anterior principio implica que dada la entropía como una función de la distribución de probabilidad y las j condiciones intrínsecas al problema, la distribución menos sesgada para los N microestados cumplirá que:

$\delta S=0$

con las condiciones

$g_i(P_1,...,P_N)=0i=1,...,j$

Empleando los multiplicadores de Lagrange la función a maximizar es:

$S+\sum _i{\lambda }_i{g}_i(P_1,...,P_N)=0$

Aplicaciones

Este principio variacional permite obtener las distribuciones microcanónica, canónica y macrocanónica para un sistema. La función entropía utilizada es:

$S=-k\sum _l{P}_l\ln P_l$

Colectividad microcanónica

La distribución de probabilidad correspondiente a la colectividad microcanónica es la perteneciente a un sistema aislado (no intercambia ni calor ni materia con el exterior). La única condición del problema será la normalización de la distribución de probabilidad para los $N$ microestados:

$\sum _{l=1}^N{P}_l=1\Rightarrow g(P_1,...,P_N)=\sum _{l=1}^N{P}_l-1$

De modo que por el principio de máximo:

$\frac{\delta }{\delta P_j}\{\sum _{l=1}^N(-k{P}_l\ln P_l+\lambda P_l)-\lambda \}=0,j=1,...,N\Rightarrow -k-k\cdot \ln P_j+\lambda =0,j=1,...,N$

Dado que ha de cumplirse para toda variación de la distribución:

$-k-k\cdot \ln P_l+\lambda =0\Rightarrow \lambda =-k-k\cdot \ln P_l\mathrm{\forall }l=1,...,N$

Teniendo en cuenta que $\lambda$ es arbitrario y constante para todo $l$, se tiene que

$P_l=\mathrm{c}\mathrm{t}\mathrm{e}\mathrm{\forall }l=1,...,N$

Por normalización, se tiene:

$P_l=\frac{1}{N}$

Esto significa que en un sistema aislado, cada uno de los microestados son equiprobables.

Colectividad canónica

La colectividad canónica es la de un sistema en contacto con un foco a temperatura constante, o lo que es lo mismo, dado que la energía media es función de la temperatura, a energía media constante. Las condiciones serán por tanto, normalización de la función de distribución y energía media constante:

$\sum _{l=1}^N{P}_l=1\Rightarrow g_1(P_1,...,P_N)=\sum _{l=1}^N{P}_l-1$

$\sum _{l=1}^N{P}_l{E}_l=⟨E⟩\Rightarrow g_2(P_1,...,P_N)=\sum _{l=1}^N{P}_l{E}_l-⟨E⟩$

Por el principio de máximo:

$\frac{\delta }{\delta P_j}\{\sum _{l=1}^N(-k{P}_l\ln P_l+{\lambda }_1{P}_l+{\lambda }_2{P}_l{E}_l)-{\lambda }_1-{\lambda }_2⟨E⟩\}=0,j=1,...,N\Rightarrow -k-k\cdot \ln P_j+{\lambda }_1+{\lambda }_2{E}_j=0,j=1,...,N$

De nuevo ha de cumplirse para toda variación de la distribución:

$-k-k\cdot \ln P_l+{\lambda }_1+{\lambda }_2{E}_l=0\Rightarrow P_l=\mathrm{c}\mathrm{t}\mathrm{e}\cdot e^{\frac{{\lambda }_2{E}_l}{k}}$

A continuación se determinan la constante y el segundo multiplicador de Lagrange. Siendo Z la función de partición canónica, por normalización se tiene que:

$P_l=\frac{e^{\frac{{\lambda }_2{E}_l}{k}}}{Z}Z=\sum _l{e}^{\frac{{\lambda }_2{E}_l}{k}}$

La entropía será:

$S=-k\sum _l{P}_l\ln P_l=-k\sum _l{P}_l(\frac{{\lambda }_2{E}_l}{k}-\ln Z)=k\cdot \ln Z-{\lambda }_2⟨E⟩$

Por definición de temperatura:

$\frac{1}{T}=\frac{\partial S}{\partial ⟨E⟩}\to {\lambda }_2=-\frac{1}{T}$

De modo que la probabilidad de cada microestado será:

$P_l=\frac{e^{-\frac{E_l}{kT}}}{Z}$

El resultado muestra que los estados más probables son los de más baja energía de modo que la probabilidad de que el sistema se encuentre en un estado de alta energía es más bajo cuanto más alta sea la energía. Se puede observa también que en el cálculo de la entropía se obtuvo la siguiente expresión y recordando la definición de energía libre de Helmholtz:

$TS=kT\ln Z+⟨E⟩=-F+E\Rightarrow F=-kT\ln Z$

De modo que un problema queda completamente determinado si se llega a conocer su función de partición.

Colectividad macrocanónica

La colectividad macrocanónica es aquella correspondiente a un sistema abierto en el que la energía media y el número medio de partículas es constante. Se puede realizar un cálculo análogo para un sistema que intercambie volumen, polarización, momento magnético, etc. Las condiciones serán por tanto normalización de la distribución y valores esperados de la energía y partículas constantes.

$\sum _{l=1}^N{P}_l=1$

$\sum _{l=1}^N{P}_l{E}_l=⟨E⟩$

$\sum _{l=1}^N{P}_l{n}_l=⟨n⟩$

El método será el mismo que en los anteriores dos casos: por el método de los multiplicadores de Lagrange se maximiza el funcional entropía, dado que las variaciones en cada probabilidad son arbitrarias cada uno de los términos del sumatorio ha de anularse independientemente, se define la gran función de partición y por último se determinan las constantes por normalización y recurriendo a las definiciones termodinámicas.

$\delta \sum _l(-k{P}_l\ln P_l+{\lambda }_1{P}_l+{\lambda }_2{P}_l{E}_l+{\lambda }_3{P}_l{n}_l)=0\to \sum _l(-k-k\cdot \ln P_l+{\lambda }_1+{\lambda }_2{E}_l+{\lambda }_3{n}_l)\delta P_l=0\Rightarrow$

$-k-k\cdot \ln P_l+{\lambda }_1+{\lambda }_2{E}_l+{\lambda }_3{n}_l=0\Rightarrow P_l=\mathrm{c}\mathrm{t}\mathrm{e}\cdot e^{\frac{{\lambda }_2{E}_l}{k}+\frac{{\lambda }_3{n}_l}{k}}$

Por normalización.

$𝒵=\sum _l{e}^{\frac{{\lambda }_2{E}_l}{k}+\frac{{\lambda }_3{n}_l}{k}}\Rightarrow P_l=\frac{e^{\frac{{\lambda }_2{E}_l}{k}+\frac{{\lambda }_3{n}_l}{k}}}{𝒵}$

De modo que:

$S=-k\sum _l{P}_l\ln P_l=-k\sum _l{P}_l(\frac{{\lambda }_2{E}_l}{k}+\frac{{\lambda }_3{n}_l}{k}-\ln 𝒵)=k\cdot \ln 𝒵-{\lambda }_2⟨E⟩-{\lambda }_3⟨n⟩$

Por definición de temperatura y potencial químico:

$\frac{1}{T}=(\frac{\partial S}{\partial ⟨E⟩}{)}_n\Rightarrow {\lambda }_2=-\frac{1}{T}$

$\mu =(\frac{\partial ⟨E⟩}{\partial ⟨n⟩}{)}_S\Rightarrow {\lambda }_3=\frac{\mu }{T}$

La probabilidad de cada microestado será:

$P_l=\frac{e^{-\frac{E_l}{kT}+\frac{\mu n_l}{kT}}}{𝒵}$

Véase también

• Entropía
• Colectividad microcanónica
• Colectividad canónica
• Colectividad macrocanónica

Enlaces externos

• Ratnaparkhi A. "A simple introduction to maximum entropy models for natural language processing" Technical Report 97-08, Institute for Research in Cognitive Science, University of Pennsylvania, 1997. Una sencilla introducción a los modelos de máxima entropía en el procesamiento de los lenguajes naturales. (en inglés)
• Maximum Entropy Modeling (en inglés)
• A maximum entropy model applied to spatial and temporal correlations from cortical networks in vitro. Esta página contiene direcciones a varios artículos e implementaciones de software de modelos de máxima entropía en la red. (en inglés)