Principio de máxima entropía (estadística)

Este principio queda prácticamente enunciado con el título que hemos elegido:

El sentido de este principio ha quedado explicitado en los ejemplos anteriores: de algún modo señala que no hay razón para privilegiar un estado particular de antemano.

El procedimiento habitual para maximizar la entropía consiste en recurrir al método variacional, imponiendo los vínculos mediante multiplicadores de Lagrange. Veamos primero el ejemplo de hallar la distribución de probabilidad en nuestro conjunto de $M$ eventos bajo la única imposición de la normalización, $\sum_j P_j = 1$. Debemos exigir que alrededor de la distribución $\{P_j\}$ que maximiza (6) las variaciones virtuales se anulen:

$$\delta \left[ - k \sum_{j=1}^M P_j \ln P_j + \alpha \sum_{j=1}^M P_j \right] = 0 \;,$$

donde $\alpha$ es el multiplicador de Lagrange asociado con la normalización. Permitimos entonces variaciones infinitesimales $\delta P_j$ en las probabilidades (como si fueran independientes), obteniendo

$$\sum_{j=1}^M \delta P_j \left[ - k \ln P_j + (\alpha-k) \right] = 0 \;.$$

Como esto debe anularse para cualquier conjunto de variaciones $\{\delta P_j\}$ arbitrarias, entonces debe anularse el término entre corchetes para cada $j$, con lo cual resulta

$$P_j = e^{\textstyle\frac{\alpha}k-1} \;,$$

es decir, todos los estados tienen la misma probabilidad, que por la condición de normalización no pueden sino valer $1/M$. En efecto, escribiendo explícitamente $\sum_j P_j = 1$ podemos además encontrar el valor para el multiplicador $\alpha$:

$$e^{{\textstyle\frac{\alpha}k}-1} = \frac 1M \qquad\Rightarrow\qquad \alpha = k (1-\ln M) \;.$$

En el caso de contar con algún vínculo adicional

$$\bar f = \sum_{j=1}^M P_j f_j \;,$$ (7)

el proceso de maximización es similar, sólo que debemos acompañar esta nueva restricción con otro multiplicador de Lagrange $\beta$, resultando

$$\sum_{j=1}^M \delta P_j \left[ -k\ln P_j+(\alpha-k)+\beta f_j\right ]=0 \;.$$

Obtenemos entonces

$$P_j = e^{ \left({\textstyle\frac{\alpha}k}-1\right) + {\textstyle\frac{\beta}k} f_j } \;,$$

y cuando imponemos la condición de normalización vemos que debe cumplirse

$$e^{{\textstyle\frac{\alpha}k}-1} \sum_{j=1}^M e^{{\textstyle\frac{\beta}k} f_j} = 1\;.$$

Definimos entonces la función partición

$$Z \equiv e^{1-\textstyle\frac{\alpha}k} = \sum_{j=1}^M e^{{\textstyle\frac{\beta}k} f_j} \;. % Zustandsumme (suma sobre estados)$$ (8)

Sustituyendo en la expresión anterior, obtenemos

$$P_j = \frac{e^{{\textstyle\frac{\beta}k} f_j}}{\displaystyle\sum_{j=1}^M e^{{\textstyle\frac{\beta}k} f_j}} \;,$$

donde se evidencia que la distribución $\{P_j\}$ está normalizada. Falta aún determinar el valor del multiplicador $\beta$, que puede obtenerse utilizando el vínculo (7)

$$\bar f = \frac{\displaystyle\sum_{j=1}^M f_j e^{{\textstyle\fra... ...}k} f_j}} {\displaystyle\sum_{j=1}^M e^{{\textstyle\frac{\beta}k} f_j}} \;.$$

Despejando de aquí $\beta$, podemos encontrar también el valor de $\alpha$ a través de (8). La generalización para el caso de mayor número de vínculos es inmediata, y sólo debe tenerse la precaución de no sobredeterminar el sistema.