La entropía común es una medida de la entropía usada en la teoría de información . La entropía común mide cuánto entropía se contiene en un sistema común de dos variables al azar . Si las variables al azar son $X$ y $Y$, la entropía común se escribe el $H\; (X,\; Y)$. Como otras entropías, la entropía común se puede medir en los liendres de los pedacitos o los hartleys dependiendo de la base del logaritmo .

Fondo

Dado una variable al azar $X$, el $H\; de\; la\; entropía\; (X)$ describe nuestra incertidumbre sobre el valor de $X$. Si $X$ consiste en varios acontecimientos $x$, que cada uno ocurre con la probabilidad $p\_x$, después la entropía de $X$ es ¡

$H\; (X)\; =\; -\; \backslash \; sum\_x\; p\_x\; \backslash \; log\_2\; ()\; \backslash !\; del\; p\_x$

Considerar otra variable al azar $Y$, conteniendo los acontecimientos $y$ que ocurren con las probabilidades $p\_y$. $Y$ tiene $H\; de\; la\; entropía\; (Y)$.

Sin embargo, si $X$ y $Y$ describen acontecimientos relacionados, la entropía total del sistema puede no ser el $H\; (X)+H\; (Y)$. Por ejemplo, imaginarse que elegimos un número entero entre 1 y 8, con la probabilidad igual para cada número entero. Dejar $X$ representar si el número entero es el incluso, y $Y$ representan si el número entero es el primero. Una mitad de los números enteros entre 1 y 8 es uniforme, y una mitad es primera, tan el $H\; (X)=H\; (Y)=1$. Sin embargo, si sabemos que el número entero es uniforme, hay solamente un 1 en la ocasión 4 que es también primera; las distribuciones son relacionadas. La entropía total del sistema es menos de 2 pedacitos. Necesitamos una manera de medir la entropía total de ambos sistemas.

Definición

Solucionamos esto considerando cada par $posible\; de\; los\; resultados\; (x,\; y)$. Si cada par de resultados ocurre con el $p\_\; de\; la\; probabilidad\; \{x,\; y\}$, se define la entropía común como ¡

$H\; (X,\; Y)\; =\; -\; \backslash \; sum\_\; \{x,\; y\}\; p\_\; \{x,\}\; \backslash \; log\_2\; de\; y\; ()\; \backslash !\; del\; p\_\; \{x,\; y\}$

En el ejemplo arriba no estamos considerando 1 como prima. Entonces la distribución de probabilidad común se convierte:

=P del $P\; (incluso,\; prima)\; (impar,\; no\; prima)\; =1/8\; \backslash \; patio$

=P del $P\; (incluso,\; no\; prima)\; (impar,\; prima)\; =3/8\; \backslash \; patio$

Así, la entropía común es

$-2\; \backslash \; frac\; \{1\}\; \{8\}\; \backslash \; log\_2\; (1/8)\; -2\; \backslash \; frac\; \{3\}\; \{8\}\; \backslash \; log\_2\; (3/8)\; \backslash \; aproximadamente\; 1.8\; pedacitos\; de$.

Características

Mayor que entropías del subsistema

La entropía común es siempre por lo menos igual a las entropías del sistema original; el adición de un nuevo sistema puede nunca reducir la incertidumbre disponible. $H\; del$

l (X, Y) \ geq H (X)

Esta desigualdad es una igualdad si y solamente si $Y$ es la función (determinista) de a de $X$.

si $Y$ es la función (determinista) de a de $X$, también tenemos $H\; del$

l (X) \ geq H (Y)

Subaditividad

Dos sistemas, considerados juntos, pueden nunca tener más entropía que la suma de la entropía en cada uno de ellos. Éste es un ejemplo del subaditividad . $H\; del$

l (X, Y) \ leq H (X) + H (Y)

Esta desigualdad es una igualdad si y solamente si $X$ y $Y$ son la independiente estadístico.

Límites

Como otras entropías, $H\; (X,\; Y)\; \backslash \; geq\; 0$ siempre.

Relaciones a otras medidas de la entropía

La entropía común se utiliza en las definiciones de la entropía condicional : $H\; del$

l (X|Y) = H (X, Y) - H (Y) \,

y la información mutua : $I\; del$

l (X; Y) = H (X) + H (Y) - H (X, Y) \,

En la teoría de información de Quantum, la entropía común se generaliza en la entropía del quántum del empalme.

Zenithic

Linc's

Random links:

Lometa, Tejas | Mohammad Jassem Khodayyir | Libertad de la estación espacial | Club del cociente | Guillermo Penney, barón Penney