La teoría matemática de la información se basa en la teoría de las probabilidades y las estadísticas, y mide la información con varias cantidades del de la información . La opción de la base logarítmica en las fórmulas siguientes determina la unidad de entropía de información se utilice que. La unidad más común de información es el pedacito, basado en el logaritmo binario . Otras unidades incluyen el nacional, basado en el logaritmo natural, y el hartley, basado en la base 10 o el logaritmo ordinario .

En qué sigue, una expresión del $p\; \backslash \; del\; registro\; p\; de\; la\; forma\; \backslash ,$ es considerada por la convención ser igual a cero siempre que sea el p . Se justifica esto porque $\backslash \; lim\_\; \{p\; \backslash \; rightarrow\; 0+\}\; p\; \backslash \; registro\; p\; =\; 0$ para cualquier base logarítmica.

Uno mismo-información

Shannon derivó una medida del contenido de información llamada la Uno mismo-información del o " del ; surprisal" de un m del mensaje:

$I\; (m)\; =\; \backslash \; registro\; \backslash \; ido\; (\backslash \; frac\; \{1\}\; \{p\; (m)\}\; \backslash \; derecho)\; =\; -\; \backslash \; registro\; (p\; (m))\; \backslash ,$

donde $p\; (m)\; =\; \backslash \; mathrm\; \{banda\}\; (M=m)$ es la probabilidad que el m del mensaje está elegido de todas las opciones posibles en el espacio de mensaje $M$. La base del logaritmo afecta solamente a un factor de escala y, por lo tanto, a las unidades en los cuales se exprese el contenido de información medido. Si el logaritmo es la base 2, la medida de información se expresa en unidades de los pedacitos

La información se transfiere de una fuente a un recipiente solamente si el recipiente de la información no tenía ya la información a comenzar con. Los mensajes que transportan la información que sucede seguramente y sabido ya por el recipiente no contienen ninguna información verdadera. Los mensajes infrecuentemente de ocurrencia contienen más información que mensajes más con frecuencia de ocurrencia. Este el hecho se refleja en la ecuación antedicha (un mensaje de cierta probabilidad tiene una medida de información de cero). Además, un mensaje compuesto de dos (o más) (o mutuamente la independiente) mensajes sin relación tendrían una cantidad de información que es la suma de las medidas de información de cada mensaje individualmente. Ese hecho también se refleja en la ecuación antedicha, apoyando la validez de su derivación.

Un ejemplo: La difusión de la previsión metereológica es: " Pronóstico de la esta noche: Oscuro. Oscuridad continua hasta luz extensamente dispersada en el morning." Este mensaje no contiene ninguna información. Sin embargo, un pronóstico de una tempestad de nieve contendría ciertamente la información puesto que no sucede tal cada tarde. Aun más ser una gran cantidad de información en un pronóstico exacto de la nieve para una localización caliente, tal como Miami .

Entropía

La entropía del de un espacio de mensaje discreto $M$ es una medida de la cantidad de la incertidumbre uno del tiene sobre qué mensaje será elegido. Se define como la uno mismo-información del promedio de un mensaje $m$ de ese espacio de mensaje:

$H\; (M)\; =\; \backslash \; mathbb\; \{\}\; \backslash \; \{de\; E\; =\; \backslash \; sum\_\; \{m\; \backslash \; en\; M\}\; p\; de\; I\; (M)\; \backslash \}\; (m)\; I\; (m)\; =\; -\; \backslash \; sum\_\; \{m\; \backslash \; en\; M\}\; p\; (m)\; \backslash \; registro\; p\; (m).$

donde

$\backslash \; el\; mathbb\; \{\}\; \backslash \; \{\backslash \}\; de\; E$ denota la operación del valor previsto .

Una característica importante de la entropía es que está maximizada cuando todos los mensajes en el espacio de mensaje son equiprobables (e. el $p\; (m)\; el\; =\; 1/M$). En este caso $H\; (M)\; =\; \backslash \; registro\; |M|.$

El H de la función se expresa a veces en términos de probabilidades de la distribución: $H\; del$

l (p_1, p_2, \ ldots, p_k) = - \ p_i del ^k del sum_ {i=1} \ p_i del registro, donde cada $p\_i\; \backslash \; geq\; 0$ y p_i del ^k del $\backslash \; del\; sum\_\; \{i=1\}\; =\; 1.$

Un caso especial importante de esto es la función binaria de la entropía del :

$H\_\; \backslash \; mbox\; \{b\}\; (p)\; =\; H\; (p,\; 1\; p)\; =\; -\; p\; \backslash \; registro\; p\; -\; (1-p)\; \backslash \; registro\; (1-p).\; \backslash ,$

Entropía común

La entropía común del de dos variables al azar discretas $X$ y $Y$ se define como la entropía de la distribución común de $X$ y de $Y$: $H\; del$

l (X, Y) = \ _ del mathbb {E} {X, Y} p (x, y) = - \ sum_ {x, y} p (x, y) \ registro p (x, y) \,

Si $X$ y $Y$ son la independiente, después la entropía común es simplemente la suma de sus entropías individuales.

(Nota: La entropía común no se debe confundir con la entropía de la cruz, a pesar de notaciones similares.)

Entropía condicional (ambigüedad)

Dado un valor particular de una variable al azar $Y$, la entropía condicional de $Y=y$ dado $X$ se define como: $H\; (X\; DEL$

DEL

DEL

|y) = \ _ p (x del mathbb {E}|y) = - \ sum_ {x \ en X} p (x|y) \ registro p (x|y)

donde $p\; (x|y)\; =\; \backslash \; frac\; \{p\; (x,\; y)\}\; \{p\; (y)\}$ es la probabilidad condicional de $y$ dado $x$.

La entropía condicional del de $Y$ dado $X$, también llamada la ambigüedad de $X$ sobre $Y$ entonces se da cerca: $H\; (X\; DEL$

DEL

DEL

|Y) = \ mathbb E_Y \ {H (X|y) \} = - \ sum_ {y \ en Y} p (y) \ sum_ {x \ en X} p (x|y) \ registro p (x|y) = \ sum_ {x, y} p (x, y) \ registro \ frac {p (y)} {p (x, y)}.

Una característica básica de la entropía condicional es ésa: $H\; (X\; DEL$

DEL

DEL

|Y) = H (X, Y) - H (Y). \,

Divergencia de Kullback-Leibler (aumento de información)

La divergencia de Kullback-Leibler del (o la divergencia de la información del, el aumento de información del, o la entropía relativa ) es una manera de comparar dos distribuciones, un " true" p de la distribución de probabilidad, y un arbitrario q de la distribución de probabilidad. Si comprimimos los datos de una forma que asumen el q son la distribución que es la base de un ciertos datos, cuando, en realidad, el p es la distribución correcta, divergencia de Kullback-Leibler son el número de pedacitos adicionales medios por el dato necesario para la compresión, o, matemáticamente, $D\_\; del\; \{\backslash \; mathrm\; \{kilolitro\}\}\; (p\; (X)\; \backslash |\; =\; \backslash \; sum\_\; \{x\; \backslash \; en\; X\}\; p\; de\; q\; (X))\; (x)\; \backslash \; registro\; \backslash \; frac\; \{p\; (x)\}\; \{q\; (x)\}.$ Es en un cierto sentido el " distance" del q a el p, aunque no sea un verdadero métrico debido a su no ser simétrico.

Información mutua (transinformación)

Resulta que una de las medidas más útiles y más importantes de información es la información mutua del, o la transinformación . Ésta es una medida de cuánto información se puede obtener cerca de una variable al azar observando otra. La información mutua de $X$ $Y$ en relación con (que represente conceptual la cantidad de información media sobre $X$ que pueda ser ganado observando $Y$) se da cerca: $I\; del$

l (X; Y) = \ sum_ {y \ en Y} p (y) \ sum_ {x \ en X} p (x|y) \ registro \ frac {p (x|y)} {= \ sum_ {x, y} de p (x)} p (x, y) \ registro \ frac {p (x, y)} {p (x) \, p (y)}.

Una característica básica de la información mutua es ésa: $I\; del$

l (X; Y) = H (X) - H (X|Y). \,

Es decir, sabiendo el Y, podemos ahorrar un promedio del $I\; (X;\; Los\; pedacitos\; de\; Y)$ en el X de la codificación compararon a no saber el Y . La información mutua es el simétrico: $I\; del$

l (X; Y) = I (Y; X) = H (X) + H (Y) - H (X, Y). \,

La información mutua se puede expresar como la divergencia media (aumento de Kullback-Leibler de información) de la distribución de probabilidad posterior del X dado el valor del Y a la distribución anterior en el X : $I\; del\; (X;\; Y)\; =\; \backslash \; mathbb\; E\_\; \{p\; (y)\}\; \backslash \; \{D\_\; \{\backslash \; mathrm\; \{kilolitro\}\}\; (p\; (X|Y=y)\; \backslash |\; p\; (X))\; \backslash \}.$ Es decir ésta es una medida de cuánto, en el promedio, cambiará la distribución de probabilidad en el X si nos dan el valor del Y . Esto se recalcula a menudo como la divergencia del producto de las distribuciones marginales a la distribución común real: $I\; del\; (X;\; Y)\; =\; D\_\; \{\backslash \; mathrm\; \{kilolitro\}\}\; (p\; (X,\; Y)\; \backslash |\; p\; (X)\; p\; (Y)).$

La información mutua es estrechamente vinculada a la prueba de cociente de la registro-probabilidad en el contexto de las tablas de contingencia y de la distribución polinomial y a la prueba de χ² de Pearson: la información mutua se puede considerar una estadística para determinar independencia entre un par de variables, y tiene una distribución asintótica bien-especificada.

Entropía diferenciada el del de

considera el artículo principal: Entropía diferenciada .

Las medidas básicas de entropía discreta han sido ampliadas por analogía a los espacios continuos substituyendo sumas por los integrales y las funciones de masa de probabilidad con las funciones de densidad de probabilidad . Aunque, en ambos casos, la información mutua exprese el número de pedacitos de la información comunes a las dos fuentes en la pregunta, la analogía hace el no implica características idénticas; por ejemplo, la entropía diferenciada puede ser negativa.

Las analogías diferenciadas de la entropía, de la entropía común, de la entropía condicional, y de la información mutua se definen como sigue:

$h\; (X)\; =\; -\; \backslash \; int\_X\; f\; (x)\; \backslash \; registro\; f\; (x)\; \backslash ,$ h\; (X\; dx$,\; Y)\; =\; -\; \backslash \; int\_Y\; \backslash \; int\_X\; f\; (x,\; y)\; \backslash \; registro\; f\; (x,\; y)\; \backslash ,\; dx\; \backslash ,$ h\; (X\; del$$
de dy|y) = - \ int_X f (x|y) \ registro f (x|y) \, $h\; (X\; dx$|Y) = \ int_Y \ int_X f (x, y) \ registro \ frac {f (y)} {f (x, y)} \, dx \, $I\; (X\; del$
de dy; Y) = \ int_Y \ int_X f (x, y) \ registro \ frac {f (x, y)} {f (x) f (y)} \, dx \, dy

donde $f\; (x,\; y)$ es la función de densidad común, $f\; (x)$ y el $f\; (y)$ son las distribuciones marginales, y el $f\; (x|y)$ es la distribución condicional.

Ver también

Teoría de información

.

Zenithic

Charles Prescott

Random links:

Condado de Shelby, Kentucky | El municipio de Hedemora | Lengua de muestra del Martha's Vineyard | Daniel Constantino | Sime Darby