Sistema típico - Enciclopedia España

En la teoría de información, el sistema típico es un sistema de las secuencias cuya probabilidad está cercano a dos levantados a la energía negativa de la entropía de su distribución de la fuente. Que este sistema tiene probabilidad total cerca de uno es una consecuencia de la característica asintótica (AEP) del equipartition que es una clase de ley de los grandes números .

Esto tiene gran uso en teoría de la compresión mientras que proporciona los medios teóricos para comprimir datos, permitiendo que representemos cualquier secuencia $X^n$ usar el $nH (pedacitos de X)$ en promedio, y, por lo tanto, justificar el uso de la entropía como medida de información de una fuente.

El AEP se puede también probar para una clase grande de los procesos ergódicos inmóviles permitiendo que el sistema típico sea definido en casos más generales.

(Débil) secuencias típicas

Si un x ₁ de la secuencia,…, el n del _{del x se extrae de una distribución $X$ i.d definida sobre un $finito del alfabeto \ {X}$ mathcal, después el sistema típico, ^ del ${A_ \ épsilon} {(n)}$ se define como esas secuencias que satisfagan:}

$2^ {- n (H (X)+ \ épsilon)} \ leq p (x_1, x_2,…, x_n) \ leq 2^ {- n - \ épsilon (de H (X))}$

Donde $H (X) = - \ sum_ {y \ isin \ mathcal {X}} p (y) \ log_2 p (y)$ es la entropía de información del X. La probabilidad antedicha necesita solamente estar dentro de un factor de $2^ {n \ épsilon}$ .

Tiene las características siguientes si el n es suficientemente grande, ε puede ser arbitrariamente elegida pequeño de modo que: La probabilidad de una secuencia de $X$ que es extraída del ^ del ${A_ \ épsilon} {(n)}$ es mayor que

1- \ de epsilon

\ se fue| {A_ \ épsilon} ^ {(n)} \ derecho| \ leq 2^ {n (H (X)+ \ épsilon)}

de el

\ se fue| {A_ \ épsilon} ^ {(n)} \ derecho| \ geq (1 \ épsilon) 2^ {n - \ épsilon (de H (X))}

Para un $general del proceso estocástico \ {X (t) \}$ con AEP, (débil) el sistema típico se puede definir semejantemente con el $p (x_1, x_2,…, x_n)$ substituido por el $p (x_0^ \ tau)$ (es decir la probabilidad de la muestra limitada al intervalo de tiempo ), $n$ que es el grado de la libertad del proceso en el intervalo de tiempo y el $H (X)$ que es la tarifa de la entropía. Si continuo-se valora el proceso, la entropía diferenciada se utiliza en lugar de otro.

Secuencias fuerte típicas (typicality fuerte)

Si un x ₁ de la secuencia,…, el n del _{del x se extrae de una cierta distribución común especificada, después el sistema fuerte típico, _{&epsilon del A ;, strong}^{( n )} se define como el sistema de las secuencias que satisfacen

$\ se fue|\ frac {N (x^n)} {n} - p (x^n) \ derecho| < \ frac {\ varepsilon} {\|\ mathcal {de X} \|}.$
Puede ser demostrado que las secuencias fuerte típicas son también débil típicas (con un diverso &epsilon constante;, y por lo tanto el nombre. Las dos formas, sin embargo, no son equivalentes. El typicality fuerte es a menudo más fácil de trabajar con en probar los teoremas para los canales sin memoria. Sin embargo, al igual que evidente de la definición, esta forma de typicality se define solamente para las variables al azar que tienen ayuda finita.

Secuencias en común típicas
Dos secuencias $x_1^n$ y $y_1^n$ son en común ε-típicas si el $de los pares (x_1^n, y_1^n)$ es ε-típico con respecto al $p de la distribución común (x_1^n, y_1^n)$ y $x_1^n$ y $y_1^n$ son ε-típicos con respecto a su $p marginal de las distribuciones (x_1^n)$ y el $p (y_1^n)$ . El sistema de todos tales pares de $de las secuencias (x_1^n, y_1^n)$ es denotado por el ^n del $A_ {\ épsilon} (X, Y)$ . en común ε-típico n - las secuencias del tuple se definen semejantemente.

Usos del typicality
Codificación típica del sistema
En la comunicación, la codificación típica del sistema codifica solamente el sistema típico de una fuente estocástica con códigos de bloque de la longitud fija. Asintótico, está, por el AEP, sin pérdidas y alcanza la tarifa mínima igual al índice de la entropía de la fuente.

El descifrar determinado típico
En la comunicación, el descifrar determinado típico se utiliza conjuntamente con la codificación al azar para estimar el mensaje transmitido como el que está con un codeword que sea en común ε-típico con la observación. ¡es decir ${w} (\ existe! w) ((x_1^n (w), y_1^n) \ en el ^n de A_ {\ épsilon} (X, Y))$ donde $\ sombrero {w}, x_1^n (w), y_1^n$ es la estimación del mensaje, codeword del mensaje $w$ y la observación respectivamente. ^n del $A_ {\ épsilon} (X, Y)$ se define con respecto al $p de la distribución común (x_1^n) p (y_1^n|x_1^n)$ donde $p (y_1^n|x_1^n)$ es la probabilidad de transición que caracteriza las estadísticas del canal, y $p (x_1^n)$ es una cierta distribución de la entrada usada para generar los codewords en el codebook al azar.

Prueba universal de la nulo-hipótesis

Código de canal universal
Ver también: Teoría de complejidad algorítmica
Ver también

teorema de la codificación de fuente}

Zenithic

Gunnel Fred

Random links:

Monoceros | La batalla de la placa del río (película) | Bénabar | Jawfish de USS (SS-356) | Abraham Calovius

="http://pagead2.googlesyndication.com/pagead/show_ads.js">