La teoría de información del es una rama de las matemáticas aplicadas y de la ingeniería que implica la cuantificación de la información. Históricamente, teoría de información desarrollada para encontrar límites fundamentales en la compresión y datos confiablemente de comunicación. Puesto que su inicio que ha ensanchado para encontrar usos en la inferencia estadística, redes con excepción de redes de comunicaciones, biología, teoría de información de Quantum, análisis de datos, y otras áreas, aunque sea todavía ampliamente utilizado en el estudio de la comunicación .

Una medida dominante de la información que sube en la teoría se conoce como entropía de información, que es expresada generalmente por el número medio de pedacitos necesarios para el almacenaje o la comunicación. Intuitivo, la entropía cuantifica la incertidumbre implicada en una variable al azar . Por ejemplo, un tirón justo de la moneda tendrá menos entropía que un rodillo de un dado.

Los usos de asuntos fundamentales de la teoría de información incluyen la compresión de datos sin pérdidas (e. archivos de CIERRE RELÁMPAGO ), compresión de datos del lossy (e. MP3s, y codificación de canal (e. para el el DSL alinea). El campo está en la encrucijada de las matemáticas, de las estadísticas, de informática, de la física, de la neurobiología, y de la ingeniería eléctrica . Su impacto ha sido crucial al éxito de las misiones del viajero al espacio profundo, a la invención del CD, a la viabilidad de teléfonos móviles, al desarrollo del Internet, al estudio de la lingüística y de la opinión humana, a la comprensión de los calabozos y numeroso otros campos. Los subcampos importantes de la teoría de información son codificación de fuente, codificación de canal, teoría de complejidad algorítmica, teoría de información algorítmica, y medidas de información.

Descripción

Los conceptos principales de teoría de información pueden ser agarrados considerando los medios más extensos de la comunicación humana: lengua. Dos aspectos importantes de una buena lengua son como sigue: Primero, las palabras mas comunes (e., " a", " the", " I") debe ser más corto que las palabras menos comunes (e., " benefit", " generation", " mediocre"), de modo que las oraciones no sean demasiado largas. Tal compensación en largo de una palabra es análoga a la compresión de datos y es el aspecto esencial de la codificación de fuente . En segundo lugar, si la parte de una oración es inaudito o misheard debido a noise-e., un oyente de paso del coche- debe todavía poder espigar el significado del mensaje subyacente. Tal robustez es tan esencial para un sistema de comunicación electrónica como está para una lengua; correctamente la construcción de tal robustez en comunicaciones es hecha por la codificación de canal . La codificación de fuente y la codificación de canal son las preocupaciones fundamentales de la teoría de información.

Observar que estas preocupaciones no tienen nada hacer con la importancia del de mensajes. Por ejemplo, un tópico tal como " Gracias; viene el again" tomas alrededor tan de largo a decir o a escribir como la súplica urgente, " ¡Llamar una ambulancia! " mientras que este 3ultimo es claramente más importante y más significativo. La teoría de información, sin embargo, no implica importancia o el significado del mensaje, como éstas son materias de la calidad de datos algo que la cantidad de datos, este 3ultimo cuyo es determinado solamente por probabilidades.

La teoría de información se considera generalmente haber sido fundada en 1948 por el Claude Shannon en su trabajo seminal, " una teoría matemática de la comunicación . " El paradigma central de la teoría de información clásica es el problema de la ingeniería de la transmisión de la información sobre un canal ruidoso. Los resultados más fundamentales de esta teoría son el teorema de la codificación de fuente de Shannon, que establece que, en promedio, el número de los pedacitos del necesarios para representar el resultado de un acontecimiento incierto es dado por su entropía ; y teorema de la codificación del Ruidoso-canal de Shannon, que indica que la comunicación confiable del es posible sobre los canales ruidosos del a condición de que el índice de comunicación está debajo de cierto umbral llamado la capacidad de canal. La capacidad de canal puede ser acercada usando la codificación apropiada y descifrando sistemas.

La teoría de información se asocia de cerca a una colección de disciplinas puras y aplicadas que se han investigado y se han reducido a la práctica de la ingeniería debajo de una variedad de rúbricas en el mundo entero durante el último medio siglo o más: Inteligencia artificial, ciencia, cibernética, informática, aprendizaje de máquina de anticipación de los sistemas de los sistemas adaptantes de la complejidad de los sistemas complejos, junto con las ciencias de sistemas de muchas descripciones. La teoría de información es una teoría matemática amplia y profunda, con los usos igualmente amplios y profundos, entre los cuales está el campo vital de la teoría de codificación .

La teoría de codificación se refiere a encontrar los métodos explícitos, llamados los códigos del, de aumentar la eficacia y de reducir el índice de error neto de comunicación de datos sobre un canal ruidoso para acercar al límite que Shannon probado es el máximo posible para ese canal. Estos códigos se pueden subdividir áspero en la compresión de datos (codificación de fuente) y las técnicas Error-correction (codificación de canal). En el 3ultimo caso, tardó muchos años para encontrar que el trabajo del Shannon de los métodos probado era posible. Una tercera clase de códigos de la teoría de información es algoritmos criptográficos (el cifra y las cifras . Los conceptos, los métodos y los resultados de la teoría de codificación y de la teoría de información son ampliamente utilizados en la criptografía y el criptoanálisis . El considera el del artículo prohibir (información) para un uso histórico.

La teoría de información también se utiliza en el de recuperación de la información, inteligencia que recolecta, que juega, estadísticas, e incluso en la composición musical .

Antecedentes históricos

considera también: Historia la teoría de información

El acontecimiento de la señal que estableció la disciplina de la teoría de información, y la trajo a la atención mundial inmediata, era la publicación " de papel clásico de s de Shannon E. Claude de '; una teoría matemática del " de la comunicación ; en el diario técnico del sistema de Bell en julio y octubre de 1948.

Antes de estas ideas teóricas de la información de papel, limitada había sido convertido en los laboratorios de Bell, todos los acontecimientos implícito presuntuosos de la probabilidad igual. papel de s 1924 de Nyquist Harry ', ciertos factores del que afectan a la velocidad de telégrafo, contiene una sección teórica que cuantifica el " intelligence" y el " línea speed" en cuál puede ser transmitido por un sistema de comunicación, dando el $W\; dela\; relación=\; la\; K\; \backslash \; el\; registro\; m$, donde está la velocidad el W de la transmisión de la inteligencia, el m es el número de diversos niveles voltaicos a elegir de en cada vez que el paso, y el K es un constante. papel de s 1928 de Hartley Rafael posible ', transmisión del de la información, utiliza la información del de la palabra como cantidad mensurable, reflejando la capacidad del receptor de distinguir esa una secuencia de símbolos de cualquier otra, así cuantificando la información como = \ registro S^n = n \ registro S, donde estaba el número el S de símbolos, y n del $H\; el\; número\; de\; símbolos\; en\; una\; transmisión.\; La\; unidad\; natural\; de\; información\; era\; por\; lo\; tanto\; el\; dígito\; decimal,\; retituló\; muchomás\; adelanteel\; hartley\; en\; su\; honor\; como\; unidad\; o\; una\; escala\; o\; medida\; de\; información.\; El\; Alan\; Turing\; en\; 1940\; utilizó\; ideas\; similares\; como\; parte\; delanálisis\; estadísticode\; la\; fractura\; de\; las\; cifras\; alemanas\; del\; enigma\; de\; la\; Segunda\; Guerra\; Mundial.$

Mucha de las matemáticas detrás de la teoría de información con acontecimientos de diversas probabilidades fue desarrollada para el campo de la termodinámica por el Luis Boltzmann y el J. Las conexiones entre la entropía información-teórica y la entropía termodinámica, incluyendo las contribuciones importantes por el Rolf Landauer en los años 60, se exploran en entropía en la teoría de la termodinámica y de información.

En el papel revolucionario y innovador de Shannon, el trabajo para el cual había sido terminado substancialmente en los laboratorios de Bell antes de fin de 1944, Shannon introdujo por primera vez el modelo cualitativo y cuantitativo de la comunicación como teoría de información subyacente de proceso estadística, abriendo con la aserción ese " del ; El problema fundamental de la comunicación es el de la reproducción en un punto, exactamente o aproximadamente, un mensaje seleccionado en otro point."

Con él vinieron las ideas del
la entropía de información y redundancia de una fuente, y su importancia con el teorema de la codificación de fuente;
la información mutua, y la capacidad de canal de un canal ruidoso, incluyendo la promesa de la comunicación sin pérdidas perfecta dada por el teorema de la codificación del Ruidoso-canal;
el resultado práctico de la ley de Shannon-Hartley para la capacidad de canal de un canal gausiano; y por supuesto
el mordió - una nueva manera de considerar la unidad más fundamental de información

Maneras de medir la información

considera también: Cantidades de

la información

La teoría de información se basa en la teoría de las probabilidades y las estadísticas . Las cantidades más importantes de información son la entropía, la información en una variable al azar, y la información mutua, la cantidad de información en campo común entre dos variables al azar. La cantidad anterior indica cómo fácilmente los datos del mensaje pueden ser comprimidos mientras que estes 3ultimo se pueden utilizar para encontrar la tarifa de la comunicación a través de un canal .

La opción de la base logarítmica en las fórmulas siguientes determina la unidad de entropía de información se utilice que. La unidad más común de información es el pedacito, basado en el logaritmo binario . Otras unidades incluyen el nacional, que se basa en el logaritmo natural, y el hartley, que se basa en el logaritmo ordinario .

En qué sigue, una expresión del $p\; \backslash \; del\; registro\; p\; de\; la\; forma\; \backslash ,$ es considerada por la convención ser igual a cero siempre que sea el p . Se justifica esto porque $\backslash \; lim\_\; \{p\; \backslash \; rightarrow\; 0+\}\; p\; \backslash \; registro\; p\; =\; 0$ para cualquier base logarítmica.

Entropía

La entropía, $H$ del, de una variable al azar discreta $X$ es una medida de la cantidad de la incertidumbre del asociada al valor de $X$.

Suponer que uno transmite 1000 pedacitos (0s y 1s). Si estos pedacitos se saben delante de la transmisión (ser cierto valor con probabilidad absoluta), la lógica dicta que no se ha transmitido ninguna información. Si, sin embargo, cada uno está igualmente e independiente probable ser 0 o 1, se han transmitido 1000 pedacitos (en el sentido teórico de la información). Entre estos dos extremos, la información se puede cuantificar como sigue. Si $\backslash \; mathbb\; \{\}\; \backslash ,\; de\; X$ es el sistema de todos los mensajes $x$ que $X$ podría ser, y $p\; (x)=Pr\; (X=x)$, después la entropía de $X$ se define: $H\; (X)\; =\; \backslash \; \_\; del\; mathbb\; \{E\}\; \{X\}\; =\; -\; \backslash \; sum\_\; \{x\; \backslash \; en\; \backslash \; mathbb\; \{X\}\}\; p\; del$

l (x) \ registro p (x).

(Aquí, $I\; (x)$ es la Uno mismo-información, que es la contribución de la entropía de un mensaje individual.) Una característica importante de la entropía es que está maximizada cuando todos los mensajes en el espacio de mensaje son equiprobable-i., la mayoría imprevisible-en los cuales encajonan el $H\; (X)\; =\; \backslash \; registro\; |\backslash \; mathbb\; \{X\}|.$

El caso especial de la entropía de información para una variable al azar con dos resultados es la función binaria de la entropía del :

$H\_\; \backslash \; mbox\; \{b\}\; (p)\; =\; -\; p\; \backslash \; registro\; p\; -\; (1-p)\; \backslash \; registro\; (1-p).\; \backslash ,$

Entropía común

La entropía común del de dos variables al azar discretas $X$ y $Y$ es simplemente la entropía de su apareamiento: $(X,\; Y)$. Esto implica que si $X$ y $Y$ son la independiente, después su entropía común es la suma de sus entropías individuales.

Por ejemplo, si $(X,\; Y)$ representa la posición de un &mdash del pedazo del ajedrez ; $X$ la fila y el $Y$ la columna, entonces la entropía común de la fila del pedazo y la columna del pedazo será la entropía de la posición del pedazo. $H\; del$

l (X, Y) = \ _ del mathbb {E} {X, Y} p (x, y) = - \ sum_ {x, y} p (x, y) \ registro p (x, y) \,

A pesar de la notación similar, la entropía común no se debe confundir con la entropía de la cruz del .

Entropía condicional (ambigüedad)

La entropía condicional del o la incertidumbre condicional de la variable al azar dada $X$ $Y$ (también llamado la ambigüedad de $X$ sobre $Y$) es la entropía condicional media sobre $Y$: $H\; (X\; DEL$

DEL

DEL

|Y) = \ mathbb E_Y = - \ sum_ {y \ en Y} p (y) \ sum_ {x \ en X} p (x|y) \ registro p (x|y) = \ sum_ {x, y} p (x, y) \ registro \ frac {p (y)} {p (x, y)}.

Porque la entropía se puede condicionar en una variable al azar o en esa variable al azar que es cierto valor, el cuidado se debe tomar para no confundir estas dos definiciones de la entropía condicional, el anterior cuyo está en más de uso común. Una característica básica de esta forma de entropía condicional es ésa: $H\; (X\; DEL$

DEL

DEL

|Y) = H (X, Y) - H (Y). \,

Información mutua (transinformación)

la información mutua del mide la cantidad de información que se puede obtener cerca de una variable al azar observando otra. Es importante en la comunicación donde puede ser utilizada para maximizar la cantidad de información compartida entre las señales enviadas y recibidas. La información mutua de $X$ $Y$ en relación con se da cerca: $I\; del$

l (X; Y) = \ = \ sum_ {x, y} del _ del mathbb {E} {X, Y} p (x, y) \ registro \ frac {p (x, y)} {p (x) \, p (y)} donde está la información $SI$ mutua de Pointwise.

Una característica básica de la información mutua es ese $I\; del\; (X;\; Y)\; =\; H\; (X)\; -\; H\; (X|Y).\; \backslash ,$ Es decir, sabiendo el Y, podemos ahorrar un promedio del $I\; (X;\; Los\; pedacitos\; de\; Y)$ en el X de la codificación compararon a no saber el Y .

La información mutua es el simétrico: $I\; del\; (X;\; Y)\; =\; I\; (Y;\; X)\; =\; H\; (X)\; +\; H\; (Y)\; -\; H\; (X,\; Y).\; \backslash ,$

La información mutua se puede expresar como la divergencia media (aumento de Kullback-Leibler de información) de la distribución de probabilidad posterior del X dado el valor del Y a la distribución anterior en el X : $I\; del\; (X;\; Y)\; =\; \backslash \; mathbb\; E\_\; \{p\; (y)\}\; p\; (X|Y=y)\; \backslash |\; p\; (X)).$ Es decir ésta es una medida de cuánto, en el promedio, cambiará la distribución de probabilidad en el X si nos dan el valor del Y . Esto se recalcula a menudo como la divergencia del producto de las distribuciones marginales a la distribución común real: $I\; del\; (X;\; Y)\; =\; D\_\; \{\backslash \; mathrm\; \{kilolitro\}\}\; (p\; (X,\; Y)\; \backslash |\; p\; (X)\; p\; (Y)).$

La información mutua es estrechamente vinculada a la prueba de cociente de la registro-probabilidad en el contexto de las tablas de contingencia y de la distribución polinomial y a la prueba de χ² de Pearson: la información mutua se puede considerar una estadística para determinar independencia entre un par de variables, y tiene una distribución asintótica bien-especificada.

Divergencia de Kullback-Leibler (aumento de información)

La divergencia de Kullback-Leibler del (o la divergencia de la información del, el aumento de información del, o la entropía relativa ) es una manera de comparar dos distribuciones: un " true" p de la distribución de probabilidad (X), y un arbitrario q de la distribución de probabilidad (X) . Si comprimimos los datos de una forma que asumen el q (X) son la distribución que es la base de un ciertos datos, cuando, en realidad, el p (X) es la distribución correcta, la divergencia de Kullback-Leibler es el número de pedacitos adicionales medios por el dato necesario para la compresión. Se definen así $D\_\; del$

l {\ mathrm {kilolitro}} (p (X) \| = \ sum_ {x de q (X)) \ en X} - = \ sum_ {x \ en X} p de p (x) \ registro {q (x)} \, - \, \ dejado (- p (x) \ registro {p (x)} \ derecho) (x) \ registro \ frac {p (x)} {q (x)}.

Aunque se utilice a veces pues una “distancia métrica”, él no es un verdadero métrico puesto que no es simétrica y no satisface la desigualdad del triángulo (que le hace un semi-quasimetric).

Otras cantidades

Otras cantidades teóricas de la información importante incluyen la entropía (una generalización de Rényi de la entropía) y la entropía diferenciada (una generalización de cantidades de información a las distribuciones continuas.)

Teoría de codificación

considera también:

la teoría de codificación

La teoría de codificación es uno de los usos más importantes y más directos de la teoría de información. Puede ser subdividida en teoría de la codificación de fuente y teoría de la codificación de canal . Usar una descripción estadística para los datos, la teoría de información cuantifica el número de pedacitos necesarios para describir los datos, que es la entropía de información de la fuente.
Compresión de datos del

(codificación de fuente): Hay dos formulaciones para el problema de la compresión: compresión de datos sin pérdidas de : los datos se deben reconstruir exactamente;

Compresión de datos del lossy : asigna los pedacitos necesarios para reconstruir los datos, dentro de un nivel especificado de la fidelidad medido por una función de la distorsión. Este subconjunto de teoría de información se llama la teoría de la Tarifa-distorsión.
Códigos Error-correcting del

(codificación de canal): Mientras que la compresión de datos quita tanta redundancia como sea posible, un código de corrección de error agrega apenas la clase correcta de redundancia (es decir corrección de error ) necesitó transmitir los datos eficientemente y fiel a través de un canal ruidoso.

Esta división de teoría de codificación en la compresión y la transmisión es justificada por los teoremas de la transmisión de información, o los teoremas de separación del fuente-canal que justifican el uso de pedacitos como la moneda universal para la información en muchos contextos. Sin embargo, estos teoremas se sostienen solamente en la situación donde un usuario que transmite desea comunicar a un usuario de recepción. En panoramas con más de un transmisor (el canal del múltiple-acceso), más de un receptor (el canal de la difusión) o el " intermediario; helpers" (el canal del relais), o redes más generales, compresión seguida por la transmisión puede no más ser óptimo. La teoría de información de la red refiere a estos modelos de la comunicación del multi-agente.

Teoría de la fuente

Cualquier proceso que genere mensajes sucesivos se puede considerar una fuente del de información. Una fuente sin memoria es una en el cual cada mensaje es una variable al azar idéntico-distribuida independiente, mientras que las características de la ergodicidad y de la inmovilidad imponen restricciones más generales. Todas tales fuentes son el estocástico. Estos términos se estudian bien en el su derecho propio fuera de la teoría de información.

¡Rate

El ''' de la tarifa del ''' de la información es la entropía media por símbolo. Para las fuentes sin memoria, ésta es simplemente la entropía de cada símbolo, mientras que, en el caso de un proceso estocástico inmóvil, está = \ lim_ {n \ \ infty} H (X_n del $r\; del$

l |X_ {n-1}, X_ {n-2}, X_ {n-3}, \ ldots);

es decir, la entropía condicional de un símbolo dado todos los símbolos anteriores generó. Para el caso más general de un proceso que no sea necesario inmóvil, la tarifa media del está

$r\; =\; \backslash \; lim\_\; \{n\; \backslash \; \backslash \}\; infty\; \backslash \; frac\; \{1\}\; \{n\}\; H\; (X\_1,\; X\_2,\; \backslash \; puntos\; X\_n);$

es decir, el límite de la entropía común por símbolo. Para las fuentes inmóviles, estas dos expresiones dan el mismo resultado.

Es común en teoría de información hablar del " rate" o " entropy" de una lengua. Esto es apropiado, por ejemplo, cuando la fuente de información es prosa inglesa. El índice de una fuente de información se relaciona con su redundancia y como de bien puede ser comprimido, el tema de la codificación de fuente del .

Capacidad de canal

considera también:

l teorema de codificación de canal ruidoso

Las comunicaciones sobre un canal-tal como Ethernet alambre-son la motivación primaria de la teoría de información. Como cualquier persona que nunca se utiliza un teléfono (móvil o línea horizonte) sabe, sin embargo, tales canales no pueden a menudo producir la reconstrucción exacta de una señal; divulgar, los períodos de silencio, y otras formas de corrupción de la señal degradan a menudo calidad. ¿Cuánto información puede uno esperar para comunicar sobre un canal ruidoso (o de otra manera imperfecto)?

Considerar el proceso de las comunicaciones sobre un canal discreto. Un modelo simple del proceso se demuestra abajo:

Aquí el X representa el espacio de los mensajes transmitidos, y el Y que el espacio de mensajes recibió durante un rato de unidad sobre nuestro canal. Dejar el $p\; (y|x)$ sea la función de distribución condicional de la probabilidad Y dado el X . Consideraremos el $p\; (y|x)$ a ser una característica fija inherente de nuestro canal de comunicaciones (que representa la naturaleza del ruido del de nuestro canal). Entonces la distribución común del X y del Y es determinada totalmente por nuestro canal y por nuestra opción del $f\; (x)$, la distribución marginal de mensajes que elegimos enviar sobre el canal. Bajo estos apremios, quisiéramos maximizar el índice de información, o la señal del, podemos comunicar sobre el canal. La medida apropiada para esto es la información mutua, y esta información mutua máxima se llama la capacidad de canal del y se da cerca: = \ max_ {f} I (X del $del\; C;\; Y).\; ¡\backslash !$ Esta capacidad tiene la característica siguiente relacionada con la comunicación en el R de la tarifa de la información (donde está generalmente pedacitos el R por símbolo). Para cualquier R < C de la tarifa de la información y el ε > 0 del error de codificación, para bastante grande el N, existe un código del N de la longitud y el ≥ R de la tarifa y un algoritmo el descifrar, tal que la probabilidad máxima del error del bloque es ε del ≤; es decir, es siempre posible transmitir con error arbitrariamente pequeño del bloque. Además, para cualquier de la tarifa R > C, es imposible transmitir con error arbitrariamente pequeño del bloque.

la codificación de canal del se refiere a encontrar tales códigos casi óptimos que se puedan utilizar para transmitir datos sobre un canal ruidoso con un pequeño error de codificación a una tarifa cerca de la capacidad de canal.

Capacidad de canal de canales modelo particulares

Un canal de comunicaciones análogas del continuo-tiempo conforme a ruido gausiano - ver el teorema de Shannon-Hartley.
El canal simétrico binario (BSCA) A con el p de la probabilidad de la cruce es una entrada binaria, el canal de salida binario que mueve de un tirón la entrada mordida con el p de la probabilidad. El BSCA tiene una capacidad de $1\; -\; H\_\; \backslash \; pedacitos\; del\; mbox\; \{b\}\; (p)$ por uso del canal, donde está la función el $H\_\; \backslash \; el\; mbox\; \{b\}$ binaria de la entropía:

El canal binario de la borradura del

A (BEC) con el p de la probabilidad de la borradura es una entrada binaria, canal de salida ternario. Las salidas posibles del canal son el 0, el 1, y un tercer símbolo “e” llamado una borradura. La borradura representa la pérdida de información completa sobre un pedacito de la entrada. La capacidad del BEC es el 1 - los pedacitos de p por uso del canal.

Usos a otros campos

Aplicaciones de la inteligencia y usos del secreto

Los conceptos teóricos de la información se aplican a la criptografía y al criptoanálisis . unidad de información de s de Turing la ', la interdicción, fue utilizada en el proyecto ultra, rompiendo el código alemán de la máquina del enigma y acelerando el final de WWII en Europa . Shannon mismo definió un concepto importante ahora llamado la distancia de la unicidad. De acuerdo con la redundancia del Plaintext, intenta dar una cantidad mínima del texto cifrado necesario asegurar decipherability único.

La teoría de información nos lleva a creer que es mucho más difícil guardar secretos que puede ser que primero aparezca. Un ataque de la fuerza bruta puede romper los sistemas basados en la criptografía de la Público-llave o en la mayoría de los métodos de uso general de la criptografía de la privado-llave, tal como cifras de bloque la seguridad de tales métodos viene de la asunción que ningún ataque sabido puede romperlos en una cantidad de tiempo práctica.

La seguridad teórica de la información refiere a los métodos tales como el cojín de una sola vez que no son vulnerables a tales ataques de la fuerza bruta. En tales casos, la información mutua condicional positivo entre el plaintext y el texto cifrado (condicionado en la llave ) pueden asegurar la transmisión apropiada, mientras que la información mutua incondicional entre el plaintext y el texto cifrado sigue siendo cero, dando por resultado comunicaciones absolutamente seguras. Es decir un cotilla no podría mejorar su conjetura del plaintext ganando el conocimiento del texto cifrado sino no de la llave. Sin embargo, como en cualquier otro sistema criptográfico, el cuidado se debe utilizar para aplicar correctamente incluso métodos seguros de la información-teórico; el proyecto de Venona podía agrietar los cojines de una sola vez Unión Soviética debido a su reutilización incorrecta.

Generación del número pseudaleatorio

Semillas al azar que se pueden obtener vía los extractores que la medida de suficiente aleatoriedad para los extractores es la Minuto-entropía, un valor del número pseudaleatorio de los generadores de la necesidad criptográficamente seguro con eficacia relacionado con la entropía de Shannon con la entropía de Rényi; La entropía de Rényi también se utiliza en aleatoriedad de evaluación en sistemas criptográficos. Aunque estén relacionadas, las distinciones entre estas medidas signifiquen que una variable al azar con la alta entropía de Shannon no es necesario satisfactoria para el uso en un extractor.

Usos misceláneos

La teoría de información también tiene usos en el que juega y que invierte, los calabozos, la bioinformática, y la música .

Zenithic

Shōbayashi Shōrin-ryū

Random links:

Roberto Fludd | Archippus | Sheepshanks (cráter) | El poste de la mañana | Simon Laffy