El análisis estadístico es un grupo de métodos del análisis dentro del proceso de lenguaje natural . Los métodos tienen en campo común que asocian reglas de la gramática a una probabilidad. Las reglas de la gramática se ven tradicionalmente en la lingu5ística computacional como definición de las oraciones válidas en una lengua. Dentro de este modo de pensar, la idea de asociar cada regla a una probabilidad entonces proporciona la frecuencia relativa de cualquier regla dada de la gramática y, por la deducción, la probabilidad de un completo analiza para una oración. (La probabilidad asociada a una regla de la gramática puede ser inducida, pero el uso de esa regla de la gramática dentro de un árbol de análisis y del cómputo de la probabilidad del árbol de análisis basado en sus reglas componentes es una forma de deducción.) Usar este concepto, los programas de análisis estadísticos hacen uso de un procedimiento para buscar sobre un espacio de todo el candidato analizan, y el cómputo de la probabilidad de cada candidato, derivar el más probable analiza de una oración. El algoritmo de la maximización de la expectativa es un método popular de búsqueda para el más probable analiza.

" Search" en este contexto está un uso del algoritmo de búsqueda muy útil en la inteligencia artificial .

A modo de ejemplo, pensar del " de la oración; La poder puede sostener water." Un lector vería inmediatamente que hay un objeto llamado " El can" y que este objeto se está realizando la acción “puede” (es decir puede); y la cosa que el objeto puede hacer es " hold" ; y la cosa que el objeto puede sostenerse es " water". Usar una terminología más lingüística, " El can" es una oración nominal integrada por un determiner seguido por un sustantivo, y el " puede llevar a cabo el water" es una frase de verbo que sí mismo se compone de un verbo seguido por una frase de verbo. ¿Pero es ésta la única interpretación de la oración? Ciertamente " El can" de la poder; es una sustantivo-frase perfectamente válida que refiere a un tipo de danza, y el " llevar a cabo el water" está también una verbo-frase válida, aunque el significado forzado de la oración combinada sea no-obvio. Esta carencia del significado no es considerada como problema por la mayoría de los lingüistas (para una discusión sobre este punto, considera el sueño verde descolorido furioso de las ideas) sino que desde un punto de vista pragmático es deseable obtener la primera interpretación algo que los segundos y estadísticos programas de análisis alcanzan esto alineando las interpretaciones basadas en su probabilidad.

(En este ejemplo 1 han hecho varias asunciones sobre la gramática, tal como una derivación de izquierda a derecha simple algo que cabeza-conducido, su uso de sustantivo-frases algo que las determiner-frases actual de moda, y ningún tipo-comprueba la prevención de un sustantivo concreto que es combinado con una frase de verbo abstracta. Ningunas de estas asunciones afectan a la tesis de mi discusión y una discusión comparable se puede hacer usar cualquier otro formalismo gramatical.)

Hay un número de métodos que los algoritmos de análisis sintáctico estadísticos utilizan con frecuencia. Mientras que pocos algoritmos utilizarán todos los éstos dan una buena descripción del general colocan. La mayoría de los algoritmos de análisis sintáctico estadísticos se basan en una forma modificada de carta que analiza . Las modificaciones son necesarias apoyar un número extremadamente grande de reglas gramaticales y por lo tanto de espacio de búsqueda, y esencialmente implican el aplicar de algoritmos clásicos de la inteligencia artificial a la búsqueda tradicionalmente exhaustiva. Algunos ejemplos de las optimizaciones están buscando solamente un subconjunto probable del espacio de búsqueda (búsqueda del apilado), porque optimizando la probabilidad de la búsqueda (algoritmo Baum-Galés ) y para desechar analiza que es demasiado similar ser tratado por separado (el algoritmo de Viterbi ).

Gente notable en el análisis estadístico

Autor de Eugene Charniak de las técnicas estadísticas para el análisis de lenguaje natural entre muchas otras contribuciones
El Fred Jelinek aplicó y desarrolló técnicas numerosas de la teoría de información para construir el campo * contribuidor importante de David Magerman a dar vuelta el campo de teórico a práctico manejando datos * James Curran que aplica el alogrithm de MaxEnt, la representación de la palabra, y otras contribuciones * programa de análisis estadístico del rendimiento muy alto de Michael Collins (lingüista de cómputo) primero * hipergrafos de Joshua Goodman, y otras generalizaciones entre diversos métodos

Ver también

Gramática independiente del contexto estocástica

.

Zenithic

Canyon Ferry Lake

Random links:

Puente del agua azul | Rogelio N. Stembel | Balompié en los Juegos Olímpicos de Verano an o 80 | Línea de Senseki | USS Bush