Un modelo estadístico de la lengua del asigna una probabilidad a una secuencia del P (w_1.n) de las palabras por medio de una distribución de probabilidad .

El modelado de la lengua se utiliza en muchos usos del proceso de lenguaje natural tales como reconocimiento de discurso, traducción automática, parte del discurso que marca con etiqueta, que analiza y de recuperación de la información. El cálculo del probabilty de secuencias puede llegar a ser difícil en las recopilaciones, en las cuales las frases o las oraciones pueden ser arbitrariamente largas y por lo tanto algunas secuencias no se observan durante el entrenamiento del modelo de la lengua (problema de la dispersión de los datos Overfitting ). Por esa razón estos modelos se aproximan a menudo usar modelos alisados del N-gramo .

En el reconocimiento de discurso y en la compresión de datos, tal modelo intenta capturar las características de una lengua, y predecir la palabra siguiente en una secuencia del discurso.

Cuando está utilizado en de recuperación de la información, un modelo de la lengua se asocia a un documento en una colección. Con el Q de la pregunta como entrada, se alinean los documentos recuperados basaron en la probabilidad que el modelo de la lengua de documento generaría los términos de la pregunta, P (Q|M_d) .

Ver también

.