En las estadísticas el modelo linear del se da cerca $Y\; del$

l = X \ + beta \ varepsilon

donde está × el Y del n un ; 1 vector de variables al azar, X de la columna es × del n un ; matriz del p del " known" (es decir observable y non-random) cantidades, cuyas filas corresponden al &beta de las unidades estadísticas ; son los × del p un ; 1 vector de parámetros (inobservables), y ε son los × del n un ; 1 vector del " " de los errores ;, que son las variables al azar cada uno sin correlación con el valor previsto 0 y el &sigma de la variación; ².

Mucha de la teoría de modelos lineares se asocia a deducir los valores del &beta de los parámetros ; y σ ². Esto se hace típicamente usar el método de toda probabilidad, que en el caso de errores normales es equivalente (por el teorema Gauss-De Markov ) al método de los m3inimos cuadr3aticos .

Asunciones

Errores normales multivariantes

A menudo uno toma los componentes del vector de errores para ser la independiente y el normalmente distribuido, dando al Y un de distribución normal multivariante con &beta malo del X ; y &sigma de la matriz de covariación; I de ², donde está la matriz el I de identidad . Observando los valores del X y del Y, el estadístico debe estimar β y σ ².

Fila del X

Asumimos generalmente que el S está del completo p de la fila, que permite que invirtamos los × del p ; $X^\; dela\; matrizdel\; p\; \{\backslash \; tapa\}\; X$. La esencia de esta asunción es que los parámetros no son linear dependiente sobre uno otro, que tendría poco sentido en un modelo linear. Esto también se asegura que el modelo sea el identificable.

Métodos de inferencia

Toda probabilidad

β

La función de la registro-probabilidad (para la independiente del $\backslash \; epsilon\_i$ y distribuido normalmente) es $l\; del$

l (\, beta \ sigma^2; Y) = - \ frac {n} {2} \ registro (2 \ pi \ sigma^2) - \ frac {1} {2 \ sigma^2} \ ^n del sum_ {i=1} \ ido (Y_i - x_i^ {\ tapa} \ beta \ derecho) ^2

donde está la fila el $x\_i^\; \{\backslash \; tapa\}$ del th del i del X . Distinción con respecto a β _j, conseguimos del
$\backslash \; del\; frac\; \{\backslash \; l\; parcial\}\; del$

= \ frac {1} {\ sigma^2} \ x_ del ^n del sum_ {i=1} {ij} \ (Y_i - x_i^ {\ tapa} \ beta \ derecho) dejado {\ parcial \ beta_j}

tan determinación de este sistema de ecuaciones del p a cero y el solucionar para el β da $X^\; del$

l {\ tapa} X \ sombrero {\ beta} = X^ {\ tapa} Y.

Ahora, usar la asunción que el X tiene espeso p, podemos invertir la matriz en el lado de mano izquierda para dar al la estimación de la toda probabilidad para el β: $\backslash \; sombrero\; \{\backslash \; beta\}\; del$

l = (X^ {\ tapa} X)^ {- 1} X^ {\ tapa} Y.

Podemos comprobar que esto es un máximo mirando la matriz Hessian de la función de la registro-probabilidad.

σ ²

Fijando el lado derecho de $del$

l \ frac {\ l parcial} {\ parcial \ sigma^2} = - \ + \ frac {1} {2 \ sigma^4} \ ^n del sum_ {i=1} \ (Y_i - x_i^ {\ tapa} \ beta \ derecho) ^2 dejado del frac {n} {2 \ sigma^2}

a cero y a solucionar para el σ ² encontramos eso = \ frac {1} {n} \ ^n del sum_ {i=1} \ (Y_i - x_i^ {\} \ sombrero de la tapa {\ beta} \ derecho) ^2 = dejado \ frac {1} del $\backslash \; del\; sombrero\; del$

l {\ sigma} ^2 {de n} \| Y - X \ sombrero {\} beta \|^2.

Exactitud de la valoración de toda probabilidad

Puesto que tenemos que el Y sigue un de distribución normal multivariante con &beta malo del X ; y &sigma de la matriz de covariación; el I de ², podemos deducir la distribución del MLE del β:

$\backslash \; sombrero\; \{\backslash \; beta\}\; =\; (X^\; \{\backslash \; tapa\}\; X)^\; \{-\; 1\}\; X^\; \{\backslash \; tapa\}\; Y\; \backslash \; sim\; N\_p\; (\backslash \; beta,\; (X^\; \{\backslash \; tapa\}\; X)^\; \{-\; 1\}\; \backslash \; sigma^2).$

Esta estimación es tan el imparcial para el β, y podemos demostrar que esta variación alcanza el Cramér-Rao encuadernado.

Una discusión más complicada demuestra eso

$\backslash \; sombrero\; \{\backslash \; sigma\}\; ^2\; \backslash \; sim\; \backslash \; frac\; \{\backslash \; sigma^2\}\; \{\}\; \backslash \; chi^2\_\; \{NP\}\; de\; n;$

desde una distribución del Chi con el   del n ; −   los grados del p de libertad tienen   malo del n ; −   el p, éste es solamente asintótico imparcial.

Generalizaciones

M3inimos cuadr3aticos generalizados

Si, algo que tomando la variación del ε para ser σ I de ², donde está los × el I del n ; la matriz de identidad del n, una asume que la variación es σ el M de ², donde está una matriz el M sabida con excepción de la matriz de identidad, después uno estima β por el método de " " generalizado de los m3inimos cuadr3aticos;, en que, en vez de reducir al mínimo la suma de cuadrados de las residuales, una reduce al mínimo una forma cuadrático de diverso en el &mdash de las residuales; la forma cuadrático que es la que está dada por el ^{&minus del M de la matriz; 1}: el $del$

l del
{\ min_ {\ beta}} \ (y-X \ beta \ derecho) 'M^ dejado {- 1} \ se fueron (y-X \ beta \ derecho).

Esto tiene el efecto del " de-correlating" los errores normales, y llevan al perito $\backslash \; widehat\; \{\backslash \; beta\}\; del$

l del
= \ (X'M^ {- 1} X \ derecho) ^ dejado {- 1} X'M^ {- 1} y

cuál es el perito imparcial linear mejor para el $\backslash \; beta$. Si todas las entradas apagado-diagonales en el M de la matriz son 0, después uno estima normalmente β por el método de cargó los m3inimos cuadr3aticos, con los pesos proporcionales a los reciprocals de las entradas diagonales. El perito de GLS también se conoce como el perito, después Alexander Aitken, el profesor de Aitken del en la universidad del departamento de las estadísticas de Otago que lo inició.

Modelos lineares generalizados

El generalizó los modelos lineares para los cuales algo que

E ( Y ) DEL