Los m3inimos cuadr3aticos lineares son una técnica matemática de la optimización para encontrar una solución aproximada para un sistema de las ecuaciones lineares que no tenga ninguna solución exacta. Esto sucede generalmente si el número de ecuaciones ( m ) es más grande que el número de las variables ( n ). (Véase también la regresión linear .)

Definición

En términos matemáticos, queremos encontrar un $\backslash \; un\; sombrero\; \{\backslash \; mathbf\; \{x\}\}$ de la solución para el " equation"

$A\; \backslash \; sombrero\; \{\backslash \}\; \backslash \; aproximadamente\; \backslash \; mathbf\; \{b\},$ del mathbf {x}

donde está un el A sabido m - por la matriz n (generalmente con el m > el n ), el x es un desconocido n - el vector dimensional del parámetro, y el b es un sabido m - vector dimensional de la medida. Más exacto, queremos reducir al mínimo la norma euclidiana ajustada del residual del A &minus de x de ; b, es decir, la cantidad

$\backslash |De\; A\; \backslash \; del\; mathbf\; \{x\}\; -\; \backslash \; mathbf\; \{de\; b\}\; \backslash |^2\; =\; \backslash \; (\_1-\; \backslash \; mathbf\; \{b\}\; \_1\; \backslash \; derecho)\; ^2\; dejado\; +\; \backslash \; (\_2-\; \backslash \; mathbf\; \{b\}\; \_2\; \backslash \; derecho)\; ^2\; dejado\; +\; \backslash \; dots+\; \backslash \; (\_m\; del\; \_m-\; \backslash \; del\; mathbf\; \{b\}\; \backslash \; derecho)\; ^2\; dejados,$

donde el i del _{denota el i - componente del th del del A del vector x . Por lo tanto el " conocido; " de los m3inimos cuadr3aticos;.}

Usar el hecho de que la norma ajustada del v sea el v v ^T, donde los soportes del v ^T para el transportan del v, reescribir la expresión como ^T del $del$

l (A \ en negrilla {x} - \ en negrilla {b}) (A \ en negrilla {x} - \ en negrilla {b}) = (A \ en negrilla {x}) ^T (A \ {x}) - \ ^T en negrilla {b} A \ en negrilla {x} - (A \ en negrilla {x}) ^T \ en negrilla en negrilla {b} + \ ^T {b} \ en negrilla en negrilla {b}.

El b ^T ( de dos términos medios del A x ) y ( del A x ) el b de ^T son igual y el mínimo se encuentra en el cero del derivado con respecto al x, $del$

l \ frac {d} {d \ en negrilla {x}} \ (A \ en negrilla {x}) ^T dejado (A \ en negrilla {x}) - 2 (A \ en negrilla {x}) ^T \ en negrilla {b} + \ ^T en negrilla {b} \ = 2 A^T en negrilla {b} \ derechos A \ sombrero {\ en negrilla {x}} - 2 A^T \ en negrilla {b} = \ en negrilla {0}.

¡Por lo tanto el $del\; vector\; \backslash \; el\; sombrero\; de\; reducción\; al\; mínimo\; \{\backslash \; mathbf\; \{x\}\}$ es una solución del $normal\; A^T\; del\; de\; laecuación\backslash !\; A\; \backslash \; sombrero\; \{\backslash \; mathbf\; \{x\}\}\; =\; A^T\; \backslash \; mathbf\; \{b\}.$ Observar que esto corresponde a un sistema de las ecuaciones lineares . El A del A ^T de la matriz en el lado izquierdo es un n - por la matriz cuadrada del n, que es inversible si el A tiene fila completa de la columna (es decir, si la fila A es el n ). En ese caso, la solución del sistema de ecuaciones lineares es única y dada cerca ¡$\backslash sombrerodel$

l {\ mathbf {x}} = (A^T \! A)^ {- 1} A^T \ mathbf {b}.

El ^ del $de\; la\; matriz\; (A^TA)\; \{-\; 1\}\; A^T$ se llama el pseudoinverse A . No podemos utilizar la matriz verdadera inverso A (es decir, $A^\; \{-\; 1\}$), porque no existe pues el A no es una matriz cuadrada ( n del ≠ del m ).

Cómputo

Si el A^TA de la matriz tiene fila completa y bien-se condiciona, las ecuaciones normales pueden ser solucionadas directo usando el A^TA de la descomposición de Cholesky = el R^TR, dando: $R^T\; R\; \backslash \; sombrero\; del\; \{\backslash \; mathbf\; \{x\}\}\; =\; A^T\; \backslash \; mathbf\; \{b\}$ donde está una matriz el R triangular superior.

Un más método numéricamente estable más lento pero, que todavía trabaja si el A no es fila completa, puede ser obtenido computando el de la descomposición QR A = Q R . Uno puede entonces solucionar el $R\; \backslash \; sombrero\; del\; \{\backslash \; mathbf\; \{x\}\}\; =\; Q^T\; \backslash \; el\; mathbf\; \{b\}$ donde está el Q una matriz ortogonal y el R es una matriz triangular superior.

Una tercera alternativa es utilizar la descomposición (SVD) del valor singular. Si el $A\; =\; U\; \backslash \; la\; sigma\; V^*$ es la descomposición del valor singular del A, después el pseudoinverse del A de la matriz es V Σ⁺ U^*, tan

$\backslash \; sombrero\; \{\backslash \; mathbf\; \{x\}\}\; =\; V\; \backslash \; Sigma^+\; U^*\; \backslash \; mathbf\; \{\}\; \backslash ,\; de\; b$ donde está la transposición Σ⁺ de Σ con cada entrada diferente a cero substituida por su recíproco. Este método es lo más de cómputo posible el intensivo, pero es particularmente útil si el A de la matriz es muy ill-conditioned (es decir si su número de la condición multiplicado por el error Round-off relativo de la máquina es apreciable grande). En ese caso, incluyendo los valores singulares más pequeños de la inversión agrega simplemente ruido numérico a la solución. Esto se puede curar usar el acercamiento truncado de SVD, donante de una respuesta más estable y más exacta, explícitamente fijando a cero todos los valores singulares debajo de cierto umbral y tan no haciendo caso de ellos, antes de calcular el pseudoinverse.

Usos

El método de m3inimos cuadr3aticos linear se puede utilizar para encontrar un para afinar el R del → del R ⁿ de la función que los mejores ajustes un sistema de datos dado (véase el método general de los m3inimos cuadr3aticos ). Está extensamente y pensó erróneamente que el linear de la palabra en la regresión linear del término refiere a linear o afina la naturaleza de la función cabida.

Por ejemplo = $y\; \backslash \; alfa\; del$

l + \ beta x + \ + \ varepsilon de la gamma x^2

todavía está un modelo de regresión linear, porque el lado derecho es una combinación linear del α, del β, y del γ de los parámetros; por otra parte, las estimaciones de los m3inimos cuadr3aticos de esos parámetros son lineares en el vector del observado y - valores. En este caso es útil pensar en el x ² como nueva variable independiente, formado modificando el variable original x . Sin embargo, es convención para llamar esto un ajuste cuadrático o un ajuste del polinomio 2nd-order.

Escribimos la función linear que intentamos encontrar como 1 por el x ^T de la matriz del n (así que el x es realmente un vector de la columna, ve también la transformación linear ).

El sistema de datos consiste en el m (  del n ; +  tuples ( x ₁,…, n del _{del x, y ) de 1) - . Ésos se pueden escribir en un m - por el A de la matriz del n y un b del vector, donde cada tuple corresponde a una fila del A, el y que se convierte en la entrada de correspondencia en el b .}

Entonces, del A del x &asymp de ; b rinde el x de la función que buscamos.

Limitaciones

¡El acercamiento de los m3inimos cuadr3aticos confía en el cálculo del pseudo $inverso\; (A^T\; \backslash !\; A)^\; \{-\; 1\}\; A^T$. Pseudo lo contrario se garantiza para existir para cualquie lleno-alinea la matriz $A$. Sin embargo, el $A^T\; A$ de la matriz es en algunos casos el Ill-conditioned; esto ocurre cuando las medidas marginal se relacionan solamente con los parámetros estimados. En estos casos, la estimación de los m3inimos cuadr3aticos amplifica el ruido de la medida, y puede ser grueso inexacta. Esto puede ocurrir incluso cuando pseudo lo contrario sí mismo se puede calcular exactamente numéricamente. Las varias técnicas de la regularización se pueden aplicar en tales casos, el más común cuyo se llama la regularización de Tikhonov. Si la información adicional sobre los parámetros se sabe, por ejemplo, una gama de valores posibles del x, después las técnicas del punto de silla se pueden también utilizar para aumentar la estabilidad de la solución.

Otra desventaja del perito de m3inimos cuadr3aticos es el hecho de que intenta reducir al mínimo la norma del error de medida, del A x &minus de ; b . En muchos casos, uno está verdad interesado en la obtención de pequeño error en el x, e., un pequeño valor del parámetro del $\backslash |\backslash \; del\; mathbf\; \{x\}\; -\; \backslash \; sombrero\; \{\backslash \; del\; mathbf\; \{x\}\}\; \backslash |$. Sin embargo, puesto que el x es desconocido, esta cantidad no puede ser reducida al mínimo directo. Si una probabilidad anterior en el x se sabe, después un Bayes que el perito se puede utilizar para reducir al mínimo el error medio cuadrático, $E\; \backslash \; que\; se\; fue\; \backslash \; que\; \{\backslash |\; \backslash \; del\; mathbf\; \{x\}\; -\; \backslash \; sombrero\; \{\backslash \; del\; mathbf\; \{x\}\}\; \backslash |^2\; \backslash \; derecho\; \backslash \}$. El método de m3inimos cuadr3aticos es a menudo aplicado cuando no se sabe ningún anterior., Sin embargo, mejores peritos se pueden construir asombrosamente, un efecto conocido como fenómeno de Stein. Por ejemplo, si el error de medida es el gausiano, se saben varios peritos que el domina, o superan, la técnica de los m3inimos cuadr3aticos; el más conocido de éstos es el perito de James-Stein.

Ejemplo

Considerar los puntos (0, 3), (2, 3), (4, 4), (− 1, 2). Buscamos una solución del x del α de la forma + β = el y, es decir, el $del$

l \ comienza {pmatrix} x y 1 \ extremo {pmatrix} \ comienza {pmatrix} \ \ \ \ de la alfa beta \ extremo {pmatrix} = y

Podemos entonces formar el A de la matriz: el $A=\; del\; \backslash \; comienza\; \{pmatrix\}\; 0\; y\; 1\; \backslash \; \backslash \; 2\; y\; 1\; \backslash \; \backslash \; 4\; y\; 1\; \backslash \; \backslash \; -1\; y\; 1\; \backslash \; \backslash \; \backslash \; extremo\; \{pmatrix\}$ y el $del\; del\; b\; del\; vector\; \backslash \; el\; mathbf\; \{b\}\; =\; \backslash \; comienzan\; \{pmatrix\}\; 3\; \backslash \; \backslash \; 3\; \backslash \; \backslash \; 4\; \backslash \; \backslash \; 2\; \backslash \; extremo\; \{pmatrix\}$ y entonces el $A^T=\; del\; \backslash \; comienza\; \{pmatrix\}\; 0\; y\; 2\; y\; 4\; y\; -1\; \backslash \; \backslash \; el$ A^T\; del\; de\; 1\; y\; de\; 1\; y\; de\; 1\; y\; de\; 1\; \backslash \; extremo\; \{pmatrix\}$\backslash \; el\; mathbf\; \{b\}\; =\; \backslash \; comienzan\; \{pmatrix\}\; 20\; \backslash \; \backslash \; el$ A^TA=\; del\; de\; 12\; \backslash \; extremo\; \{pmatrix\}$\backslash \; comienza\; \{pmatrix\}\; 21\; y\; 5\; \backslash \; \backslash \; el\; ^\; del$ del\; de\; 5\; y\; de\; 4\; \backslash \; extremo\; \{pmatrix\}$(A^TA)\; \{-\; 1\}\; =\; \{1\; \backslash \; sobre\; 59\}\; \backslash \; comienza\; \{pmatrix\}\; 4\; y\; -5\; \backslash \; \backslash \; -5\; y\; 21\; \backslash \; extremo\; \{pmatrix\}$ Así pues, la ecuación normal es el $A^TA\; del\; \backslash \; comienzan\; \{pmatrix\}\; \backslash \; \backslash \; \backslash \; \backslash \; de\; la\; alfa\; beta\; \backslash \; extremo\; \{pmatrix\}\; =\; A^T\; \backslash $ mathbf\; \{b\}$\backslash \; comienzan\; \{pmatrix\}\; 21\; y\; 5\; \backslash \; \backslash \; 5\; y\; 4\; \backslash \; extremo\; \{pmatrix\}\; \backslash \; comienzan\; \{pmatrix\}\; \backslash \; \backslash \; \backslash \; \backslash \; de\; la\; alfa\; beta\; \backslash \; extremo\; \{pmatrix\}\; =\; \backslash \; comienzan\; \{el\; pmatrix\}\; 20\; \backslash \; \backslash \; 12\; \backslash \; extremo\; \{pmatrix\}$ y el $del\; \backslash \; comienzan\; \{pmatrix\}\; \backslash \; \backslash \; \backslash \; \backslash \; de\; la\; alfa\; beta\; \backslash \; extremo\; \{pmatrix\}\; =\; \{1\; \backslash \; sobre\; 59\}\; \backslash \; comienzan\; \{pmatrix\}\; 4\; y\; -5\; \backslash \; \backslash \; -5\; y\; 21\; \backslash \; extremo\; \{pmatrix\}\; \backslash \; comenzar\; \{el\; pmatrix\}\; 20\; \backslash \; \backslash \; 12\; \backslash \; extremo\; \{pmatrix\}\; =\; \backslash \; comienzan\; \{el\; pmatrix\}\; 20/59\; \backslash \; \backslash \; 152/59\; \backslash \; extremo\; \{pmatrix\}$ y la línea de ajuste del mejor es (20/59) x + 152/59 = el y .

Ver también

Valoración de los m3inimos cuadr3aticos de los coeficientes de regresión linear
El alisar y diferenciación numéricos
Regularización de Tikhonov
Perito de James-Stein

.

Zenithic

Louis E. Miller

Random links:

Filosofía de la ciencia | Venda de jazz | El Ministerio de Finanzas de la República Popular de China | Burgazada | Facturaciones de Lem