Suma residual de cuadrados

En estadística e inteligencia artificial, la suma residual de cuadrados (RSS), también conocida como suma de residuos cuadrados (SSR) o suma de cuadrados de estimación de errores (SSE), es la suma de los cuadrados de residuos (desviaciones predichas a partir de valores empíricos reales). de datos). Es una medida de la discrepancia entre los datos y un modelo de estimación, como una regresión lineal. Un RSS pequeño indica un ajuste estrecho del modelo a los datos. Se utiliza como criterio de optimización en la selección de parámetros y la selección de modelos .

En general, suma total de cuadrados = suma explicada de cuadrados + suma residual de cuadrados. Para ver una prueba de esto en el caso de mínimos cuadrados ordinarios (OLS) multivariante, consulte partición en el modelo OLS general .

Una variable explicativa

En un modelo con una sola variable explicativa (explanatory variable en inglés), RSS viene dado por:

$\mathrm{RSS}=\sum _{i=1}^n(y_i-f(x_i){)}^2$

donde y _i es el i ^-ésimo valor de la variable a predecir, x _i es el i ^-ésimo valor de la variable explicativa, y $f(x_i)$ es el valor pronosticado de y _i (también denominado $\widehat{y_i}$ ). En un modelo de regresión lineal simple estándar, $y_i=\alpha +\beta x_i+{\epsilon }_i$, donde $\alpha$ y $\beta$ son coeficientes, y y x son la regresora y la regresora, respectivamente, y ε es el término de error . La suma de los cuadrados de los residuos es la suma de los cuadrados de ${\hat{\epsilon }}_i$ ; es decir

$\mathrm{RSS}=\sum _{i=1}^n({\hat{\epsilon }}_i{)}^2=\sum _{i=1}^n(y_i-(\hat{\alpha }+\hat{\beta }{x}_i){)}^2$

donde $\hat{\alpha }$ es el valor estimado del término constante $\alpha$ y $\hat{\beta }$ es el valor estimado del coeficiente de pendiente $\beta$ .

Expresión matricial para la suma residual de cuadrados OLS - MCO

El modelo de regresión general con n observaciones y k explicadores (explanators en inglés), el primero de los cuales es un vector unitario constante cuyo coeficiente es el intercepto de la regresión, es

$y=X\beta +e$

donde y es un vector n × 1 de observaciones de variables dependientes, cada columna de la matriz n × k , X es un vector de observaciones en uno de los k explicadores, $\beta$ es un vector k × 1 de coeficientes verdaderos, y e es un vector n × 1 de los errores subyacentes verdaderos. El estimador de mínimos cuadrados ordinarios para $\beta$ es

$X\hat{\beta }=y⟺$

$X^{\mathrm{T}}X\hat{\beta }=X^{\mathrm{T}}y⟺$

$\hat{\beta }=(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y.$

El vector residual $\hat{e}$ = $y-X\hat{\beta }=y-X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y$ ; entonces la suma residual de los cuadrados es:

$\mathrm{RSS}={\hat{e}}^{\mathrm{T}}\hat{e}=\Vert \hat{e}{\Vert }^2$,

(equivalente al cuadrado de la norma de residuos). En su totalidad:

$\mathrm{RSS}=y^{\mathrm{T}}y-y^{\mathrm{T}}X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y=y^{\mathrm{T}}[I-X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}]y=y^{\mathrm{T}}[I-H]y$,

donde H es la matriz sombrero, o la matriz de proyección en regresión lineal.

Relación con la correlación producto-momento de Pearson

La línea de regresión de mínimos cuadrados está dada por

$y=ax+b$,

donde $b=\overline{y}-a\overline{x}$ y $a=\frac{S_{xy}}{S_{xx}}$, donde $S_{xy}=\sum _{i=1}^n(\overline{x}-x_i)(\overline{y}-y_i)$ y $S_{xx}=\sum _{i=1}^n(\overline{x}-x_i{)}^2.$

Por lo tanto,

$\begin{array}{cc}\mathrm{RSS}& =\sum _{i=1}^n(y_i-f(x_i){)}^2=\sum _{i=1}^n(y_i-(a{x}_i+b){)}^2=\sum _{i=1}^n(y_i-a{x}_i-\overline{y}+a\overline{x}{)}^2\\ & =\sum _{i=1}^n(a(\overline{x}-x_i)-(\overline{y}-y_i){)}^2=a^2{S}_{xx}-2a{S}_{xy}+S_{yy}=S_{yy}-a{S}_{xy}=S_{yy}(1-\frac{S_{xy}^2}{S_{xx}{S}_{yy}})\end{array}$

donde $S_{yy}=\sum _{i=1}^n(\overline{y}-y_i{)}^2.$

La correlación producto-momento de Pearson está dada por $r=\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}};$ por lo tanto, $\mathrm{RSS}=S_{yy}(1-r^2).$

Véase también

• Criterio de información de Akaike
• Distribución chi-cuadrado
• Grados de libertad (estadística)
• Error medio cuadrado

Bibliografía

• Plantilla:Cita libro