Mínimos cuadrados: un enfoque matricial
M.I.I. Gabriel Grosskelwing Núñez
2023-11-04
1 Introducción
En el estudio del álgebra lineal se abordan de manera típica los
sistemas de ecuaciones lineales consistentes, los
cuales se caracterizan por tener un mismo número de ecuaciones que de
incógnitas. Sin embargo, los sistemas inconsistentes
también son importantes en aplicaciones físicas. Una situación común es
que algún problema físico con dusca a un sistema lineal \(Ax=b\) que deberías ser consistente desde
un punto de vista teórico, pero no lo es debido a que errores de
medición en los elementos de A y
b perturban el sistema lo suficiente para hacerlo
inconsistente.
En situaciones como ésta se buscan valores que estén lo
“suficientemente cerca” en el sentido de minimizar el valor del
error que resulta de considerar a x como una solución
aproximada del sistema \(Ax=b\), es
decir, \(||Ax-b||\) con respecto al
producto interior euclidiano (producto punto). De lo anterior se deduce
la siguiente definición:
Problema de mínimos cuadrados. Dado un sistema lineal \(Ax=b\) de m ecuaciones con n incógnitas, encontrar un vestor x, si es posible, que minimice \(||Ax-b||\) con respecto al producto interior euclidiano en \(R^m\). Dicho vector se denomina la solución por mínimos cuadrados de \(Ax-b\) (Anton & Rorres, 2011).
2 Desarrollo
Para establecer un marco comprensible de esta técnica, consideraremos que se está trabajando en un espacio en \(R^3\), sin embargo, es aplicable para un espacio en \(R^m\).
Sea P un punto en un espacio tridimensional ordinario y W un plano que pasa por el origen, entonces el punto Q en W que está más próximo a P se puede obtener trazando una perpendicular de P a W. Si definimos a u como un vector que va del origen al punto P, entonces, el vector que esta definido por la proyección de u sobre W se define como \(proy_{w}u\).
Para cualquier vector w en W, el vector \(w=proy_wu\) minimiza la distancia \(|u-w|\), de aquí se deduce el Teorema de la mejor aproximación, el cual postula lo siguiente:
Teorema de la mejor aproximación. Si W es una espacio con dimensión finita en un espacio V con producto interior, y si u es un vector en V, entonces \(proy_{W}u\) es la mejor aproximación para u de W en el sentido de que:
\[||u-proy_{w}u||<||u-w||\]
para todo vector w en W diferente de \(proy_{w}u\).
Considerando el teorema anterior, podemos realizar el análisis para
el caso particular del problema de la mejor aproximación para la
solución de un sistema de ecuaciones lineales de la forma \(Ax=b\), el cual, por definición es
consistente, pero que que debido a “errores de medición” en los
elementos de A y b se inducen
perturbaciones lo suficientemente significativas para hacerlo
inconsistente. En estas situaciones se busca un valor de
x que esté lo “suficientemente” cerca de ser
una solución, minimizando el valor de \(||Ax-b||\) respecto al producto interior
euclidiano.
Sea entonces W el espacio columna de
A. Para toda matriz \(xn\times1\), el producto \(Ax\) es una combinación lineal de los
vectores columna de A. Dado lo anterior, entonces:
\[Ax=b\]
\[\begin{equation} \begin{matrix} a_{11}x_{1}+a_{12}x_{2}+a_{13}x_{3}=b_{1}\\ a_{21}x_{1}+a_{22}x_{2}+a_{23}x_{3}=b_{2}\\ a_{31}x_{1}+a_{32}x_{2}+a_{33}x_{3}=b_{3}\\ \end{matrix} \end{equation}\]
\[\begin{equation} x_{1} \begin{pmatrix} a_{11}\\ a_{21}\\ a_{31} \end{pmatrix}+ x_{2}\begin{pmatrix} a_{12}\\ a_{22}\\ a_{23} \end{pmatrix}+ x_{3} \begin{pmatrix} a_{13}\\ a_{23}\\ a_{33} \end{pmatrix} = \begin{pmatrix} b_1\\ b_2\\ b_3 \end{pmatrix} \end{equation}\].
Dado lo anteriorm, si x varía, varían todas las posibles combinaciones de de Ax.
Geométricamente, resolver el problema de mínimos cuadrados equivale entonces a encontrar un vector x en \(R^n\) tal que \(Ax\) sea el vector en W más próximo a b. Tal y como se muestra en la siguiente figura:
en este caso, el vector \(Ax\) se puede reescribir como la proyección de b sobre W, es decir \(proy_w{b}\), de esta manera, el valor a minimizar es, definido por \(||Ax-b||\) se puede reescribir como:
\[||b-Ax||=b-proy_w{b}\] Según el teorema de la relación geométrica entre el espacio nulo y el espacio renglón, si A es una matriz \(m\times n\), entonces:
El espacio nulo de A y el espacio renglón de A son complementos ortogonales en \(R^n\) con respecto al producto interior euclidiano.
El espacio nulo de \(A^T\) y el espacio columna de A son complementos ortogonales en \(R^m\) con respecto al producto interior euclidiano (Anton & Rorres, 2011).
Dado lo anterior, el espacio nulo de W es complementario a \(W^T\), por lo que \(A^T(b-Ax)=0\), de manera equivalente:
\[A^Tb-A^TAx=0\] \[A^Tx=A^Tb\] \[x=(A^TA)^{-1}(A^Tb)\] A esta ultima ecuación matricial se le denomina solución por mínimos cuadrados del sistema \(Ax=b\).
3 Aplicación al problema de mínimos cuadrados
En el caso del problema de mínimos cuadrados para un modelo de regresión lineal simple, el proceso antes descrito es de utilidad dado que es una forma aleternativa para bordar el problema planteado. Esto realizando las siguientes analogías:
Dado el siguiente conjunto de pares ordenados:
| x | y |
|---|---|
| \(x_1\) | \(y_1\) |
| \(x_2\) | \(y_2\) |
| \(x_3\) | \(y_3\) |
| \(x_i\) | \(y_i\) |
Se pueden expresar en forma matricial de la siguiente manera:
\[\begin{array}{cc} y=\begin{pmatrix} y_1\\ y_2\\ \vdots\\ y_i \end{pmatrix} & x=\begin{pmatrix} 1&x_1\\ 1&x_2\\ \vdots & \vdots\\ 1&x_i \end{pmatrix} \end{array} \]
Entonces, aplicando los teoremas antes comentados tenemos que, considerando el modelo de regesion lineal simple, mismoq que matricialmente se expresa como \(y={\beta}x\), donde:
\[\begin{array}{ccc} y=\begin{pmatrix} y_1\\ y_2\\ \vdots\\ y_i \end{pmatrix} & \beta=\begin{pmatrix} \beta_1\\ \beta_2\\ \vdots\\ \beta_i \end{pmatrix} & x=\begin{pmatrix} x_1\\ x_2\\ \vdots\\ x_i \end{pmatrix} \end{array} \]
En este caso, \(y\) corresponde a la variable dependinte, \(\beta\) a los coeficientes de regresión y \(x\) a la variable independiente.
Aplicando el teorema de la mejor aproximacion, tenemos que:
\[y-\beta{x}=0\] Como \(x^T(y-\beta{x})=0\), entonces:
\[x^Ty-\beta{x^T}x=0\] \[\beta{x^T}x=x^Ty\] despejando \(\beta\) tenemos que:
\[\beta=(x^Tx)^{-1}(x^Ty)\] Es la ecuación de mínimos cuadrados para el modelo de Regresión lineal simple.
4 Ejemplo
Consideremos el sigueinte conjunto de datos, mismos que corresponden a las observaciones del tiempo de vida de anaquel, en horas, de frutas en un supermercado. Se desea investigar la relación de ésta con la temperatura a la cual están expuestas:
\[\begin{array}{cc} \hline Temperatura (ºC) & Tiempo~de~vida (hrs)\\ \hline 17 & 240\\ 23.5 & 216\\ 31 & 209\\ 42 & 210\\ 56 & 206\\ 61 & 155\\ 77 & 131\\ \hline \end{array}\]
Como primer paso, generaremos un diagrama de dispersión, para mapear la relación de los datos:
Como es de observarse, es posible proponer un modelo de regresión lineal simple para explicar la relación entre la temperatura de almacenamiento y el tiempo de vida de anaquel, para esto aplicaremos las técnicas antes comentadas.
Reescribimos la tabla en forma matricial, de la siguiente manera:
\[\begin{array}{cc} y=\begin{pmatrix} 240\\ 216\\ 209\\ 210\\ 206\\ 155\\ 131 \end{pmatrix} & x=\begin{pmatrix} 1&17\\ 1&23.5\\ 1&31\\ 1&42\\ 1&56\\ 1&61\\ 1&77 \end{pmatrix} \end{array} \]
Ahora, determinamos la transpuesta de \(x\), quedando de la siguiente manera:
\[\begin{equation} x^T = \begin{pmatrix} 1&1&1&1&1&1&1\\ 17&23.5&31&42&56&61&77 \end{pmatrix} \end{equation}\]
Aplicando la ecuación \(\beta=(x^Tx)^{-1}(x^Ty)\), tenemos que:
\[\begin{equation} x^Tx = \begin{pmatrix} 1&1&1&1&1&1&1\\ 17&23.5&31&42&56&61&77 \end{pmatrix} \begin{pmatrix} 1&17\\ 1&23.5\\ 1&31\\ 1&42\\ 1&56\\ 1&61\\ 1&77 \end{pmatrix} \end{equation}\]
\[\begin{equation} x^Tx=\begin{pmatrix} 7&307.5\\ 307.5&16352 \end{pmatrix} \end{equation}\]
Calculando la inversa de \(x^Tx\), tenemos que:
\[\begin{equation} (x^Tx)^{-1}=\begin{pmatrix} 0.8213&-0.0154\\ -0.0154&0.0003515 \end{pmatrix} \end{equation}\]
El término \(x^Ty\) se define como:
\[\begin{equation} x^Ty=\begin{pmatrix} 1367\\ 55533 \end{pmatrix} \end{equation}\]
Ahora, multiplicamos las matrices \((x^Tx)^{-1}\) y \(x^Ty\), y el resultado se escribe como:
\[\begin{equation} \beta=\begin{pmatrix} 0.8213&-0.0154\\ -0.0154&0.0003515 \end{pmatrix} \begin{pmatrix} 1367\\ 55533 \end{pmatrix} \end{equation} \] El resultado de esta multiplicación es una matriz \(2\times{1}\) que corresponde a los coeficientes \(\beta\) que se utilizarán en la ecuación de regresión para hacer las estimaciones, dicho resultado es:
\[\begin{equation} \beta = \begin{pmatrix} 265.056\\ -1.588 \end{pmatrix} \end{equation}\]
Estos coeficientes se sustituyen en el modelo de regresión, quedando escrito de la siguiente manera:
\[\hat{y}=265.056-1.588x\]
Sustituyendo esta ecuación en el modelo, tenemos la siguiente
gráfica:
En conclusión, con herramientas de álgebra lineal aprendidas en cursos anteriores es posible ajustar de manera eficiente un modelo de regresón lineal simple a datos observados.