Respuesta: c) A matrix that organizes predictor variables into a structured form for modeling
Justificacion: La matriz de diseño en modelos lineales organiza las variables predictoras en una estructura para el modelado.
Respuesta: b) It must have full column rank
Justificacion: La matriz de diseño debe tener rango de columna completo para garantizar una solución única en Mínimos Cuadrados Ordinarios
Considere el modelo lineal \[ Y = X\beta + \epsilon, \] con \(\mathsf{E}(\epsilon) = 0\) y \(\mathsf{Cov}(\epsilon) = \sigma^{2}I\).
Muestre que \[ \|Y - X\beta\|^{2} = \|Y - X\widehat{\beta}\|^{2} + (\widehat{\beta} - \beta)^{\top}X^{\top}X(\widehat{\beta} - \beta), \] y deduzca que \(Q(\beta) = \|Y - X\beta\|^{2}\) es minimizado para \(\beta = \widehat{\beta}\), donde \[ \widehat{\beta} = (X^{\top}X)^{-1}X^{\top}Y. \]
Dado el modelo lineal: \[ Y = X\beta + \epsilon, \] con \(\mathsf{E}(\epsilon) = 0\) y \(\mathsf{Cov}(\epsilon) = \sigma^{2}I\), queremos demostrar que: \[ \|Y - X\beta\|^{2} = \|Y - X\widehat{\beta}\|^{2} + (\widehat{\beta} - \beta)^{\top}X^{\top}X(\widehat{\beta} - \beta), \] y deducir que \(Q(\beta) = \|Y - X\beta\|^{2}\) se minimiza para \(\beta = \widehat{\beta}\), donde: \[ \widehat{\beta} = (X^{\top}X)^{-1}X^{\top}Y. \]
Partimos de la expresión original: \[ Y - X\beta. \] Aquí, \(Y\) es el vector de observaciones, \(X\) es la matriz de diseño, y \(\beta\) es el vector de coeficientes.
Sumamos y restamos \(X\widehat{\beta}\): \[ Y - X\beta = Y - X\beta + X\widehat{\beta} - X\widehat{\beta}. \] Esto no cambia la expresión, ya que estamos sumando y restando el mismo término (\(X\widehat{\beta}\)).
Reorganizamos los términos: \[ Y - X\beta = (Y - X\widehat{\beta}) + (X\widehat{\beta} - X\beta). \] Aquí hemos agrupado los términos de manera que \(Y - X\widehat{\beta}\) y \(X\widehat{\beta} - X\beta\) queden separados.
Factorizamos \(X\) en el segundo término: \[ Y - X\beta = (Y - X\widehat{\beta}) + X(\widehat{\beta} - \beta). \]
Calculamos la norma al cuadrado de \(Y - X\beta\): \[ \|Y - X\beta\|^{2} = \|(Y - X\widehat{\beta}) + X(\widehat{\beta} - \beta)\|^{2}. \]
Expandimos la norma al cuadrado: \[ \|Y - X\beta\|^{2} = \|Y - X\widehat{\beta}\|^{2} + \|X(\widehat{\beta} - \beta)\|^{2} + 2(Y - X\widehat{\beta})^{\top}X(\widehat{\beta} - \beta). \]
Observamos que el término cruzado es cero porque: \[ X^{\top}(Y - X\widehat{\beta}) = 0, \]
Por lo tanto, la expresión se reduce a: \[ \|Y - X\beta\|^{2} = \|Y - X\widehat{\beta}\|^{2} + (\widehat{\beta} - \beta)^{\top}X^{\top}X(\widehat{\beta} - \beta). \]
Verifique que \(e^{\top}\widehat{Y} = 0\), donde \(e = Y - \widehat{Y}\) y \(\widehat{Y} = X\widehat{\beta}\).
Queremos demostrar que \(e^{\top}\widehat{Y} = 0\), donde: - \(e = Y - \widehat{Y}\) es el vector de residuos. - \(\widehat{Y} = X\widehat{\beta}\) es el vector de valores predichos.
Sabemos que: \[ e = Y - \widehat{Y} = Y - X\widehat{\beta}, \] y \[ \widehat{Y} = X\widehat{\beta}. \]
Sustituimos \(e\) y \(\widehat{Y}\) en \(e^{\top}\widehat{Y}\): \[ e^{\top}\widehat{Y} = (Y - X\widehat{\beta})^{\top}X\widehat{\beta}. \]
Expandimos el producto: \[ e^{\top}\widehat{Y} = Y^{\top}X\widehat{\beta} - \widehat{\beta}^{\top}X^{\top}X\widehat{\beta}. \]
Sabemos que \(\widehat{\beta} = (X^{\top}X)^{-1}X^{\top}Y\), por lo que: \[ Y^{\top}X\widehat{\beta} = Y^{\top}X(X^{\top}X)^{-1}X^{\top}Y. \] Además, \(\widehat{\beta}^{\top}X^{\top}X\widehat{\beta}\) es igual a: \[ \widehat{\beta}^{\top}X^{\top}X\widehat{\beta} = Y^{\top}X(X^{\top}X)^{-1}X^{\top}Y. \]
Sustituyendo en la expresión de \(e^{\top}\widehat{Y}\): \[ e^{\top}\widehat{Y} = Y^{\top}X(X^{\top}X)^{-1}X^{\top}Y - Y^{\top}X(X^{\top}X)^{-1}X^{\top}Y = 0. \]
\[ e^{\top}\widehat{Y} = 0. \]