Taller Teórico del Capítulo 5

Resolución al estilo del maestro: pasos directos, demostraciones auxiliares aparte

Modelo base (puntos 1 a 3):

\[ \mathbf{y}=\mathbf{X}\boldsymbol\beta+\mathbf{u},\qquad \mathbf{u}\sim(\mathbf{0},\ \sigma^2\boldsymbol\Omega) \]

El taller salta del punto 3 al 6 (no existen los puntos 4 y 5).

Punto 1. \(\mathbf{b}\) no es eficiente

ImportanteObjetivo

Cuando los errores tienen matriz de covarianzas no esférica, MCO puede dejar de ser el estimador de varianza mínima. Probar \(\operatorname{Var}(\mathbf{b})\succeq\operatorname{Var}(\mathbf{b}_{MCG})\).

TipPasos generales

1. Escriba \(\mathbf{b}=\mathbf{A}\mathbf{y}\) y \(\mathbf{b}_{MCG}=\mathbf{C}\mathbf{y}\) (ambos lineales e insesgados, así que \(\mathbf{A}\mathbf{X}=\mathbf{C}\mathbf{X}=\mathbf{I}\)).
2. Defina \(\mathbf{D}=\mathbf{A}-\mathbf{C}\), de modo que \(\mathbf{A}=\mathbf{C}+\mathbf{D}\) y \(\mathbf{D}\mathbf{X}=\mathbf{0}\).
3. Reemplace en \(\operatorname{Var}(\mathbf{b})\), desarrolle y elimine los términos cruzados atendiendo \((\ast)\).
4. Reconozca \(\operatorname{Var}(\mathbf{b}_{MCG})\) (punto 3) y concluya.

Paso 1.

\[ \mathbf{A}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}',\qquad \mathbf{C}=(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\mathbf{X}'\boldsymbol\Omega^{-1},\qquad \mathbf{b}=\mathbf{A}\mathbf{y},\quad \mathbf{b}_{MCG}=\mathbf{C}\mathbf{y} \]

Paso 2.

\[ \mathbf{D}=\mathbf{A}-\mathbf{C}\ \Longrightarrow\ \mathbf{D}\mathbf{X}=\mathbf{A}\mathbf{X}-\mathbf{C}\mathbf{X}=\mathbf{I}-\mathbf{I}=\mathbf{0} \]

Paso 3. Como \(\operatorname{Var}(\mathbf{A}\mathbf{y}\mid\mathbf{X})=\sigma^2\mathbf{A}\boldsymbol\Omega\mathbf{A}'\):

\[ \begin{aligned} \operatorname{Var}(\mathbf{b}\mid\mathbf{X})&=\sigma^2(\mathbf{C}+\mathbf{D})\boldsymbol\Omega(\mathbf{C}+\mathbf{D})'\\ &=\sigma^2\big[\mathbf{C}\boldsymbol\Omega\mathbf{C}'+\mathbf{C}\boldsymbol\Omega\mathbf{D}'+\mathbf{D}\boldsymbol\Omega\mathbf{C}'+\mathbf{D}\boldsymbol\Omega\mathbf{D}'\big]\\ &=\sigma^2\mathbf{C}\boldsymbol\Omega\mathbf{C}'+\sigma^2\mathbf{D}\boldsymbol\Omega\mathbf{D}'\qquad(\ast) \end{aligned} \]

Paso 4. \(\sigma^2\mathbf{C}\boldsymbol\Omega\mathbf{C}'=\operatorname{Var}(\mathbf{b}_{MCG}\mid\mathbf{X})\) (punto 3). Entonces

\[ \boxed{\ \operatorname{Var}(\mathbf{b}\mid\mathbf{X})-\operatorname{Var}(\mathbf{b}_{MCG}\mid\mathbf{X})=\sigma^2\mathbf{D}\boldsymbol\Omega\mathbf{D}'\ \succeq\ \mathbf{0}\ } \]

(\(\mathbf{D}\boldsymbol\Omega\mathbf{D}'\) es semidefinida positiva: \(\mathbf{z}'\mathbf{D}\boldsymbol\Omega\mathbf{D}'\mathbf{z}=(\mathbf{D}'\mathbf{z})'\boldsymbol\Omega(\mathbf{D}'\mathbf{z})\geq 0\) porque \(\boldsymbol\Omega\) es definida positiva.) Por lo tanto, MCG tiene una varianza que no supera la de MCO: \(\mathbf{b}\) no es eficiente.

NotaDemostración \((\ast)\): \(\mathbf{C}\boldsymbol\Omega\mathbf{D}'=\mathbf{0}\) y \(\mathbf{D}\boldsymbol\Omega\mathbf{C}'=\mathbf{0}\)

\[ \mathbf{C}\boldsymbol\Omega=(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\mathbf{X}'\boldsymbol\Omega^{-1}\boldsymbol\Omega=(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\mathbf{X}' \ \Longrightarrow\ \mathbf{C}\boldsymbol\Omega\mathbf{D}'=(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\mathbf{X}'\mathbf{D}' \]

Pero \(\mathbf{D}\mathbf{X}=\mathbf{0}\) implica \(\mathbf{X}'\mathbf{D}'=\mathbf{0}\), luego \(\mathbf{C}\boldsymbol\Omega\mathbf{D}'=\mathbf{0}\). Transponiendo, \(\mathbf{D}\boldsymbol\Omega\mathbf{C}'=\mathbf{0}\).

Punto 2. Varianza de \(\mathbf{b}\)

ImportanteObjetivo

Probar que \(\operatorname{Var}(\mathbf{b})=\sigma^2(\mathbf{X}'\mathbf{X})^{-1}(\mathbf{X}'\boldsymbol\Omega\mathbf{X})(\mathbf{X}'\mathbf{X})^{-1}\).

TipPasos generales

1. Sustituya \(\mathbf{y}\) en \(\mathbf{b}\) y deje \(\mathbf{b}=\boldsymbol\beta+\mathbf{A}\mathbf{u}\).
2. Verifique que \(\mathbf{b}\) es insesgado.
3. Aplique \(\operatorname{Var}(\mathbf{A}\mathbf{u}\mid\mathbf{X})=\mathbf{A}\operatorname{Var}(\mathbf{u}\mid\mathbf{X})\mathbf{A}'\).

Paso 1. Con \(\mathbf{A}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\):

\[ \mathbf{b}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'(\mathbf{X}\boldsymbol\beta+\mathbf{u})=\boldsymbol\beta+(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{u}=\boldsymbol\beta+\mathbf{A}\mathbf{u} \]

Paso 2. \(E[\mathbf{b}\mid\mathbf{X}]=\boldsymbol\beta+\mathbf{A}\,E[\mathbf{u}\mid\mathbf{X}]=\boldsymbol\beta\).

Paso 3. Como \(\boldsymbol\beta\) es constante, su varianza es \(0\):

\[ \operatorname{Var}(\mathbf{b}\mid\mathbf{X})=\mathbf{A}\operatorname{Var}(\mathbf{u}\mid\mathbf{X})\mathbf{A}' =(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\,\sigma^2\boldsymbol\Omega\,\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1} \]

\[ \boxed{\ \operatorname{Var}(\mathbf{b}\mid\mathbf{X})=\sigma^2(\mathbf{X}'\mathbf{X})^{-1}(\mathbf{X}'\boldsymbol\Omega\mathbf{X})(\mathbf{X}'\mathbf{X})^{-1}\ } \]

Punto 3. MCG: eficiencia, estimador y varianza

ImportanteObjetivo

Con \(\boldsymbol\Omega^{-1}=\boldsymbol\rho'\boldsymbol\rho\), transformar el modelo con \(\boldsymbol\rho\), explicar por qué su estimador es eficiente y hallarlo junto con su varianza en términos de \(\mathbf{X}\) e \(\mathbf{y}\).

TipPasos generales

1. Multiplique el modelo por \(\boldsymbol\rho\) y defina \(\mathbf{y}_*,\mathbf{X}_*,\mathbf{u}_*\).
2. Demuestre que los errores transformados son esféricos, atendiendo \((\ast)\).
3. Concluya con Gauss–Markov que MCO en el modelo transformado es eficiente (MELI).
4. Aplique MCO al modelo transformado y devuelva el resultado a \(\mathbf{X}\) e \(\mathbf{y}\).
5. Halle la varianza.

Paso 1.

\[ \boldsymbol\rho\mathbf{y}=\boldsymbol\rho\mathbf{X}\boldsymbol\beta+\boldsymbol\rho\mathbf{u} \quad\Longrightarrow\quad \mathbf{y}_*=\mathbf{X}_*\boldsymbol\beta+\mathbf{u}_*,\qquad \mathbf{y}_*=\boldsymbol\rho\mathbf{y},\ \mathbf{X}_*=\boldsymbol\rho\mathbf{X},\ \mathbf{u}_*=\boldsymbol\rho\mathbf{u} \]

Paso 2.

\[ E[\mathbf{u}_*\mid\mathbf{X}]=\boldsymbol\rho\,E[\mathbf{u}\mid\mathbf{X}]=\mathbf{0},\qquad \operatorname{Var}(\mathbf{u}_*\mid\mathbf{X})=\boldsymbol\rho\,\sigma^2\boldsymbol\Omega\,\boldsymbol\rho'=\sigma^2\mathbf{I}_n\qquad(\ast) \]

Paso 3 (¿por qué es eficiente?). El modelo transformado cumple las condiciones clásicas de Gauss–Markov (errores de media cero y esféricos). Por lo tanto, MCO sobre ese modelo es el estimador lineal insesgado de varianza mínima (MELI).

Paso 4.

\[ \mathbf{b}_{MCG}=(\mathbf{X}_*'\mathbf{X}_*)^{-1}\mathbf{X}_*'\mathbf{y}_* =\big[(\boldsymbol\rho\mathbf{X})'(\boldsymbol\rho\mathbf{X})\big]^{-1}(\boldsymbol\rho\mathbf{X})'(\boldsymbol\rho\mathbf{y}) =\big[\mathbf{X}'\underbrace{\boldsymbol\rho'\boldsymbol\rho}_{\boldsymbol\Omega^{-1}}\mathbf{X}\big]^{-1}\mathbf{X}'\underbrace{\boldsymbol\rho'\boldsymbol\rho}_{\boldsymbol\Omega^{-1}}\mathbf{y} \]

\[ \boxed{\ \mathbf{b}_{MCG}=(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{y}\ } \]

Paso 5. Como en el modelo transformado \(\operatorname{Var}(\mathbf{u}_*)=\sigma^2\mathbf{I}\), la varianza de MCO es la usual:

\[ \boxed{\ \operatorname{Var}(\mathbf{b}_{MCG}\mid\mathbf{X})=\sigma^2(\mathbf{X}_*'\mathbf{X}_*)^{-1}=\sigma^2(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\ } \]

NotaDemostración \((\ast)\): \(\boldsymbol\rho\boldsymbol\Omega\boldsymbol\rho'=\mathbf{I}_n\)

De \(\boldsymbol\Omega^{-1}=\boldsymbol\rho'\boldsymbol\rho\):

\[ \boldsymbol\Omega=(\boldsymbol\rho'\boldsymbol\rho)^{-1}=\boldsymbol\rho^{-1}(\boldsymbol\rho')^{-1} \quad\Longrightarrow\quad \boldsymbol\rho\boldsymbol\Omega\boldsymbol\rho'=\boldsymbol\rho\boldsymbol\rho^{-1}(\boldsymbol\rho')^{-1}\boldsymbol\rho'=\mathbf{I}_n \]

Punto 6. \(\mathbf{b}_{iv}\) es consistente pero asintóticamente ineficiente

ImportanteObjetivo

En \(\mathbf{y}=\mathbf{X}\boldsymbol\beta+\mathbf{u}\) con \(\operatorname{plim}\tfrac1n\mathbf{X}'\mathbf{u}=\boldsymbol\gamma\) y \(l>k\) instrumentos \(\mathbf{Z}\), probar que \(\mathbf{b}_{iv}=(\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{y}\) es consistente pero no eficiente.

TipPasos generales

1. Muestre que MCO es inconsistente cuando \(\mathbf{X}\) y \(\mathbf{u}\) están correlacionados.
2. Enuncie las condiciones que debe cumplir \(\mathbf{Z}\).
3. Multiplique el modelo por \(\mathbf{Z}'\) y aplique MCO al modelo transformado: obtendrá \(\mathbf{b}_{iv}\).
4. Pruebe consistencia: sustituya \(\mathbf{y}\), divida entre \(n\) atendiendo \((\ast)\) y aplique \(\operatorname{plim}\).
5. Halle \(\operatorname{Var}(\mathbf{u}_*)\): no es esférica, luego no se cumple Gauss–Markov y no es eficiente.

Paso 1. Sea \(\mathbf{X}'\mathbf{X}/n\xrightarrow{p}\boldsymbol\Sigma_{xx}\). Entonces

\[ \mathbf{b}=\boldsymbol\beta+\Big(\frac{\mathbf{X}'\mathbf{X}}{n}\Big)^{-1}\Big(\frac{\mathbf{X}'\mathbf{u}}{n}\Big) \ \xrightarrow{p}\ \boldsymbol\beta+\boldsymbol\Sigma_{xx}^{-1}\boldsymbol\gamma\ \neq\ \boldsymbol\beta \]

MCO es inconsistente cuando \(\mathbf{X}\) y \(\mathbf{u}\) están correlacionados (por error de medida o por endogeneidad).

Paso 2. Las condiciones sobre \(\mathbf{Z}\) (\(n\times l\), \(l\geq k\)) son:

1. Relevancia: \(\dfrac{\mathbf{X}'\mathbf{Z}}{n}\xrightarrow{p}\boldsymbol\Sigma_{xz}\), con \(\boldsymbol\Sigma_{xz}\) de rango \(k\) (\(\mathbf{X}\) y \(\mathbf{Z}\) correlacionadas).
2. Exogeneidad: \(\dfrac{\mathbf{Z}'\mathbf{u}}{n}\xrightarrow{p}\mathbf{0}_{l\times 1}\).
3. \(\dfrac{\mathbf{Z}'\mathbf{Z}}{n}\xrightarrow{p}\boldsymbol\Sigma_{zz}\).

Paso 3. Multiplicando el modelo por \(\mathbf{Z}'\):

\[ \mathbf{Z}'\mathbf{y}=\mathbf{Z}'\mathbf{X}\boldsymbol\beta+\mathbf{Z}'\mathbf{u} \quad\Longrightarrow\quad \mathbf{y}_*=\mathbf{X}_*\boldsymbol\beta+\mathbf{u}_*,\qquad \mathbf{y}_*=\mathbf{Z}'\mathbf{y}\ (l\times1),\ \mathbf{X}_*=\mathbf{Z}'\mathbf{X}\ (l\times k),\ \mathbf{u}_*=\mathbf{Z}'\mathbf{u}\ (l\times1) \]

MCO en este modelo transformado:

\[ \mathbf{b}_*=(\mathbf{X}_*'\mathbf{X}_*)^{-1}\mathbf{X}_*'\mathbf{y}_*=\big[(\mathbf{Z}'\mathbf{X})'(\mathbf{Z}'\mathbf{X})\big]^{-1}(\mathbf{Z}'\mathbf{X})'(\mathbf{Z}'\mathbf{y})=(\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{y}=\mathbf{b}_{iv} \]

Paso 4 (consistencia). Sustituya \(\mathbf{y}=\mathbf{X}\boldsymbol\beta+\mathbf{u}\):

\[ \mathbf{b}_{iv}=(\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X}\boldsymbol\beta+(\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{u} =\boldsymbol\beta+(\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{u} \]

Dividiendo entre \(n\) (atendiendo \((\ast)\)):

\[ \mathbf{b}_{iv}=\boldsymbol\beta+\Big[\Big(\frac{\mathbf{X}'\mathbf{Z}}{n}\Big)\Big(\frac{\mathbf{Z}'\mathbf{X}}{n}\Big)\Big]^{-1}\Big(\frac{\mathbf{X}'\mathbf{Z}}{n}\Big)\Big(\frac{\mathbf{Z}'\mathbf{u}}{n}\Big) \ \xrightarrow{p}\ \boldsymbol\beta+(\boldsymbol\Sigma_{xz}\boldsymbol\Sigma_{zx})^{-1}\boldsymbol\Sigma_{xz}\cdot\mathbf{0}=\boldsymbol\beta \]

con \(\boldsymbol\Sigma_{zx}=\boldsymbol\Sigma_{xz}'\). Luego \(\mathbf{b}_{iv}\xrightarrow{p}\boldsymbol\beta\): es consistente.

Paso 5 (ineficiencia).

\[ \operatorname{Var}(\mathbf{u}_*\mid\mathbf{Z})=E(\mathbf{u}_*\mathbf{u}_*')=E(\mathbf{Z}'\mathbf{u}\mathbf{u}'\mathbf{Z})=\mathbf{Z}'E(\mathbf{u}\mathbf{u}')\mathbf{Z}=\mathbf{Z}'\sigma^2\mathbf{I}_n\mathbf{Z}=\sigma^2\mathbf{Z}'\mathbf{Z}=\sigma^2\boldsymbol\Omega,\qquad \boldsymbol\Omega=\mathbf{Z}'\mathbf{Z}\neq\mathbf{I}_l \]

El modelo transformado no cumple las condiciones de Gauss–Markov. Por ello \(\mathbf{b}_{iv}\) es consistente pero NO eficiente (el estimador eficiente es el MCG de ese modelo; punto 7).

NotaDemostración \((\ast)\): por qué se divide cada factor entre \(n\)

\(\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X}=(\mathbf{X}'\mathbf{Z})(\mathbf{Z}'\mathbf{X})=n^2\Big(\dfrac{\mathbf{X}'\mathbf{Z}}{n}\Big)\Big(\dfrac{\mathbf{Z}'\mathbf{X}}{n}\Big)\) y \(\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{u}=n^2\Big(\dfrac{\mathbf{X}'\mathbf{Z}}{n}\Big)\Big(\dfrac{\mathbf{Z}'\mathbf{u}}{n}\Big)\).

El factor \(n^2\) aparece una vez en el inverso y una vez fuera de él, así que se cancela. Además, \(\boldsymbol\Sigma_{xz}\boldsymbol\Sigma_{zx}\) (\(k\times k\)) es invertible porque \(\boldsymbol\Sigma_{xz}\) tiene rango \(k\).

Punto 7. Estimador eficiente: MC2E

ImportanteObjetivo

En el punto 6, hallar el estimador eficiente y reconocer de qué estimador se trata.

TipPasos generales

1. Recuerde el modelo transformado: \(\mathbf{u}_*\sim(\mathbf{0},\sigma^2\boldsymbol\Omega)\) con \(\boldsymbol\Omega=\mathbf{Z}'\mathbf{Z}\).
2. Aplique MCG (punto 3) a ese modelo.
3. Sustituya \(\mathbf{X}_*,\mathbf{y}_*,\boldsymbol\Omega\) y simplifique con la matriz de proyección \(\mathbf{P}_z\).
4. Reconozca el estimador (MC2E), atendiendo \((\ast)\), y halle su varianza.
5. Verifique que es consistente.

Pasos 1–2. En el modelo \(\mathbf{y}_*=\mathbf{X}_*\boldsymbol\beta+\mathbf{u}_*\), \(\mathbf{u}_*\sim(\mathbf{0},\sigma^2\boldsymbol\Omega)\), el estimador eficiente es el de MCG:

\[ \mathbf{b}=(\mathbf{X}_*'\boldsymbol\Omega^{-1}\mathbf{X}_*)^{-1}\mathbf{X}_*'\boldsymbol\Omega^{-1}\mathbf{y}_*,\qquad \operatorname{Var}(\mathbf{b})=\sigma^2(\mathbf{X}_*'\boldsymbol\Omega^{-1}\mathbf{X}_*)^{-1} \]

Paso 3. Con \(\mathbf{X}_*=\mathbf{Z}'\mathbf{X}\), \(\mathbf{y}_*=\mathbf{Z}'\mathbf{y}\) y \(\boldsymbol\Omega=\mathbf{Z}'\mathbf{Z}\):

\[ \mathbf{b}=\big[\mathbf{X}'\mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'\mathbf{X}\big]^{-1}\mathbf{X}'\mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'\mathbf{y} \]

Definiendo \(\mathbf{P}_z=\mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'\):

\[ \boxed{\ \mathbf{b}_{MC2E}=(\mathbf{X}'\mathbf{P}_z\mathbf{X})^{-1}\mathbf{X}'\mathbf{P}_z\mathbf{y}\ } \qquad \operatorname{Var}(\mathbf{b}_{MC2E})=\sigma^2(\mathbf{X}'\mathbf{P}_z\mathbf{X})^{-1} \]

Paso 4. Es el estimador de mínimos cuadrados en dos etapas \((\ast)\).

Paso 5 (consistencia). Sustituyendo \(\mathbf{y}=\mathbf{X}\boldsymbol\beta+\mathbf{u}\) y dividiendo cada factor entre \(n\) (igual que en el punto 6):

\[ \mathbf{b}_{MC2E}=\boldsymbol\beta+(\mathbf{X}'\mathbf{P}_z\mathbf{X})^{-1}\mathbf{X}'\mathbf{P}_z\mathbf{u} =\boldsymbol\beta+\Big[\Big(\frac{\mathbf{X}'\mathbf{Z}}{n}\Big)\Big(\frac{\mathbf{Z}'\mathbf{Z}}{n}\Big)^{-1}\Big(\frac{\mathbf{Z}'\mathbf{X}}{n}\Big)\Big]^{-1}\Big(\frac{\mathbf{X}'\mathbf{Z}}{n}\Big)\Big(\frac{\mathbf{Z}'\mathbf{Z}}{n}\Big)^{-1}\Big(\frac{\mathbf{Z}'\mathbf{u}}{n}\Big) \]

\[ \xrightarrow{p}\ \boldsymbol\beta+(\boldsymbol\Sigma_{xz}\boldsymbol\Sigma_{zz}^{-1}\boldsymbol\Sigma_{zx})^{-1}\boldsymbol\Sigma_{xz}\boldsymbol\Sigma_{zz}^{-1}\cdot\mathbf{0}=\boldsymbol\beta \]

NotaDemostración \((\ast)\): por qué se llama “en dos etapas”

\(\mathbf{P}_z\) es simétrica (\(\mathbf{P}_z'=\mathbf{P}_z\)) e idempotente (\(\mathbf{P}_z^2=\mathbf{P}_z\)). Sea \(\hat{\mathbf{X}}=\mathbf{P}_z\mathbf{X}\).

• Primera etapa: proyectar los regresores sobre los instrumentos, \(\hat{\mathbf{X}}=\mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'\mathbf{X}\).
• Segunda etapa: regresar \(\mathbf{y}\) sobre \(\hat{\mathbf{X}}\). Como \(\hat{\mathbf{X}}'\hat{\mathbf{X}}=\mathbf{X}'\mathbf{P}_z\mathbf{X}\) y \(\hat{\mathbf{X}}'\mathbf{y}=\mathbf{X}'\mathbf{P}_z\mathbf{y}\),

\[ (\hat{\mathbf{X}}'\hat{\mathbf{X}})^{-1}\hat{\mathbf{X}}'\mathbf{y}=(\mathbf{X}'\mathbf{P}_z\mathbf{X})^{-1}\mathbf{X}'\mathbf{P}_z\mathbf{y}=\mathbf{b}_{MC2E} \]

Punto 8. Normal multivariada con observaciones independientes

ImportanteObjetivo

Si \(\mathbf{X}\sim N_n(\boldsymbol\mu,\boldsymbol\Sigma)\) y sus componentes son independientes, probar que \(-\tfrac12(\mathbf{x}-\boldsymbol\mu)'\boldsymbol\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)=-\tfrac12\sum_{i=1}^n\dfrac{(X_i-\mu_i)^2}{\sigma_i^2}\).

TipPasos generales

1. Independencia implica covarianzas cero: \(\boldsymbol\Sigma\) es diagonal.
2. Invierta la matriz diagonal.
3. Multiplique \(\boldsymbol\Sigma^{-1}\) por el vector de desviaciones y luego por su transpuesta.
4. Multiplique por \(-\tfrac12\).

Paso 1. \(\operatorname{Cov}(X_i,X_j)=0\) para \(i\neq j\):

\[ \boldsymbol\Sigma=\begin{pmatrix}\sigma_1^2&0&\cdots&0\\0&\sigma_2^2&\cdots&0\\\vdots&&\ddots&\vdots\\0&0&\cdots&\sigma_n^2\end{pmatrix} \]

Paso 2. \(\boldsymbol\Sigma^{-1}=\operatorname{diag}\big(1/\sigma_1^2,\dots,1/\sigma_n^2\big)\).

Paso 3.

\[ \boldsymbol\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)=\begin{pmatrix}(x_1-\mu_1)/\sigma_1^2\\\vdots\\(x_n-\mu_n)/\sigma_n^2\end{pmatrix} \ \Longrightarrow\ (\mathbf{x}-\boldsymbol\mu)'\boldsymbol\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)=\sum_{i=1}^n\frac{(x_i-\mu_i)^2}{\sigma_i^2} \]

Paso 4.

\[ \boxed{\ -\frac12(\mathbf{x}-\boldsymbol\mu)'\boldsymbol\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)=-\frac12\sum_{i=1}^n\frac{(x_i-\mu_i)^2}{\sigma_i^2}\ } \]

Si todas las \(X_i\sim N(\mu,\sigma^2)\), entonces \(\sigma_i^2=\sigma^2\) y queda \(-\dfrac{1}{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\).

Punto 9. Verosimilitud y log-verosimilitud

ImportanteObjetivo

En \(\mathbf{y}=\mathbf{X}\boldsymbol\beta+\mathbf{u}\) con \(\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I}_n)\), probar que \(L(\boldsymbol\beta,\sigma^2)=\prod_{t=1}^nf(y_t\mid\mathbf{x}_t;\boldsymbol\beta,\sigma^2)=(2\pi\sigma^2)^{-n/2}\exp\Big[-\tfrac{1}{2\sigma^2}\sum_{t=1}^n(y_t-\mathbf{x}_t'\boldsymbol\beta)^2\Big]\) y hallar \(\ell(\boldsymbol\beta,\sigma^2)\).

TipPasos generales

1. Escriba el modelo por observación: \(y_t=\mathbf{x}_t'\boldsymbol\beta+u_t\), con \(y_t\mid\mathbf{x}_t\sim N(\mathbf{x}_t'\boldsymbol\beta,\sigma^2)\) y su densidad.
2. Por independencia, la verosimilitud es el producto de las densidades.
3. Simplifique el producto atendiendo \((\ast)\).
4. Tome logaritmo natural.

Paso 1. Por la reproductividad normal, \(y_t\mid\mathbf{x}_t\sim N(\mathbf{x}_t'\boldsymbol\beta,\sigma^2)\), con densidad

\[ f(y_t\mid\mathbf{x}_t;\boldsymbol\beta,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\Big[-\frac{(y_t-\mathbf{x}_t'\boldsymbol\beta)^2}{2\sigma^2}\Big] \]

Paso 2. Como \(\operatorname{Var}(\mathbf{u})=\sigma^2\mathbf{I}\) (errores no correlacionados y normales, es decir, independientes), las \(y_t\mid\mathbf{x}_t\) son independientes y su densidad conjunta es el producto.

Paso 3.

\[ L(\boldsymbol\beta,\sigma^2)=\prod_{t=1}^n\frac{1}{\sqrt{2\pi\sigma^2}}\exp\Big[-\frac{(y_t-\mathbf{x}_t'\boldsymbol\beta)^2}{2\sigma^2}\Big] =\boxed{\ (2\pi\sigma^2)^{-n/2}\exp\Big[-\frac{1}{2\sigma^2}\sum_{t=1}^n(y_t-\mathbf{x}_t'\boldsymbol\beta)^2\Big]\ }\qquad(\ast) \]

Paso 4.

\[ \boxed{\ \ell(\boldsymbol\beta,\sigma^2)=-\frac n2\ln(2\pi)-\frac n2\ln(\sigma^2)-\frac{1}{2\sigma^2}\sum_{t=1}^n(y_t-\mathbf{x}_t'\boldsymbol\beta)^2\ } \]

NotaDemostración \((\ast)\): simplificación del producto

\(\prod_{t=1}^n(2\pi\sigma^2)^{-1/2}=(2\pi\sigma^2)^{-n/2}\) (el mismo factor \(n\) veces), y el producto de exponenciales es la exponencial de la suma: \(\prod_t e^{a_t}=e^{\sum_t a_t}\).

Punto 10. La suma de cuadrados en forma matricial

ImportanteObjetivo

Probar \(\sum_{t=1}^nu_t^2=\mathbf{u}'\mathbf{u}=\mathbf{y}'\mathbf{y}-2(\mathbf{X}'\mathbf{y})'\boldsymbol\beta+\boldsymbol\beta'(\mathbf{X}'\mathbf{X})\boldsymbol\beta\) y reescribir \(\ell\).

TipPasos generales

1. Reconozca \(\sum u_t^2=\mathbf{u}'\mathbf{u}\) y sustituya \(\mathbf{u}=\mathbf{y}-\mathbf{X}\boldsymbol\beta\).
2. Distribuya el producto.
3. Junte los dos términos cruzados atendiendo \((\ast)\).
4. Reemplace en \(\ell\).

Pasos 1–2. \(\sum_t u_t^2=\mathbf{u}'\mathbf{u}\) y \(\mathbf{u}=\mathbf{y}-\mathbf{X}\boldsymbol\beta\):

\[ \mathbf{u}'\mathbf{u}=(\mathbf{y}-\mathbf{X}\boldsymbol\beta)'(\mathbf{y}-\mathbf{X}\boldsymbol\beta)=\mathbf{y}'\mathbf{y}-\mathbf{y}'\mathbf{X}\boldsymbol\beta-\boldsymbol\beta'\mathbf{X}'\mathbf{y}+\boldsymbol\beta'\mathbf{X}'\mathbf{X}\boldsymbol\beta \]

Paso 3. Atendiendo \((\ast)\), \(\mathbf{y}'\mathbf{X}\boldsymbol\beta=\boldsymbol\beta'\mathbf{X}'\mathbf{y}=(\mathbf{X}'\mathbf{y})'\boldsymbol\beta\):

\[ \boxed{\ \mathbf{u}'\mathbf{u}=\mathbf{y}'\mathbf{y}-2(\mathbf{X}'\mathbf{y})'\boldsymbol\beta+\boldsymbol\beta'(\mathbf{X}'\mathbf{X})\boldsymbol\beta\ } \]

Paso 4.

\[ \ell(\boldsymbol\beta,\sigma^2)=-\frac n2\ln(2\pi)-\frac n2\ln(\sigma^2)-\frac{1}{2\sigma^2}\Big[\mathbf{y}'\mathbf{y}-2(\mathbf{X}'\mathbf{y})'\boldsymbol\beta+\boldsymbol\beta'\mathbf{X}'\mathbf{X}\boldsymbol\beta\Big] \]

NotaDemostración \((\ast)\): \(\mathbf{y}'\mathbf{X}\boldsymbol\beta=\boldsymbol\beta'\mathbf{X}'\mathbf{y}\)

\(\mathbf{y}'\mathbf{X}\boldsymbol\beta\) es un escalar (\(1\times n\) por \(n\times k\) por \(k\times 1\)), y un escalar es igual a su transpuesta: \((\mathbf{y}'\mathbf{X}\boldsymbol\beta)'=\boldsymbol\beta'\mathbf{X}'\mathbf{y}\).

Punto 11. EMV de \(\boldsymbol\beta\) y \(\sigma^2\) (caso esférico)

ImportanteObjetivo

Maximizar \(\ell\) del punto 10. Resultado esperado: \(\hat{\boldsymbol\beta}_{MV}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}\) y \(\hat\sigma^2_{MV}=\dfrac{(\mathbf{y}-\mathbf{X}\hat{\boldsymbol\beta}_{MV})'(\mathbf{y}-\mathbf{X}\hat{\boldsymbol\beta}_{MV})}{n}\).

TipPasos generales

1. Parta de \(\ell\) en forma matricial (punto 10).
2. Derive respecto a \(\boldsymbol\beta\), iguale a cero y despeje.
3. Defina \(RSS(\boldsymbol\beta)=(\mathbf{y}-\mathbf{X}\boldsymbol\beta)'(\mathbf{y}-\mathbf{X}\boldsymbol\beta)\), derive respecto a \(\sigma^2\), iguale a cero y despeje.

Reglas de derivación (con \(\mathbf{A}\) simétrica): \(\dfrac{\partial(\mathbf{a}'\boldsymbol\beta)}{\partial\boldsymbol\beta}=\mathbf{a}\) y \(\dfrac{\partial(\boldsymbol\beta'\mathbf{A}\boldsymbol\beta)}{\partial\boldsymbol\beta}=2\mathbf{A}\boldsymbol\beta\).

Paso 2. Respecto a \(\boldsymbol\beta\).

\[ \frac{\partial\ell}{\partial\boldsymbol\beta}=-\frac{1}{2\sigma^2}\big[-2\mathbf{X}'\mathbf{y}+2\mathbf{X}'\mathbf{X}\boldsymbol\beta\big]=\frac{1}{\sigma^2}\big(\mathbf{X}'\mathbf{y}-\mathbf{X}'\mathbf{X}\boldsymbol\beta\big)=\mathbf{0} \]

\[ \mathbf{X}'\mathbf{y}=\mathbf{X}'\mathbf{X}\boldsymbol\beta\quad\Longrightarrow\quad\boxed{\ \hat{\boldsymbol\beta}_{MV}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}\ } \]

Paso 3. Respecto a \(\sigma^2\). Con \(RSS(\boldsymbol\beta)\), \(\ell=-\frac n2\ln(2\pi)-\frac n2\ln(\sigma^2)-\dfrac{RSS(\boldsymbol\beta)}{2\sigma^2}\):

\[ \frac{\partial\ell}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{RSS(\boldsymbol\beta)}{2(\sigma^2)^2}=0 \quad\Longrightarrow\quad \frac{RSS(\boldsymbol\beta)}{2(\sigma^2)^2}=\frac{n}{2\sigma^2} \quad\Longrightarrow\quad \boxed{\ \hat\sigma^2_{MV}=\frac{RSS(\hat{\boldsymbol\beta}_{MV})}{n}=\frac{\mathbf{e}'\mathbf{e}}{n}\ } \]

Punto 12. EMV con disturbios no esféricos

ImportanteObjetivo

Con \(\mathbf{u}\sim N(\mathbf{0},\sigma^2\boldsymbol\Omega)\) y \(\boldsymbol\Omega\) conocida, probar que \(\ell=-\frac n2\ln(2\pi)-\frac n2\ln(\sigma^2)-\frac12\ln|\boldsymbol\Omega|-\frac{1}{2\sigma^2}(\mathbf{y}-\mathbf{X}\boldsymbol\beta)'\boldsymbol\Omega^{-1}(\mathbf{y}-\mathbf{X}\boldsymbol\beta)\) y hallar los EMV. Resultado esperado: \(\hat{\boldsymbol\beta}_{MV}=(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{y}\) y \(\hat\sigma^2_{MV}=\dfrac{(\mathbf{y}-\mathbf{X}\hat{\boldsymbol\beta}_{MV})'\boldsymbol\Omega^{-1}(\mathbf{y}-\mathbf{X}\hat{\boldsymbol\beta}_{MV})}{n}\).

TipPasos generales

1. Escriba la densidad de \(\mathbf{u}\) y simplifique el determinante y la inversa.
2. Exprese la densidad en términos de \(\mathbf{y}\) (\(\mathbf{u}=\mathbf{y}-\mathbf{X}\boldsymbol\beta\)) y tome logaritmo.
3. Derive respecto a \(\boldsymbol\beta\) (atendiendo \((\ast)\)), iguale a cero y despeje.
4. Defina \(Q(\boldsymbol\beta)=(\mathbf{y}-\mathbf{X}\boldsymbol\beta)'\boldsymbol\Omega^{-1}(\mathbf{y}-\mathbf{X}\boldsymbol\beta)\), derive respecto a \(\sigma^2\), iguale a cero y despeje.

Paso 1. La densidad conjunta de \(\mathbf{u}\) es \(f(\mathbf{u})=(2\pi)^{-n/2}|\sigma^2\boldsymbol\Omega|^{-1/2}\exp\big[-\tfrac12\mathbf{u}'(\sigma^2\boldsymbol\Omega)^{-1}\mathbf{u}\big]\). Como \(\boldsymbol\Omega\) es \(n\times n\),

\[ |\sigma^2\boldsymbol\Omega|=(\sigma^2)^n|\boldsymbol\Omega|\ \Longrightarrow\ |\sigma^2\boldsymbol\Omega|^{-1/2}=(\sigma^2)^{-n/2}|\boldsymbol\Omega|^{-1/2},\qquad (\sigma^2\boldsymbol\Omega)^{-1}=\frac{1}{\sigma^2}\boldsymbol\Omega^{-1} \]

\[ f(\mathbf{u})=(2\pi)^{-n/2}(\sigma^2)^{-n/2}|\boldsymbol\Omega|^{-1/2}\exp\Big[-\frac{1}{2\sigma^2}\mathbf{u}'\boldsymbol\Omega^{-1}\mathbf{u}\Big] \]

Paso 2. Con \(\mathbf{u}=\mathbf{y}-\mathbf{X}\boldsymbol\beta\) y logaritmo natural:

\[ \ell(\boldsymbol\beta,\sigma^2)=-\frac n2\ln(2\pi)-\frac n2\ln(\sigma^2)-\frac12\ln|\boldsymbol\Omega|-\frac{1}{2\sigma^2}(\mathbf{y}-\mathbf{X}\boldsymbol\beta)'\boldsymbol\Omega^{-1}(\mathbf{y}-\mathbf{X}\boldsymbol\beta) \]

Como \(\boldsymbol\Omega\) es conocida, \(-\tfrac12\ln|\boldsymbol\Omega|\) no depende de \(\boldsymbol\beta\) ni de \(\sigma^2\): su derivada es cero.

Paso 3. Respecto a \(\boldsymbol\beta\). Atendiendo \((\ast)\):

\[ \frac{\partial\ell}{\partial\boldsymbol\beta}=\frac{1}{\sigma^2}\big[\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{y}-\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X}\boldsymbol\beta\big]=\mathbf{0} \quad\Longrightarrow\quad \boxed{\ \hat{\boldsymbol\beta}_{MV}=(\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X})^{-1}\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{y}\ } \]

Paso 4. Respecto a \(\sigma^2\).

\[ \frac{\partial\ell}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{Q(\boldsymbol\beta)}{2(\sigma^2)^2}=0 \quad\Longrightarrow\quad \boxed{\ \hat\sigma^2_{MV}=\frac{Q(\hat{\boldsymbol\beta}_{MV})}{n}=\frac{(\mathbf{y}-\mathbf{X}\hat{\boldsymbol\beta}_{MV})'\boldsymbol\Omega^{-1}(\mathbf{y}-\mathbf{X}\hat{\boldsymbol\beta}_{MV})}{n}\ } \]

NotaDemostración \((\ast)\): derivada respecto a \(\boldsymbol\beta\)

Se desarrolla el producto: \((\mathbf{y}-\mathbf{X}\boldsymbol\beta)'\boldsymbol\Omega^{-1}(\mathbf{y}-\mathbf{X}\boldsymbol\beta)=\mathbf{y}'\boldsymbol\Omega^{-1}\mathbf{y}-2\boldsymbol\beta'\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{y}+\boldsymbol\beta'\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X}\boldsymbol\beta\).

Los dos términos cruzados se juntan porque son escalares iguales: \(\mathbf{y}'\boldsymbol\Omega^{-1}\mathbf{X}\boldsymbol\beta=\boldsymbol\beta'\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{y}\) (\(\boldsymbol\Omega^{-1}\) es simétrica porque \(\boldsymbol\Omega\) lo es). Con las reglas del punto 11 (\(\mathbf{A}=\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X}\) es simétrica):

\[ \frac{\partial\ell}{\partial\boldsymbol\beta}=-\frac{1}{2\sigma^2}\big[-2\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{y}+2\mathbf{X}'\boldsymbol\Omega^{-1}\mathbf{X}\boldsymbol\beta\big] \]

Punto 13. MCO restringido

ImportanteObjetivo

Sea \(\mathbf{b}_*\) el estimador de \(\boldsymbol\beta\) bajo \(H_0:\mathbf{R}\boldsymbol\beta=\mathbf{r}\). Minimizando la RSS restringida \(\varphi=(\mathbf{y}-\mathbf{X}\mathbf{b}_*)'(\mathbf{y}-\mathbf{X}\mathbf{b}_*)-2\boldsymbol\lambda'(\mathbf{R}\mathbf{b}_*-\mathbf{r})\), llegar a \(\mathbf{b}_*=\mathbf{b}+(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big[\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b})\).

TipPasos generales

1. Derive \(\varphi\) respecto a \(\mathbf{b}_*\) e iguale a cero; despeje \(\mathbf{b}_*\) en función de \(\mathbf{b}\) y \(\boldsymbol\lambda\).
2. Derive respecto a \(\boldsymbol\lambda\): recupera la restricción \(\mathbf{R}\mathbf{b}_*=\mathbf{r}\).
3. Premultiplique el resultado del paso 1 por \(\mathbf{R}\), sustituya \(\mathbf{R}\mathbf{b}_*=\mathbf{r}\) y despeje \(\boldsymbol\lambda\).
4. Sustituya \(\boldsymbol\lambda\) en el paso 1.

Paso 1.

\[ \frac{\partial\varphi}{\partial\mathbf{b}_*}=-2\mathbf{X}'\mathbf{y}+2\mathbf{X}'\mathbf{X}\mathbf{b}_*-2\mathbf{R}'\boldsymbol\lambda=\mathbf{0} \ \Longrightarrow\ \mathbf{X}'\mathbf{X}\mathbf{b}_*=\mathbf{X}'\mathbf{y}+\mathbf{R}'\boldsymbol\lambda \ \Longrightarrow\ \mathbf{b}_*=\underbrace{(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}}_{\mathbf{b}}+(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\boldsymbol\lambda \]

Paso 2. \(\dfrac{\partial\varphi}{\partial\boldsymbol\lambda}=-2(\mathbf{R}\mathbf{b}_*-\mathbf{r})=\mathbf{0}\ \Longrightarrow\ \mathbf{R}\mathbf{b}_*=\mathbf{r}\).

Paso 3. Premultiplicando \(\mathbf{b}_*=\mathbf{b}+(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\boldsymbol\lambda\) por \(\mathbf{R}\):

\[ \underbrace{\mathbf{R}\mathbf{b}_*}_{\mathbf{r}}=\mathbf{R}\mathbf{b}+\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\boldsymbol\lambda \ \Longrightarrow\ \mathbf{r}-\mathbf{R}\mathbf{b}=\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\boldsymbol\lambda \ \Longrightarrow\ \boldsymbol\lambda=\big[\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b}) \]

Paso 4.

\[ \boxed{\ \mathbf{b}_*=\mathbf{b}+(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big[\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b})\ } \]

Punto 14. Diferencia de sumas de cuadrados

ImportanteObjetivo

Con \(\mathbf{e}=\mathbf{y}-\mathbf{X}\mathbf{b}\) y \(\mathbf{e}_*=\mathbf{y}-\mathbf{X}\mathbf{b}_*\), probar \(\mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e}=(\mathbf{r}-\mathbf{R}\mathbf{b})'\big[\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b})\).

TipPasos generales

1. Escriba \(\mathbf{e}_*=\mathbf{e}-\mathbf{X}(\mathbf{b}_*-\mathbf{b})\) y expanda \(\mathbf{e}_*'\mathbf{e}_*\); el término cruzado desaparece atendiendo \((\ast)\).
2. Defina \(\mathbf{M}=\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\) y reemplace \(\mathbf{b}_*-\mathbf{b}\) (punto 13).
3. Simplifique: \(\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\) reaparece y se cancela con su inversa.

Paso 1. \(\mathbf{e}_*=\mathbf{y}-\mathbf{X}\mathbf{b}-\mathbf{X}(\mathbf{b}_*-\mathbf{b})=\mathbf{e}-\mathbf{X}(\mathbf{b}_*-\mathbf{b})\). Entonces

\[ \mathbf{e}_*'\mathbf{e}_*=\mathbf{e}'\mathbf{e}-2(\mathbf{b}_*-\mathbf{b})'\underbrace{\mathbf{X}'\mathbf{e}}_{\mathbf{0}\ (\ast)}+(\mathbf{b}_*-\mathbf{b})'\mathbf{X}'\mathbf{X}(\mathbf{b}_*-\mathbf{b}) \ \Longrightarrow\ \mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e}=(\mathbf{b}_*-\mathbf{b})'\mathbf{X}'\mathbf{X}(\mathbf{b}_*-\mathbf{b}) \]

Paso 2. Del punto 13, \(\mathbf{b}_*-\mathbf{b}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\mathbf{M}^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b})\) con \(\mathbf{M}=\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\) (simétrica, al igual que \((\mathbf{X}'\mathbf{X})^{-1}\)).

Paso 3.

\[ \begin{aligned} \mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e} &=(\mathbf{r}-\mathbf{R}\mathbf{b})'\mathbf{M}^{-1}\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\,\mathbf{X}'\mathbf{X}\,(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\mathbf{M}^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b})\\ &=(\mathbf{r}-\mathbf{R}\mathbf{b})'\mathbf{M}^{-1}\underbrace{\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'}_{\mathbf{M}}\mathbf{M}^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b})\\ &=\boxed{\ (\mathbf{r}-\mathbf{R}\mathbf{b})'\big[\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{r}-\mathbf{R}\mathbf{b})\ } \end{aligned} \]

NotaDemostración \((\ast)\): \(\mathbf{X}'\mathbf{e}=\mathbf{0}\)

Son las ecuaciones normales de MCO: \(\mathbf{X}'\mathbf{e}=\mathbf{X}'(\mathbf{y}-\mathbf{X}\mathbf{b})=\mathbf{X}'\mathbf{y}-\mathbf{X}'\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}=\mathbf{0}\).

Punto 15. \(F\), \(W\), \(LM\) y \(LR\) en términos de \(R^2_{NR}\) y \(R^2_R\)

ImportanteObjetivo

Para \(H_0:\mathbf{R}\boldsymbol\beta=\mathbf{r}\) contra \(H_1:\mathbf{R}\boldsymbol\beta\neq\mathbf{r}\): (i) pasar \(F=\dfrac{(\mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e})/q}{\mathbf{e}'\mathbf{e}/(n-k)}\) a \(R^2_{NR}\) y \(R^2_R\); (ii) explicar por qué el \(F\) de significancia global es \(\dfrac{R^2/(k-1)}{(1-R^2)/(n-k)}\); (iii) pasar \(W=\dfrac{n(\mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e})}{\mathbf{e}'\mathbf{e}}\), \(LM=\dfrac{n(\mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e})}{\mathbf{e}_*'\mathbf{e}_*}\) y \(LR=n\ln\Big(\dfrac{\mathbf{e}_*'\mathbf{e}_*}{\mathbf{e}'\mathbf{e}}\Big)\) a \(R^2_{NR}\) y \(R^2_R\).

TipPasos generales

1. Exprese las dos sumas de cuadrados con \(R^2\) y \(TSS\) atendiendo \((\ast)\).
2. Sustituya en \(F\) y simplifique (\(TSS\) se cancela).
3. Para el \(F\) global, use que el modelo restringido solo tiene intercepto atendiendo \((\ast\ast)\).
4. Sustituya en \(W\), \(LM\) y \(LR\).

Paso 1. Atendiendo \((\ast)\), con \(TSS=\sum(y_t-\bar y)^2\):

\[ \mathbf{e}'\mathbf{e}=TSS\,(1-R^2_{NR}),\qquad \mathbf{e}_*'\mathbf{e}_*=TSS\,(1-R^2_R),\qquad \mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e}=TSS\,(R^2_{NR}-R^2_R) \]

Paso 2 (i).

\[ F=\frac{TSS\,(R^2_{NR}-R^2_R)/q}{TSS\,(1-R^2_{NR})/(n-k)} \quad\Longrightarrow\quad \boxed{\ F=\frac{(R^2_{NR}-R^2_R)/q}{(1-R^2_{NR})/(n-k)}\ } \]

Paso 3 (ii). En la prueba de significancia global, \(H_0:\beta_2=\cdots=\beta_k=0\) (\(q=k-1\)). Atendiendo \((\ast\ast)\), \(R^2_R=0\). Llamando \(R^2=R^2_{NR}\):

\[ \boxed{\ F=\frac{R^2/(k-1)}{(1-R^2)/(n-k)}\ } \]

Paso 4 (iii).

\[ W=\frac{n\,TSS\,(R^2_{NR}-R^2_R)}{TSS\,(1-R^2_{NR})}=\boxed{\ \frac{n\,(R^2_{NR}-R^2_R)}{1-R^2_{NR}}\ },\qquad LM=\frac{n\,TSS\,(R^2_{NR}-R^2_R)}{TSS\,(1-R^2_R)}=\boxed{\ \frac{n\,(R^2_{NR}-R^2_R)}{1-R^2_R}\ } \]

\[ LR=n\ln\Big(\frac{TSS\,(1-R^2_R)}{TSS\,(1-R^2_{NR})}\Big)=\boxed{\ n\ln\Big(\frac{1-R^2_R}{1-R^2_{NR}}\Big)\ } \]

NotaDemostración \((\ast)\): la \(TSS\) es común

Ambas regresiones tienen la misma variable dependiente \(\mathbf{y}\), así que comparten \(TSS\). Por definición, \(R^2=1-RSS/TSS\), de donde \(RSS=TSS\,(1-R^2)\) para el modelo no restringido (\(RSS=\mathbf{e}'\mathbf{e}\)) y para el restringido (\(RSS=\mathbf{e}_*'\mathbf{e}_*\)).

NotaDemostración \((\ast\ast)\): en el \(F\) global, \(R^2_R=0\)

El modelo restringido es solo \(y_t=\beta_1+u_t\), cuyo estimador MCO es \(b_{*1}=\bar y\). Su suma de cuadrados es \(\mathbf{e}_*'\mathbf{e}_*=\sum(y_t-\bar y)^2=TSS\), luego \(R^2_R=1-TSS/TSS=0\).

Punto 16 (misceláneo, no evaluable)

ImportanteObjetivo

Con \(\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I})\) y la reproductividad normal (\(\mathbf{X}\sim N(\boldsymbol\mu,\boldsymbol\Sigma)\Rightarrow\mathbf{F}\mathbf{X}+\mathbf{C}\sim N(\mathbf{F}\boldsymbol\mu+\mathbf{C},\mathbf{F}\boldsymbol\Sigma\mathbf{F}')\)), probar: (a) \(\mathbf{b}\sim N\big(\boldsymbol\beta,\sigma^2(\mathbf{X}'\mathbf{X})^{-1}\big)\); (b) bajo \(H_0\), \((\mathbf{R}\mathbf{b}-\mathbf{r})'\big[\sigma^2\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})\sim\chi^2_q\); (c) con \(\sigma^2\) reemplazada por \(\hat\sigma^2\), \(W\xrightarrow{d}\chi^2_q\).

TipPasos generales

1. 1. \(\mathbf{b}=\boldsymbol\beta+\mathbf{F}\mathbf{u}\), con \(\mathbf{F}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\); aplique la reproductividad.
2. 2. Aplique la reproductividad a \(\mathbf{R}\mathbf{b}-\mathbf{r}\) y use \((\ast)\) para obtener la \(\chi^2_q\).
3. 3. Sustituya \(\sigma^2\) por \(\hat\sigma^2\) y use que \(\hat\sigma^2\xrightarrow{p}\sigma^2\) (Slutsky).

(a) \(\mathbf{b}=\boldsymbol\beta+(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{u}\). Con \(\mathbf{F}=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\), \(\mathbf{C}=\boldsymbol\beta\) y \(\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I})\):

\[ \mathbf{b}\sim N\big(\boldsymbol\beta,\ \sigma^2\mathbf{F}\mathbf{F}'\big),\qquad \mathbf{F}\mathbf{F}'=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}=(\mathbf{X}'\mathbf{X})^{-1} \ \Longrightarrow\ \boxed{\ \mathbf{b}\sim N\big(\boldsymbol\beta,\ \sigma^2(\mathbf{X}'\mathbf{X})^{-1}\big)\ } \]

(b) Con \(\mathbf{F}=\mathbf{R}\) y \(\mathbf{C}=-\mathbf{r}\): \(\mathbf{R}\mathbf{b}-\mathbf{r}\sim N\big(\mathbf{R}\boldsymbol\beta-\mathbf{r},\ \sigma^2\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big)\). Bajo \(H_0\) la media es \(\mathbf{0}\). Sea \(\mathbf{V}=\sigma^2\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\):

\[ \mathbf{R}\mathbf{b}-\mathbf{r}\sim N(\mathbf{0},\mathbf{V}) \quad\Longrightarrow\quad \boxed{\ (\mathbf{R}\mathbf{b}-\mathbf{r})'\mathbf{V}^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})\sim\chi^2_q\ }\qquad(\ast) \]

(c) Por el punto 14, \((\mathbf{R}\mathbf{b}-\mathbf{r})'\big[\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})=\mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e}\). Con \(\hat\sigma^2=\mathbf{e}'\mathbf{e}/n\):

\[ W=\frac{(\mathbf{R}\mathbf{b}-\mathbf{r})'\big[\mathbf{R}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{R}'\big]^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})}{\hat\sigma^2} =\frac{\sigma^2}{\hat\sigma^2}\cdot\underbrace{(\mathbf{R}\mathbf{b}-\mathbf{r})'\mathbf{V}^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})}_{\sim\ \chi^2_q} \]

Como \(\hat\sigma^2\xrightarrow{p}\sigma^2\), entonces \(\sigma^2/\hat\sigma^2\xrightarrow{p}1\) y, por Slutsky,

\[ \boxed{\ W\xrightarrow{d}\chi^2_q\quad(n\to\infty)\ } \]

(Este \(W\) es el mismo \(W=n(\mathbf{e}_*'\mathbf{e}_*-\mathbf{e}'\mathbf{e})/\mathbf{e}'\mathbf{e}\) del punto 15.)

NotaDemostración \((\ast)\): la forma cuadrática es \(\chi^2_q\)

\(\mathbf{V}\) es simétrica y definida positiva, así que admite la factorización \(\mathbf{V}=\mathbf{P}\mathbf{P}'\) (Cholesky). Por reproductividad con \(\mathbf{F}=\mathbf{P}^{-1}\),

\[ \mathbf{w}=\mathbf{P}^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})\sim N\big(\mathbf{0},\ \mathbf{P}^{-1}\mathbf{V}(\mathbf{P}^{-1})'\big)=N(\mathbf{0},\mathbf{I}_q) \]

Entonces \(\mathbf{w}'\mathbf{w}=(\mathbf{R}\mathbf{b}-\mathbf{r})'(\mathbf{P}^{-1})'\mathbf{P}^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})=(\mathbf{R}\mathbf{b}-\mathbf{r})'\mathbf{V}^{-1}(\mathbf{R}\mathbf{b}-\mathbf{r})=\sum_{i=1}^qw_i^2\), suma de \(q\) normales estándar independientes al cuadrado: \(\chi^2_q\). (En la notación del taller, \(\mathbf{X}'\mathbf{A}\mathbf{X}\sim\chi^2_q\) con \(\mathbf{A}=\mathbf{I}_q\), que es idempotente de rango \(q\).)