Si X es un vector aleatorio con matriz de covarianzas \(\sum\), demuestre que el vector aleatorio Y, definidio mediante la combinación lineal Y = AX + b, tiene matriz de covarianzas A\(\sum\)\(A^{'}\)
\[ \begin{aligned} Cov(X) &= \sum \\ Y &= AX + b \\ E(Y) &= E(AX+b) = AE(X) + b = A\mu + b \end{aligned} \]
\[ \begin{aligned} Cov(Y) &= E[(Y-E(Y))(Y-E(Y))^{'}] \\ &= E[(AX+b-A\mu - b)(AX+b-A\mu - b)^{'}]\\ &= E[A(X - \mu)(X-\mu)^{'}A^{'}]\\ &= AE[(X - \mu)(X-\mu)^{'}A^{'}]\\ &= AE[(X - \mu)(X-\mu)^{'}]A^{'}\\ &= A\sum A^{'} \end{aligned} \]
Y con A matriz de constantes de tamaño (q \(\times\) p) y b vector(q \(\times\) 1) también de constantes.
Suponga que \(X_{1}\) y \(X_{2}\) son dos variables aleatorias conjuntamente distribuidas con var(\(X_{1}\)) = var(\(X_{2}\)) = \(\sigma^{2}\) y cor(\(X_{1}\), \(X_{2}\)) = \(\rho\). Sean U = \(X_{1}\) + \(X_{2}\) y V = \(X_{1}\) - \(X_{2}\)
a. Halle var(U) y var(V). Bajo que condiciones las varianzas son cero.
Ya que se demostró en un ejercicio del mismo taller que Cov(AX + b) = A\(\sum\)\(A^{'}\), se tiene que:
\[ Cov(U) = Cov(X_{1}+X_{2}) = Cov(\begin{bmatrix} 1 & 1\\ \end{bmatrix} \begin{bmatrix} X_{1} \\ X_{2} \\ \end{bmatrix}) \\ \] \[ = \begin{bmatrix} 1 & 1\\ \end{bmatrix} \begin{bmatrix} \sigma^{2} & \rho \\ \rho & \sigma^{2}\\ \end{bmatrix} \begin{bmatrix} 1 \\ 1 \\ \end{bmatrix} \\ \]
\[ = 2\sigma^{2} + 2\rho \\ \]
\[ Cov(V) = Cov(X_{1}-X_{2}) = Cov(\begin{bmatrix} 1 & -1\\ \end{bmatrix} \begin{bmatrix} X_{1} \\ X_{2} \\ \end{bmatrix}) \\ \]
\[ = \begin{bmatrix} 1 & -1\\ \end{bmatrix} \begin{bmatrix} \sigma^{2} & \rho \\ \rho & \sigma^{2}\\ \end{bmatrix} \begin{bmatrix} 1 \\ -1 \\ \end{bmatrix} \\ \]
\[ = 2\sigma^{2} - 2\rho \]
Ahora, las condiciones para que la Var(U) = 0:
\[ Cov(U) = Cov(X_{1} + X_{2}) \] \[ Cov(U) = 2\sigma^{2} - 2\rho = 0 \]
\[ \sigma^{2} = -\rho \]
Además, las condiciones para que la Var(V) = 0:
\[ Cov(U) = Cov(X_{1} - X_{2}) \]
\[ Cov(U) = 2\sigma^{2} - 2\rho = 0 \]
\[ \sigma^{2} = \rho \]
b. Denuestre que U y V son no correlacionadas.
\[ Cov(U,V) = E[(U-E(U))(V-E(V))] \]
\[ = E[(X_{1}+X_{2}-\mu_{1}- \mu_{2})(X_{1}-X_{2}-\mu_{1}- \mu_{2})] \]
\[ = E[(X_{1}^{2}-X_{2}^{2}-X_{1}\mu_{1}+X_{1}\mu_{2}-X_{2}\mu_{1}+X_{2}\mu_{2}-X_{1}\mu_{1}+X_{1}\mu_{2}-X_{2}\mu_{1}+X_{2}\mu_{2} + \mu_{1}^{2}-\mu_{1} \mu_2 + -\mu_{1} \mu_2 - \mu_{2}^{2} )] \]
\[ = E[X_{1}^{2}] - E[X_{2}^{2}] - 2\mu_1 E[X_{1}] + 2 \mu_2 E[X_{2}] + \mu_1^{2} - \mu_2^{2} \]
\[ = \sigma^{2} + \mu_1^{2} - \sigma^{2} - \mu_2^{2} -2 \mu_1^{2} + 2\mu_2^{2} + \mu_1^{2} - \mu_2^{2} \]
\[ = 0 \]
A partir de la definicion dada
\[ \sum = Cov \left(X\right)=E \left\lbrace \left(X-\mu\right)\left(X-\mu\right)' \right\rbrace=\left(\begin{array}{cccc}\sigma_{1}^{2} & \sigma_{12} & \cdots & \sigma_{1p} \\\sigma_{21} & \sigma_{2}^{2} & \cdots & \sigma_{2p} \\\vdots & \vdots & \ddots & \vdots \\\sigma_{p1}& \sigma_{p2} & \cdots & \sigma_{p}^{2}\end{array}\right) \]
, desarrolle el producto y aplique las propiedades del valor esperado para obtener la expresión alterna para la matriz de covarianzas dada por la ecuación, \(\sum = Cov \left(X\right)=E\left(XX'\right)-\mu\mu'\)
\[ \begin{aligned} \sum &= Cov \left(X\right)=E \left\lbrace \left(X-\mu\right)\left(X-\mu\right)' \right\rbrace\\ &=E\left\lbrace \left(X-\mu\right)\left(X'-\mu'\right) \right\rbrace\\ &=E\left\lbrace \left(X-\mu\right)X'-\left(X-\mu\right)\mu' \right\rbrace\\ &=E \left\lbrace XX'-\mu X'-X\mu' +\mu \mu' \right\rbrace \\ &=E\left(XX'\right)-\mu E\left(X'\right)-\mu'E\left(X\right)+\mu \mu'\\ &=E\left(XX'\right)-\mu \mu' -\mu' \mu +\mu \mu'\\ &=E\left(XX'\right)-\mu \mu' \end{aligned} \]
Demuestre que toda matriz de covarianzas de un vector aleatorio continuo es definida positiva, \(| \sum| > 0\).
Ayuda: La varianza de una variable unidimensional siempre es positiva, en nuestro caso para datos multivariantes la situación es similar. Esto es, la matriz de varianza y cavarianza Σ es definida positiva. Es decir para todo vector en \(Y \in R^{p}\) se satisface \(Y' \sum Y >0\)
Sea w cualquier vector de dimension p, definamos la variable unidimensional \(v_{i}=w'\left(x_{i}-\bar{x}\right)\). Note que el vector \(\left(x_{i}-\bar{x}\right)\) es la i-esima fila de la matriz de datos en que a cada componente se le resta la media de cada columna de la matriz de datos \(\mathbb{X}\).
Resolucion:
Sea w un vector cualquiera de dimension p, definamos la variable unidimensional
\[ v_i = w^{'}(x_i - \bar{x}) \]
Ahora notemos que el vector \((x_i - \bar{x})\) es la i-esima fila de la matriz de datos en que a cada componente se le resta la media de cada columna de la matriz \(\mathbb{X}\), entonces la media de los vectores \(v_{i}\) es:
\[ \bar{v}=\frac{1}{n}\sum_{i=1}^{n}v_{i} = \frac{1}{n}\sum_{i=1}^{n}w^{'}(x_i - \bar{x}) \]
\[ = \frac{w^{'}}{n} \sum_{i=1}^{n} (x_i - \bar{x}) = \frac{w^{'}}{n}\lbrace \sum_{i=1}^{n}x_i - \sum_{i=1}^{n}\bar{x}\rbrace \]
\[ = \frac{w^{'}}{n} [n\bar{x} - n\bar{x}] \]
\[ \bar{v} = 0 \]
\[ Var(v) = E\lbrace(v-E(v))(v-E(v)^{'})\rbrace \]
\[ = E[vv^{'}] = E[w^{'}(x_i - \bar{x})((x_i - \bar{x})^{'}w)] \]
\[ = w^{'}E[(x_i - \bar{x})((x_i - \bar{x})^{'}w)] \]
\[ = w^{'}E[(x_i - \bar{x})((x_i - \bar{x})^{'})]w \]
\[ = w^{'}\sum w > 0 \]
Y ya que w es un vector cualquiera, entonces se concluye que \(\sum\) es definida positiva. Además, suponga que \(\lambda_i\), es un autovalor de \(\sum\), es decir que existe un \(w_i\), tal que \(\sum w_i = \lambda_i w_i\), entonces \(w_i^{'}\sum w_i = w_i^{'}\lambda_i w_i > 0\) y esto significa que \(\lambda_i > 0\). Quiere decir que todos los autovalores de \(\sum\) son no negativos