Ley de los grandes números

Fuerte

Casi siepre

Ley Fuerte de los Grandes Números (LFGN)

Teorema

Sea \(\{X_n\}_{n\ge1}\) una sucesión de variables aleatorias independientes e idénticamente distribuidas (i.i.d.) tales que

\[ \mathbb{E}[X_1] = \mu, \qquad \mathbb{E}[X_1^2] < \infty. \]

Entonces

\[ \frac{1}{n}\sum_{k=1}^n X_k \xrightarrow{\text{c.s.}} \mu. \]

Demostración (usando expansión de Taylor y Borel–Cantelli)

1. Centramos las variables

Definimos

\[ Y_k = X_k - \mu. \]

Entonces

\[ \mathbb{E}[Y_k] = 0, \qquad \mathbb{E}[Y_k^2] = \sigma^2 < \infty. \]

Sea

\[ S_n = \sum_{k=1}^n Y_k. \]

Queremos probar:

\[ \frac{S_n}{n} \to 0 \quad \text{c.s.} \]

2. Función generadora de momentos

Definimos

\[ \varphi(t) = \mathbb{E}(e^{tY_1}). \]

Expansión de Taylor de \(e^{tY_1}\) alrededor de \(t=0\):

\[ e^{tY_1} = 1 + tY_1 + \frac{t^2Y_1^2}{2} + o(t^2). \]

Tomando esperanza:

\[ \varphi(t) = 1 + \frac{t^2}{2}\mathbb{E}(Y_1^2) + o(t^2). \]

Como \(\mathbb{E}(Y_1)=0\), desaparece el término lineal.

Por tanto, existe \(C>0\) tal que para \(t\) pequeño:

\[ \varphi(t) \le e^{Ct^2}. \]

3. Independencia

Por independencia:

\[ \mathbb{E}(e^{tS_n}) = (\varphi(t))^n \le e^{Cn t^2}. \]

4. Desigualdad exponencial

Por la desigualdad de Markov:

\[ \mathbb{P}(S_n \ge n\varepsilon) = \mathbb{P}(e^{tS_n} \ge e^{tn\varepsilon}) \le e^{-tn\varepsilon} \mathbb{E}(e^{tS_n}) \le e^{-tn\varepsilon + Cn t^2}. \]

Elegimos

\[ t = \frac{\varepsilon}{2C}. \]

Entonces

\[ \mathbb{P}\!\left(\frac{S_n}{n} \ge \varepsilon\right) \le e^{-c n} \]

para alguna constante \(c>0\).

Análogamente:

\[ \mathbb{P}\!\left(\frac{S_n}{n} \le -\varepsilon\right) \le e^{-c n}. \]

5. Aplicación del Lema de Borel–Cantelli

La serie

\[ \sum_{n=1}^{\infty} e^{-cn} \]

converge.

Por el Lema de Borel–Cantelli:

\[ \frac{S_n}{n} \ge \varepsilon \]

ocurre solo un número finito de veces casi seguramente.

Lo mismo para el caso negativo.

Por tanto:

\[ \frac{S_n}{n} \to 0 \quad \text{casi seguramente}. \]

Finalmente,

\[ \frac{1}{n}\sum_{k=1}^n X_k = \mu + \frac{S_n}{n} \xrightarrow{\text{c.s.}} \mu. \]

\[ \boxed{ \frac{1}{n}\sum_{k=1}^n X_k \xrightarrow{\text{c.s.}} \mu } \]

El uso del desarrollo de Taylor permite obtener una cota exponencial para la función generadora de momentos, lo que conduce a la convergencia casi segura mediante el Lema de Borel–Cantelli. # Debil ## Probabilidad # Ley Débil de los Grandes Números (vía Chebyshev)

Supuestos

Sea \(\{X_i\}_{i=1}^n\) una sucesión de variables aleatorias i.i.d. tales que

\[ \mathbb{E}[X_i] = \mu, \qquad \mathrm{Var}(X_i) = \sigma^2 < \infty. \]

Definimos la media muestral

\[ \overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i. \]

1. La media muestral es insesgada

Calculamos la esperanza:

\[ \mathbb{E}[\overline{X}_n] = \mathbb{E}\!\left[\frac{1}{n}\sum_{i=1}^n X_i\right]. \]

Por linealidad de la esperanza:

\[ = \frac{1}{n}\sum_{i=1}^n \mathbb{E}[X_i]. \]

Como todas tienen la misma esperanza:

\[ = \frac{1}{n}\sum_{i=1}^n \mu = \frac{n\mu}{n} = \mu. \]

\[ \boxed{ \mathbb{E}[\overline{X}_n] = \mu } \]

Por lo tanto, \(\overline{X}_n\) es un estimador insesgado de \(\mu\).

2. Varianza de la media muestral

Usamos:

\[ \mathrm{Var}(aX) = a^2\mathrm{Var}(X). \]

Entonces:

\[ \mathrm{Var}(\overline{X}_n) = \mathrm{Var}\!\left(\frac{1}{n}\sum_{i=1}^n X_i\right). \]

Sacamos el factor constante:

\[ = \frac{1}{n^2} \mathrm{Var}\!\left(\sum_{i=1}^n X_i\right). \]

Como las variables son independientes:

\[ \mathrm{Var}\!\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n \mathrm{Var}(X_i). \]

Entonces:

\[ = \frac{1}{n^2} \sum_{i=1}^n \sigma^2 = \frac{1}{n^2}(n\sigma^2) = \frac{\sigma^2}{n}. \]

\[ \boxed{ \mathrm{Var}(\overline{X}_n) = \frac{\sigma^2}{n} } \]

3. Ley Débil de los Grandes Números (Chebyshev)

Usamos la desigualdad de Chebyshev:

\[ \mathbb{P}(|\overline{X}_n - \mu| \ge \varepsilon) \le \frac{\mathrm{Var}(\overline{X}_n)}{\varepsilon^2}. \]

Sustituyendo:

\[ = \frac{\sigma^2/n}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2}. \]

Cuando \(n \to \infty\):

\[ \frac{\sigma^2}{n\varepsilon^2} \to 0. \]

Por lo tanto:

\[ \overline{X}_n \xrightarrow{P} \mu. \]

\[ \boxed{ \overline{X}_n \text{ converge en probabilidad a } \mu } \]

set.seed(123)

# Número de simulaciones
n <- 10000

# Generamos variables aleatorias (ejemplo: distribución uniforme(0,1))
X <- runif(n, min = 0, max = 1)

# Calculamos la media acumulada
media_muestral <- cumsum(X) / (1:n)

# Valor esperado teórico
valor_esperado <- 0.5

# Graficamos
plot(media_muestral, type="l",
     main="Ley de los Grandes Números",
     xlab="n",
     ylab="Media muestral")

abline(h = valor_esperado, col="red", lwd=2)

legend("topright",
       legend=c("Media muestral", "Valor esperado"),
       col=c("black","red"),
       lty=1)

Binomial a Poisson

Teorema (Límite de Poisson)

Sea \(X_n \sim \text{Binomial}(n,p_n)\) tal que

\[ n p_n \to \lambda > 0 \]

cuando \(n \to \infty\).

Entonces, para todo \(k\) fijo,

\[ \mathbb{P}(X_n = k) \to \frac{\lambda^k e^{-\lambda}}{k!}. \]

Es decir,

\[ \text{Binomial}(n,p_n) \Rightarrow \text{Poisson}(\lambda). \]

Demostración directa

La función de probabilidad de la Binomial es

\[ \mathbb{P}(X_n = k) = \binom{n}{k} p_n^k (1-p_n)^{n-k}. \]

Paso 1: Reescribimos el coeficiente binomial

\[ \binom{n}{k} = \frac{n(n-1)\cdots(n-k+1)}{k!}. \]

Entonces

\[ \mathbb{P}(X_n = k) = \frac{n(n-1)\cdots(n-k+1)}{k!} p_n^k (1-p_n)^{n-k}. \]

Paso 2: Sustituimos \(p_n = \frac{\lambda}{n}\)

Como \(np_n \to \lambda\), podemos escribir

\[ p_n = \frac{\lambda}{n}. \]

Entonces

\[ p_n^k = \left(\frac{\lambda}{n}\right)^k. \]

Y

\[ n(n-1)\cdots(n-k+1) = n^k \left(1 - \frac{1}{n}\right) \left(1 - \frac{2}{n}\right) \cdots \left(1 - \frac{k-1}{n}\right). \]

Por tanto,

\[ \frac{n(n-1)\cdots(n-k+1)}{n^k} \to 1 \quad \text{cuando } n\to\infty. \]

Paso 3: Límite del término exponencial

Consideramos

\[ (1-p_n)^n = \left(1 - \frac{\lambda}{n}\right)^n. \]

Sabemos que

\[ \left(1 - \frac{\lambda}{n}\right)^n \to e^{-\lambda}. \]

Además,

\[ (1-p_n)^{-k} \to 1. \]

Entonces

\[ (1-p_n)^{n-k} \to e^{-\lambda}. \]

Paso 4: Límite final

Uniendo todo:

\[ \mathbb{P}(X_n = k) = \frac{n(n-1)\cdots(n-k+1)}{k!} \left(\frac{\lambda}{n}\right)^k (1-p_n)^{n-k}. \]

Tomando límite:

  • El producto racional → 1
  • \(\left(\frac{\lambda}{n}\right)^k n^k \to \lambda^k\)
  • \((1-p_n)^{n-k} \to e^{-\lambda}\)

Por lo tanto,

\[ \lim_{n\to\infty} \mathbb{P}(X_n = k) = \frac{\lambda^k e^{-\lambda}}{k!}. \]

\[ \boxed{ \text{Binomial}(n,\tfrac{\lambda}{n}) \Rightarrow \text{Poisson}(\lambda) } \] # Teorema (Límite de Poisson)

Sea \(X_n \sim \text{Binomial}(n,p_n)\) tal que

\[ n p_n \to \lambda > 0 \]

cuando \(n \to \infty\).

Entonces

\[ X_n \Rightarrow \text{Poisson}(\lambda). \]

Demostración usando la función generadora de momentos

1. MGF de la Binomial

Si \(X_n \sim \text{Binomial}(n,p_n)\), su función generadora de momentos es:

\[ M_{X_n}(t) = \mathbb{E}(e^{tX_n}) = (1 - p_n + p_n e^t)^n. \]

2. Sustituimos \(p_n = \frac{\lambda}{n}\)

Como \(np_n \to \lambda\), tomamos

\[ p_n = \frac{\lambda}{n}. \]

Entonces:

\[ M_{X_n}(t) = \left( 1 - \frac{\lambda}{n} + \frac{\lambda}{n} e^t \right)^n. \]

Factorizamos:

\[ = \left( 1 + \frac{\lambda}{n}(e^t - 1) \right)^n. \]

3. Límite cuando \(n \to \infty\)

Usamos el límite fundamental:

\[ \left(1 + \frac{x}{n}\right)^n \to e^x. \]

Aquí

\[ x = \lambda (e^t - 1). \]

Por tanto,

\[ \lim_{n\to\infty} M_{X_n}(t) = \exp\big(\lambda (e^t - 1)\big). \]

4. Identificación del límite

Sabemos que la MGF de una variable \(Y \sim \text{Poisson}(\lambda)\) es:

\[ M_Y(t) = \exp\big(\lambda (e^t - 1)\big). \]

Por lo tanto,

\[ M_{X_n}(t) \to M_Y(t). \] Como la función generadora de momentos determina de manera única la distribución en un entorno de \(t=0\), se concluye que

\[ X_n \Rightarrow \text{Poisson}(\lambda). \]

\[ \boxed{ \text{Binomial}(n,p_n) \Rightarrow \text{Poisson}(\lambda) } \]

Teorema de límite central

Teorema Central del Límite (TCL)

Sea \(\{X_i\}_{i\ge1}\) una sucesión de variables aleatorias i.i.d. tales que

\[ \mathbb{E}[X_i] = \mu, \qquad \mathrm{Var}(X_i) = \sigma^2 < \infty. \]

Definimos la suma

\[ S_n = \sum_{i=1}^n X_i. \]

Entonces

\[ \frac{S_n - n\mu}{\sigma \sqrt{n}} \Rightarrow \mathcal{N}(0,1). \]

Demostración usando Función Generadora de Momentos

1. Variable centrada y estandarizada

Definimos

\[ Z_n = \frac{S_n - n\mu}{\sigma \sqrt{n}}. \]

Queremos probar que su MGF converge a la de una normal estándar.

2. MGF de la variable centrada

Sea

\[ Y_i = \frac{X_i - \mu}{\sigma}. \]

Entonces:

\[ \mathbb{E}[Y_i] = 0, \qquad \mathrm{Var}(Y_i) = 1. \]

Y

\[ Z_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n Y_i. \]

3. MGF de \(Z_n\)

Por independencia,

\[ M_{Z_n}(t) = \mathbb{E}(e^{tZ_n}) = \prod_{i=1}^n \mathbb{E} \left( e^{tY_i/\sqrt{n}} \right). \]

Como son idénticamente distribuidas:

\[ = \left[ M_Y\!\left(\frac{t}{\sqrt{n}}\right) \right]^n. \]

4. Expansión de Taylor

Expansión de la MGF alrededor de 0:

\[ M_Y(u) = 1 + \frac{u^2}{2} + o(u^2), \]

porque

\[ \mathbb{E}[Y]=0, \qquad \mathbb{E}[Y^2]=1. \]

Sustituyendo \(u = \frac{t}{\sqrt{n}}\):

\[ M_Y\!\left(\frac{t}{\sqrt{n}}\right) = 1 + \frac{t^2}{2n} + o\!\left(\frac{1}{n}\right). \]

5. Elevamos a la potencia \(n\)

Entonces:

\[ M_{Z_n}(t) = \left( 1 + \frac{t^2}{2n} + o\!\left(\frac{1}{n}\right) \right)^n. \]

Usando el límite clásico

\[ \left(1+\frac{x}{n}\right)^n \to e^x, \]

obtenemos:

\[ M_{Z_n}(t) \to e^{t^2/2}. \]

6. Identificación del límite

La MGF de una normal estándar es:

\[ M(t) = e^{t^2/2}. \]

Por lo tanto,

\[ Z_n \Rightarrow \mathcal{N}(0,1). \]

\[ \boxed{ \frac{S_n - n\mu}{\sigma\sqrt{n}} \Rightarrow \mathcal{N}(0,1) } \] La convergencia de las funciones generadoras de momentos implica convergencia en distribución, demostrando el Teorema Central del Límite.

Teorema Central del Límite (TCL)

Sea \(\{X_i\}_{i\ge1}\) una sucesión de variables aleatorias i.i.d. tales que

\[ \mathbb{E}[X_i] = \mu, \qquad \mathrm{Var}(X_i) = \sigma^2 < \infty. \]

Definimos

\[ S_n = \sum_{i=1}^n X_i. \]

Entonces

\[ \frac{S_n - n\mu}{\sigma\sqrt{n}} \Rightarrow \mathcal{N}(0,1). \]

Demostración usando Función Característica

1. Variable centrada y normalizada

Definimos

\[ Y_i = \frac{X_i - \mu}{\sigma}. \]

Entonces

\[ \mathbb{E}[Y_i] = 0, \qquad \mathrm{Var}(Y_i) = 1. \]

Sea

\[ Z_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n Y_i. \]

2. Función característica de \(Z_n\)

La función característica de \(Z_n\) es

\[ \varphi_{Z_n}(t) = \mathbb{E}\left(e^{itZ_n}\right). \]

Por independencia,

\[ \varphi_{Z_n}(t) = \prod_{i=1}^n \varphi_Y\!\left(\frac{t}{\sqrt{n}}\right). \]

Como son idénticamente distribuidas:

\[ = \left[ \varphi_Y\!\left(\frac{t}{\sqrt{n}}\right) \right]^n. \]

3. Expansión de Taylor de la función característica

Recordemos que para una variable con media 0 y varianza 1,

\[ \varphi_Y(u) = 1 - \frac{u^2}{2} + o(u^2), \quad u \to 0. \]

Esto se obtiene expandiendo

\[ e^{iuY} = 1 + iuY - \frac{u^2 Y^2}{2} + o(u^2). \]

Tomando esperanza:

  • \(\mathbb{E}[Y]=0\)
  • \(\mathbb{E}[Y^2]=1\)

Entonces:

\[ \varphi_Y(u) = 1 - \frac{u^2}{2} + o(u^2). \]

4. Sustituimos \(u = \frac{t}{\sqrt{n}}\)

\[ \varphi_Y\!\left(\frac{t}{\sqrt{n}}\right) = 1 - \frac{t^2}{2n} + o\!\left(\frac{1}{n}\right). \]

Por tanto,

\[ \varphi_{Z_n}(t) = \left( 1 - \frac{t^2}{2n} + o\!\left(\frac{1}{n}\right) \right)^n. \]

5. Límite cuando \(n \to \infty\)

Usando el límite clásico:

\[ \left(1+\frac{x}{n}\right)^n \to e^x, \]

obtenemos

\[ \varphi_{Z_n}(t) \to e^{-t^2/2}. \]

6. Identificación del límite

La función característica de una normal estándar es

\[ \varphi(t) = e^{-t^2/2}. \]

Por el Teorema de Continuidad de Lévy, si las funciones características convergen puntualmente a una función característica, entonces hay convergencia en distribución.

Por lo tanto,

\[ Z_n \Rightarrow \mathcal{N}(0,1). \]

\[ \boxed{ \frac{S_n - n\mu}{\sigma\sqrt{n}} \Rightarrow \mathcal{N}(0,1) } \] # Teorema del límite central # Teorema del Límite Central (Enunciado Matemático)

Sea \(\{X_i\}_{i=1}^\infty\) una sucesión de variables aleatorias independientes e idénticamente distribuidas (i.i.d.) tales que

\[ \mathbb{E}(X_i) = \mu \quad \text{y} \quad \mathrm{Var}(X_i) = \sigma^2 < \infty. \]

Definimos la media muestral

\[ \overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i. \]

Entonces,

\[ \sqrt{n} \left( \overline{X}_n - \mu \right) \xrightarrow{d} \mathcal{N}(0,\sigma^2). \]

Equivalentemente,

\[ \frac{ \overline{X}_n - \mu }{ \sigma/\sqrt{n} } \xrightarrow{d} \mathcal{N}(0,1). \]

Interpretación

Para \(n\) grande,

\[ \overline{X}_n \approx \mathcal{N} \left( \mu, \frac{\sigma^2}{n} \right). \]

Esto significa que la distribución de la media muestral se aproxima a una normal, independientemente de la distribución original de \(X_i\), siempre que tenga varianza finita.

library(ggplot2)
## Warning: package 'ggplot2' was built under R version 4.4.3
set.seed(123)

n <- 40
m <- 10000

shape <- 2
scale <- 1

medias <- replicate(m, mean(rweibull(n, shape = shape, scale = scale)))

df <- data.frame(medias = medias)

mu <- scale * gamma(1 + 1/shape)
varianza <- scale^2 * (gamma(1 + 2/shape) - (gamma(1 + 1/shape))^2)
sd_media <- sqrt(varianza / n)

ggplot(df, aes(x = medias)) +
  geom_histogram(aes(y = ..density..), bins = 40,
                 fill = "lightblue", color = "white") +
  stat_function(fun = dnorm,
                args = list(mean = mu, sd = sd_media),
                color = "red", linewidth = 1.2) +
  labs(title = "TLC con Distribución Weibull",
       subtitle = paste("n =", n, "| shape =", shape, "| scale =", scale),
       x = "Medias muestrales",
       y = "Densidad") +
  theme_minimal(base_size = 14)
## Warning: The dot-dot notation (`..density..`) was deprecated in ggplot2 3.4.0.
## ℹ Please use `after_stat(density)` instead.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.

library(ggplot2)

x <- seq(0, 4, length.out = 500)

df <- rbind(
  data.frame(x = x, y = dweibull(x, shape = 0.8, scale = 1), grupo = "shape=0.8, scale=1"),
  data.frame(x = x, y = dweibull(x, shape = 1.5, scale = 1), grupo = "shape=1.5, scale=1"),
  data.frame(x = x, y = dweibull(x, shape = 2.5, scale = 1), grupo = "shape=2.5, scale=1"),
  data.frame(x = x, y = dweibull(x, shape = 2, scale = 2), grupo = "shape=2, scale=2")
)

ggplot(df, aes(x = x, y = y, color = grupo)) +
  geom_line(linewidth = 1.2) +
  labs(
    title = "Distribuciones Weibull con Diferentes Parámetros",
    x = "x",
    y = "Densidad",
    color = "Parámetros"
  ) +
  theme_minimal(base_size = 14)

Normal multivariada

Distribución Normal Multivariada

1. Definición

Un vector aleatorio

\[ X = (X_1, X_2, \dots, X_d)^T \in \mathbb{R}^d \]

se dice que tiene distribución normal multivariada con vector de medias \(\mu\) y matriz de covarianza \(\Sigma\) si su función de densidad es

\[ f_X(x) = \frac{1}{(2\pi)^{d/2} |\Sigma|^{1/2}} \exp\left( -\frac{1}{2} (x-\mu)^T \Sigma^{-1} (x-\mu) \right), \]

donde:

  • \(\mu \in \mathbb{R}^d\) es el vector de medias
  • \(\Sigma \in \mathbb{R}^{d \times d}\) es la matriz de varianzas y covarianzas
  • \(|\Sigma|\) es el determinante
  • \(\Sigma\) es simétrica y definida positiva

Se denota:

\[ X \sim \mathcal{N}_d(\mu, \Sigma). \]

2. Vector de medias

El vector de medias es

\[ \mu = \mathbb{E}[X] = \begin{pmatrix} \mathbb{E}[X_1] \\ \mathbb{E}[X_2] \\ \vdots \\ \mathbb{E}[X_d] \end{pmatrix}. \]

3. Matriz de varianzas y covarianzas

La matriz de covarianza se define como

\[ \Sigma = \mathrm{Var}(X) = \mathbb{E}\big[(X-\mu)(X-\mu)^T\big]. \]

Es decir,

\[ \Sigma = \begin{pmatrix} \mathrm{Var}(X_1) & \mathrm{Cov}(X_1,X_2) & \cdots \\ \mathrm{Cov}(X_2,X_1) & \mathrm{Var}(X_2) & \cdots \\ \vdots & \vdots & \ddots \end{pmatrix}. \]

Propiedades:

4. Función generadora de momentos (multivariada)

La función generadora de momentos es

\[ M_X(t) = \mathbb{E}\big(e^{t^T X}\big), \qquad t \in \mathbb{R}^d. \]

Si \(X \sim \mathcal{N}_d(\mu,\Sigma)\), entonces

\[ M_X(t) = \exp\left( t^T \mu + \frac{1}{2} t^T \Sigma t \right). \]

5. Función característica (multivariada)

La función característica es

\[ \varphi_X(t) = \mathbb{E}\big(e^{i t^T X}\big), \qquad t \in \mathbb{R}^d. \]

Para la normal multivariada:

\[ \varphi_X(t) = \exp\left( i t^T \mu - \frac{1}{2} t^T \Sigma t \right). \]

Teorema de formas cuadráticas

Forma cuadrática

Sea un vector aleatorio \(X \in \mathbb{R}^n\) con media \(\mu\) y matriz de covarianza \(\Sigma\).
Una forma cuadrática es un escalar definido como

\[ Q = X^T A X, \]

donde \(A \in \mathbb{R}^{n \times n}\) es una matriz simétrica.

2. Forma bilineal

Dadas matrices \(A, B \in \mathbb{R}^{n \times n}\), una forma bilineal se define como

\[ B(X,Y) = X^T A Y, \]

donde \(X, Y \in \mathbb{R}^n\).

3. Distribución de formas cuadráticas bajo normal

Sea

\[ X \sim \mathcal{N}_n(\mu, \Sigma), \]

y sea \(Q = X^T A X\) una forma cuadrática.

\[ Q = \sum_{i=1}^n \lambda_i Z_i^2, \]

donde \(Z_i\) son normales estándar independientes y \(\lambda_i\) son los valores propios de \(\Sigma^{1/2} A \Sigma^{1/2}\).

4. Independencia de formas cuadráticas

Sea

\[ X \sim \mathcal{N}_n(\mu, \Sigma), \quad Q_1 = X^T A_1 X, \quad Q_2 = X^T A_2 X, \]

con \(A_1, A_2\) simétricas.

Teorema (Independencia):
Si

\[ A_1 \Sigma A_2 = 0, \]

entonces \(Q_1\) y \(Q_2\) son independientes.

5. Forma bilineal y su esperanza

Si \(X, Y \in \mathbb{R}^n\) son normales conjuntas:

\[ \mathbb{E}[X^T A Y] = \mathrm{tr}(A \, \mathrm{Cov}(X,Y)) + \mu_X^T A \mu_Y \]

y

\[ \mathrm{Var}(X^T A Y) = \mathrm{tr}(A \, \mathrm{Cov}(Y) A^T \, \mathrm{Cov}(X)) + \text{otros términos si medias distintas de 0}. \]

Demsotración de que la varinza muestral es independiente a la media muestra por teorema de formas cuadráticas.

1. Planteamiento

Sea

\[ X = (X_1, \dots, X_n)^T \sim \mathcal{N}_n(\mu, \sigma^2 I_n), \]

con media desconocida \(\mu\) y varianza \(\sigma^2\) desconocida.

Definimos:

\[ \bar X = \frac{1}{n} \sum_{i=1}^n X_i = \frac{1}{n} 1_n^T X, \]

donde \(1_n = (1,\dots,1)^T \in \mathbb{R}^n\).

\[ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar X)^2. \]

2. Expresamos media y varianza como formas cuadráticas

2.1 Media muestral

\[ n \bar X = 1_n^T X \implies \bar X = \frac{1}{n} 1_n^T X \]

Es una forma lineal (un caso especial de cuadrática):

\[ \bar X = c^T X, \quad c = \frac{1}{n} 1_n \]

2.2 Varianza muestral

Definimos la matriz de proyección sobre el espacio ortogonal a \(1_n\):

\[ P = I_n - \frac{1}{n} 1_n 1_n^T \]

Entonces

\[ \sum_{i=1}^n (X_i - \bar X)^2 = X^T P X. \]

Así que

\[ S^2 = \frac{1}{n-1} X^T P X \]

es una forma cuadrática en \(X\).

3. Independencia por teorema de formas cuadráticas

Sea

Recordemos que dos formas cuadráticas \(X^T A_1 X\) y \(X^T A_2 X\) son independientes si

\[ A_1 \Sigma A_2 = 0. \]

Aquí:

Entonces:

\[ \begin{aligned} A_1 \Sigma A_2 &= \frac{1}{n} 1_n 1_n^T (\sigma^2 I_n) P \\ &= \frac{\sigma^2}{n} 1_n 1_n^T P \\ &= \frac{\sigma^2}{n} 1_n (1_n^T P) \end{aligned} \]

Pero

\[ 1_n^T P = 1_n^T \left(I_n - \frac{1}{n} 1_n 1_n^T \right) = 1_n^T - \frac{1}{n} 1_n^T 1_n 1_n^T = 1_n^T - 1_n^T = 0 \]

Por lo tanto:

\[ A_1 \Sigma A_2 = 0 \implies Q_1 \perp Q_2 \]

\[ \boxed{ \bar X \text{ es independiente de } S^2 \text{ bajo normal multivariada.} } \]

Construcción de la T-Student

\[Z \sim N(0,1)\]

ind \[W \sim \chi_v\] \[ T = \frac{Z}{\sqrt{\frac{W}{v}}} \] # 1. Planteamiento

Sea \(X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} \mathcal{N}(\mu, \sigma^2)\).

Definimos:

\[ \bar X = \frac{1}{n} \sum_{i=1}^n X_i \]

\[ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar X)^2 \]

2. Estandarización usando la varianza conocida

Si \(\sigma^2\) fuera conocida:

\[ Z = \frac{\bar X - \mu}{\sigma / \sqrt{n}} \sim \mathcal{N}(0,1) \]

3. Usando la varianza muestral (desconocida)

Como \(\sigma^2\) es desconocida, reemplazamos por \(S^2\):

\[ T = \frac{\bar X - \mu}{S / \sqrt{n}} \]

4. Relación con la chi-cuadrado

Sabemos que bajo normalidad:

\[ (n-1) S^2 / \sigma^2 = \sum_{i=1}^n \frac{(X_i - \bar X)^2}{\sigma^2} \sim \chi^2_{n-1} \]

5. Definición de la t-Student

Como \(\bar X\) y \(S^2\) son independientes:

\[ T = \frac{\bar X - \mu}{S / \sqrt{n}} = \frac{\frac{\bar X - \mu}{\sigma / \sqrt{n}}}{\sqrt{(n-1) S^2 / \sigma^2 /(n-1)}} = \frac{Z}{\sqrt{U / (n-1)}} \]

donde:

Por definición, esto es:

\[ T \sim t_{n-1} \]

\[ \boxed{ T = \frac{\bar X - \mu}{S / \sqrt{n}} \sim t_{n-1}, \quad \text{independencia y chi-cuadrado de la varianza muestral bajo normalidad} } \]

set.seed(123)

n <- 10
mu <- 5
sigma <- 2

# Simulación de la muestra
X <- rnorm(n, mean = mu, sd = sigma)

# Media y varianza muestral
Xbar <- mean(X)
S <- sd(X)

# Estadístico t
T <- (Xbar - mu) / (S / sqrt(n))
T
## [1] 0.2474218
# Comparación con t de n-1 grados de libertad
pt(T, df = n-1)  # CDF
## [1] 0.5949331
qt(0.975, df = n-1) # Valor crítico 95%
## [1] 2.262157

Consistencia de la varianza

1. Planteamiento

Sea \(X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} (\mu, \sigma^2)\).

El estimador insesgado de la varianza es:

\[ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar X)^2 \]

con \(\bar X = \frac{1}{n} \sum_{i=1}^n X_i\).

Queremos demostrar que \(S^2 \overset{p}{\to} \sigma^2\), es decir, que \(S^2\) es consistente.

2. Reescribimos \(S^2\)

\[ \begin{aligned} S^2 &= \frac{1}{n-1} \sum_{i=1}^n \big[(X_i - \mu) - (\bar X - \mu)\big]^2 \\ &= \frac{1}{n-1} \sum_{i=1}^n (X_i - \mu)^2 - n(\bar X - \mu)^2 \\ \end{aligned} \]

Esta identidad es clave.

3. Convergencia de cada término

3.1 Promedio de cuadrados

Por la Ley de los Grandes Números:

\[ \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 \overset{p}{\to} \mathbb{E}[(X-\mu)^2] = \sigma^2 \]

3.2 Media centrada

También por la Ley de los Grandes Números:

\[ \bar X \overset{p}{\to} \mu \implies (\bar X - \mu)^2 \overset{p}{\to} 0 \]

4. Combinando términos

\[ \begin{aligned} S^2 &= \frac{n}{n-1} \cdot \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 - \frac{n}{n-1} (\bar X - \mu)^2 \\ &\overset{p}{\to} 1 \cdot \sigma^2 - 0 = \sigma^2 \end{aligned} \]

Porque \(\frac{n}{n-1} \to 1\) cuando \(n \to \infty\).

5. Conclusión

\[ \boxed{ S^2 \overset{p}{\to} \sigma^2 } \]