Demonstração

class: center, middle, inverse, title-slide

# Demonstração
## ⚔<br/> Método de Mínimos Quadrado
### Pedro Victor Brasil Ribeiro
### 2021-03-16

---

# Demonstração:

--
- Seja definido erro como:
--

`$$\epsilon = \sum_{i=1}^{n} \epsilon_i$$`

Onde $$\epsilon_i = (\hat{Y}_i - Y_i)^2 $$ Portanto temos que:

`\begin{equation}
  \epsilon = \sum_{i=1}^{n} (\hat{Y}_i - Y_i)^2
\end{equation}`

---

Desejamos, reduzir o erro do nosso modelo. Ou seja, desejamos enquando o valor mínimo de `$\epsilon$`.

--
- Notação utilizada:
--

`$$X = \begin{bmatrix}
X_{1,1} & X_{1,2} & \dots  & X_{1,p} \\ 
X_{2,1} & X_{2,2} & \dots  & X_{2,p} \\ 
\vdots  & \vdots  & \ddots & \vdots  \\ 
X_{n,1} & X_{n,2} & \dots  & X_{n,p}
\end{bmatrix}_{nxp}; \hspace{0.5cm} Y = \begin{bmatrix}
Y_{1}   \\ 
Y_{2}   \\ 
\vdots  \\ 
Y_{n}
\end{bmatrix}_{nx1}$$`

`$$\epsilon = \begin{bmatrix}
\epsilon_{1,1} & \epsilon_{1,2} & \dots  & \epsilon_{1,p} \\ 
\epsilon_{2,1} & \epsilon_{2,2} & \dots  & \epsilon_{2,p} \\ 
\vdots  & \vdots  & \ddots & \vdots                       \\ 
\epsilon_{n,1} & \epsilon_{n,2} & \dots  & \epsilon_{n,p}
\end{bmatrix}_{nxp}; \hspace{0.5cm} \beta = \begin{bmatrix}
\beta_{1}   \\ 
\beta{2}    \\ 
\vdots      \\ 
\beta{n}
\end{bmatrix}_{nx1}$$`

---

--
- Modelo utilizada:
--

`$$\begin{bmatrix}
Y_{1}   \\ 
Y_{2}   \\ 
\vdots  \\ 
Y_{n}
\end{bmatrix}_{nx1} = \begin{bmatrix}
X_{1,1} & X_{1,2} & \dots  & X_{1,p} \\ 
X_{2,1} & X_{2,2} & \dots  & X_{2,p} \\ 
\vdots  & \vdots  & \ddots & \vdots  \\ 
X_{n,1} & X_{n,2} & \dots  & X_{n,p}
\end{bmatrix}_{nxp} \begin{bmatrix}
\beta_{1}   \\ 
\beta{2}    \\ 
\vdots      \\ 
\beta{n}
\end{bmatrix}_{nx1}\\ + \begin{bmatrix}
\epsilon_{1,1} & \epsilon_{1,2} & \dots  & \epsilon_{1,p} \\ 
\epsilon_{2,1} & \epsilon_{2,2} & \dots  & \epsilon_{2,p} \\ 
\vdots  & \vdots  & \ddots & \vdots                       \\ 
\epsilon_{n,1} & \epsilon_{n,2} & \dots  & \epsilon_{n,p}
\end{bmatrix}_{nxp}$$`

--
- De forma reduzida:
--

`$$Y = X\beta + \epsilon$$`

---
#Ideia do modelo:

--
Seja os conjuntos de dados definidos da forma acima temos uma dispersão de dados que pode ser plotada entre as Covariáveis (X) e a variável resposta (Y). Suponha uma função f qualquer que defina a relação de X para explicar Y, a distância entre o ponto real (Y) e o ponto estimado `$(\hat{Y}$`), denominado por erro ($\epsilon$). Chamado de SQE a soma quadrada do erro
--

`\begin{equation}
  SQE = \sum_{i=1}^{n} \epsilon_i = \sum_{i=1}^{n} (\hat{Y}_i - Y_i)^2 = \epsilon'\epsilon \\
  = \begin{bmatrix}
Y_{1} - \hat{Y}_{1}   \\ 
Y_{2} - \hat{Y}_{2}   \\ 
\vdots                \\ 
Y_{n} - \hat{Y}_{n}
\end{bmatrix}_{nx1}
\end{equation}`

--
Deseja-se encontrar os ponto que reduzam o erro (SQE), definindo uma f ótima. Para tal será realizada a derivada em SQE buscando o ponto mínimo da mesma para podermos estimar os parâmetros.
--

---

Abrindo SQE de forma análitica com intuito de reescrevelos de tal forma que a derivada dele seja mais analíticamente tratável

`\begin{aligned}
\epsilon'\epsilon &= (Y-X\beta)'(Y-X\beta)               \\
&= (Y' - (X\beta)')(Y - X \epsilon)                      \\
&= (Y' - \beta'X')(Y - X\beta)                           \\
&= Y'Y - \beta'X'Y - Y'X\beta + \beta'X'X\beta           \\
&= Y'Y - 2Y'X\beta + \beta'X'X\beta
\end{aligned}`

--
Derivando
--

$$
\frac{\partial SQE}{\partial \beta} = \frac{\partial Y'Y - 2Y'X\beta + \beta'X'X\beta}{\partial \beta} \\
= -2X'Y +2X'X\beta
$$

--
Igualando a derivada a zero, finalizamos com:
--

`\begin{equation}
   \hat{\beta} = (X'X)^{-1}X'Y \qquad (1)
\end{equation}`