线性回归

线性回归的一般形式

\[ Y_i = \beta_{0} + \beta_{1}X_i + \epsilon_{i}\] 其中,
\(E(\epsilon_{i}) = 0\)
\(Var(\epsilon_{i}) = \sigma^2\)
\(Cov(\epsilon_{i}, \epsilon_{j}) = 0\)
\(Cov(X_{i}, \epsilon_{j}) = 0\)

随机抽取n组观测值\((X_i,Y_i)\)可估计模型的参数.

模型参数估计的任务

1. 估计结构参数,如\(\beta_0, \beta_1\)
2. 求随机误差项的分布参数, 由于\(E(\epsilon_{i}) = 0\), 只需求\(\sigma\)

最小二乘法

\[ Q = \sum_{i=1}^{n}(Y_i - \hat{Y_i})^2 = \sum_{i=1}^{n}(Y_i - (\beta_{0} + \beta_{1}X_i))^2\]