统计学习导论-线性回归

简单线性回归

\( Y \approx \beta_0 + \beta_1 X \)
用最小二乘法估计\( \beta_0 \)与\( \beta_1 \)得到估计值\( \hat \beta_0 \)与\( \hat \beta_1 \)，代入\( X \)，得到模型估计值\( \hat Y \)
残差平方和：\( RSS = e_1^2 + e_2^2 + ... + e_n^2 \)，使RSS最小，求导可得参数
回归线不等于最小二乘线，最小二乘线是通过采样对回归线的估计
估计会存在偏差，均值的偏差用标准误来描述\( Var(\hat \mu) = SE(\mu)^2 = \frac{\sigma^2}{n} \)
回归参数的估计也涉及标准误的计算\( Var(\beta_{1}) = \frac{\sigma^2}{\sum_{i=1}^n{(x_i - \bar{x})^2}} \)
\( \sigma^2 \)可用残差标准误RSE(\( RSE = RSS/(n − 2) \))来估计\( \qquad\hat\sigma^2 = \frac{n-p}{n}\;s^2 \)
据此可得回归参数的95%置信区间\( \hat \beta_1 ± 2 \cdot SE(\hat \beta_1) \)
参数的评价可通过假设检验进行，零假设为\( \beta_1 \)为0，也就是自变量对因变量无影响，构建t统计量\( t = \frac{\hat \beta_1 - 0}{\hat {SE}(\hat \beta_1)} \)，然后可根据p值判断参数的显著性
评价参数后需要评价模型，主要通过\( RSE \)与\( R^2 \)来进行
\( R^2 \)表示模型所解释总体方差的比例，与\( RSE \)不同，独立于Y，\( R^2 = \frac{TSS - RSS}{TSS} \)
\( R^2 \)与两变量间的相关系数是一致的，但\( R^2 \)统计量的应用面要广于相关系数
相关系数也可进行假设检验进而判断相关的显著性

通过统计量F检验确定回归是否显著，零假设为所有自变量系数为0 \( F = \frac{(TSS - RSS)/p}{RSS/(n-p-1)} \)
变量选择：向前选择（从0个到p个，显著则包含），向后选择（从p个到0个，不显著则剔除），混合选择（通过p的阈值调节）
因为RSS会减少，\( R^2 \)会伴随自变量数目的增加而增加
\( RSE \)在多元线性线性回归中为\( RSE = RSS/(n − p - 1) \)，伴随自变量个数增加影响超过\( RSS \)减少的影响，\( RSE \)会增大
自变量间的影响会导致相比单一变量预测更容易出现不显著，这说明自变量间有可能可相互解释
预测的置信区间与预测区间，前者指模型的变动范围，后者指某个预测值的变动范围，考虑真值本身的变动，后者大于前者
因子变量通过对每个水平添加系数0，1来回归，也可根据需要赋值

关系非线性：残差图判断
误差项共相关：误差项的相关会导致标准误估计偏低，低估参数的区间使不显著差异变得显著，考虑时间序列数据，观察误差项轨迹判断
误差项方差非常数：喇叭状残差图，通过对因变量进行对数或开方来收敛方差，或者用加权最小二乘
异常值：通过标准化残差图判断
杠杆点：加入后会影响模型拟合，通过杠杆统计量判断： \( h_i = \frac{1}{n} + \frac{(x_i - \bar x)^2}{\sum_{i' = 1}^{n} (x_i' - \bar x)^2} \) 多元回归中该统计量均值为\( (p+1)/n \)，超过很多则可能为杠杆点
在标准残差-杠杆值图中，右上或右下方为危险值，左方数值对回归影响不大
共线性：共线性的变量相互可替代，取值范围扩大，标准误加大，对因变量影响相互抵消，降低参数假设检验的功效
多重共线性：引入方差膨胀因子，自变量引入全模型与单一模型方差的比值，超过5或10说明存在共相关，\( VIF(\hat \beta_j) = \frac{1}{1 - R^2_{X_j|X_{-j}}} \)
解决共线性：丢弃变量或合并变量
共线性不同于交互作用