统计学习导论-统计学习

统计学习定义

• \( Y = f(X) + \epsilon \)
• 统计学习本质上是在寻找最合适的f来进行预测与推断

预测

• \( \hat Y = \hat f(X) \)，\( \hat f(X) \) 通常看作黑箱
• \( \hat Y \)预测\( Y \)需要考虑两部分误差：可约误差与不可约误差
• 可约误差指\( \hat f \)推断\( f \)上的偏差
• 不可约误差指由\( \epsilon \)引入的误差
• 误差的期望 \( E(Y - \hat Y)^2 = [f(x) - \hat f(x)]^2 + Var(\epsilon) \) (证明用到\( E(Y) \))

推断

• 关注X与Y的关系，\( \hat f(X) \) 通常有明确的形式
• 自变量因变量是否相关
• 如何相关
• 关系的数学描述

估计f

• 使用训练集与验证集
• 参数方法与非参数方法
• 模型的欠拟合与过拟合
• 权衡模型的准确性（预测）与可解释性（推断）
• 模型的奥卡姆剃刀与黑箱

评价模型

拟合质量测量

• 训练集均方误 \( MSE_{Tr} = Ave_{i \in Tr}[y_{i} − \hat f(x_i)]^2 \)
• 测试集均方误 \( MSE_{Te} = Ave_{i \in Te}[y_{i} − \hat f(x_i)]^2 \)
• 测试集均方误源于训练集拟合模型的方差，误差项\( \epsilon \)的方差及模型误差的平方三部分

聚类评价

• 错误率 \( Err_{Te} = Ave_{i \in Te}I[y_i \neq \hat C(x_i)] \)
• 贝叶斯分类器：错误率最小的分类器，使x属于某个分类的概率最大
• k临近值聚类：距离最小的k个为一类所产生的分类器