统计学习导论-导论

统计学习概论

• 统计学习：理解数据的工具集
• 监督学习：有因变量，根据自变量预测估计因变量
• 非监督学习：无因变量，探索自变量间的关系与结构

统计学习简史

• 19世纪初，Legendre 与 Gauss 发表了最小二乘法的论文，该方法首先应用在天文学领域
• 1936年，Fisher 提出线性判别分析来解决定性分析问题
• 1940s，logistic回归提出
• 1970s，Nelder 与 Wedderburn 提出广义线性模型，将线性回归与logistic回归统一到一个体系
• 1980s，计算机技术进步，非线性问题开始得到解决
• Breiman，Friedman，Olshen 与 Stone 提出回归树与聚类，提供交叉检验方法
• 1986年，Hastie 与 Tibshirani 提出广义加性模型，将广义线性模型与一些非线性模型同一到一个体系
• 伴随软件，机器学习与其他理论的发展，统计学习作为统计学子学科快速发展