从正态分布说起

• 密度函数：\(p\{X=x\}=f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)
• 标准正态分布(`\(\mu = 0, \sigma= 1\))图：
• 

基本运算

• \(F(x) = P\{ X <= x \} = \int_{-\infty}^x f(x)dx\)
• 

\(F(x) = P\{ X <= 1.65 \} = \int_{-\infty}^x f(x)dx\)

R里面的计算分布函数的公式：pnorm(1.65,0,1)

pnorm(1.65)

## [1] 0.9505285

pnorm(1.96)

## [1] 0.9750021

dnorm(0)

## [1] 0.3989423

qnorm(0.95)

## [1] 1.644854

qnorm(0.975)

## [1] 1.959964

\[ 累计概率 \]

小概率事件原理

• 小概率事件原理：在一次试验中，小概率事件是不可能发生的。注概率一般取0.05，也可以取0.01或者0.1.

• 例如一箱100个灯泡，其中5个是坏的，然后随便从中抽一个出来。 抽到坏的概率是非常小的，统计学里面认为抽一次就能抽到坏的灯泡是不可能发生的， 这就是小概率事件。

• 但是有人，抽一次就抽到了，是不是可以认为这批灯泡质量很差呢？

• 这就是假设检验里面的\(\alpha\)错误——本来100个灯泡中5个灯泡不合格是正常的情况，但是通过一次抽样推断这个是不合格的，即弃真错误。推断统计学里面称\(\alpha\)为显著性水平。

两类错误

• 举一个例子来说明假设检验里面两类错误
• 教室里面某位同学的东西被偷了，大家都不知道谁偷的。有一人怀疑是A同学偷的，现在原假设是A没有偷，备择假设是A偷了东西。
• 大家开始找证据证明。根据物品失窃的大致时间，大家都在陈述自己的不在场证明。轮到A时，他无法给出不在场证明，但是能给出失窃前几个小时的不在场证明，现在该怎么办?
• 小赵同学想出了一个办法，计算A同学在这段时间来到这里行窃的可能性，也就是概率咯(小赵同学很聪明啊~_~ 表扬一下！)
• 大家认为，A在这段时间来到这里的的概率超过0.95就可以认为是A偷了东西。(也就是显著性水平为0.05)
• 现在经过大家计算，得出A在这几个小时内来这里的概率为97%，尾部概率为0.03。根据这样的计算结果大家可以拒绝原假设，接受备择假设，认为A偷了东西。
• 小赵同学忽然想起来了，他在教室偷偷的安装了监控，于是调出监控，发现：
• A同学虽然在教室，但是他在教室是一直在学习啊。。。。冤枉了好人啊。。。(这就是犯了\(\alpha\)错误)
• 如果，当时大家考虑了A是一个爱学习的好孩子，提高概率到99%(显著性水平为0.01)，就不会冤枉好人了。（弃真错误）

但是

去掉小赵同学脑补的那一段——监控的事情。

• 现在 钱老师 有一个水晶球，可以看到到时发生了什么。通过查看，发现那段时间A同学在教室乘着大家都不在，溜到了失窃的同学桌子胖，偷了东西。
• 我们降低显著性水平，确实能够减少\(\alpha\)错误；但是却会增加\(\beta\)错误。A本来是小偷，但是检验结果却认为A不是小偷。也就是取伪错误。

显著性水平选择的例子

显著性水平的选择要结合实际问题而定，还要考虑弃真的后果，下面举一个例子说明。

一个制药企业新研发了一批药，要验证新药的疗效是不是显著比旧药高。假设疗效服从正态分布

原假设是 \(\mu_1 <= \mu_0\) ; 备择假设是 \(\mu_1 > \mu_0\)

• 取\(\alpha=0.05\) 与取\(\alpha=0.01\)的区别在哪里？

• 

统计会说谎——如何选择原假设

“统计学家是一个大骗子”

为什么说统计学家是个骗子呢？就拿上面的一个例子继续说。如果将上面的假设换过来会是什么样的情况呢？

原假设是 \(\mu_1 >= \mu_0\) ; 备择假设是 \(\mu_1 < \mu_0\)

• 

落在天蓝色的区域内，是不能拒绝原假设的；只有落在红色或者绿色区域内才拒绝原假设，认为新药显著性差与旧药。

但是我们看，即使落在中心位置偏左的位置（低于旧药平均水平），任然能够通过假设检验。 但这个是不正规的说法，科学的说法应该是：没有充分证据拒绝原假设。

有人就可以拿这个幌子骗人，而且还有理论公式支撑，如果对这个原理理解不透彻，很容易就接受了别人的结论。

• 那么如何选取原假设呢？

• 根据先验信息——以往经验或者样本信息（均值）

• 例如灯泡的例子。以往该厂灯泡质量一直很好，那原假设为：\(\mu_1 \ge \mu_0\), 即使个别低于均值，但是也不拒绝原假设。除非出现极端例子，离均值很远，落在红色或者绿色区域内，才拒绝原假设，认为该批灯泡有问题。

• 当我们都认为这种先验信息是正确的，普遍成立的，应当将其所代表的情况放入原假设。

• 不知道以前的经验，但该厂声称灯泡合格率高于95% 但是通过计算样本均值发生合格率为97% 若原假设是 ：\(\mu_1 \ge \mu_0\)，样本本来就支持原假设，这个检验就没有意义了。

• 若样本支持的结论出现在备择假设里面，则备择假设的成立依赖于显著性水平，这个检验是有意义的。

非参出场

为什么叫非参，因为这种检验方法对总体的分布没有要求。上面的分析都是基于总体是服从正态分布的前提的.

非参数统计方法对总体的假定相对较少
直接从样本出发，效率高，结果一般有较好的稳定性
可以处理所有类型的数据，有广泛的适用性。

符号检验

当数据分布呈现明显的非正态性，t检验就不能适用。这时候引入符号检验。 符号检验的思想是将检验的分布转化为已知的二项分布。

原假设是 \(M_1 = M_0\) ; 备择假设是 \(M_1 \neq M_0\)

大于M0的个数记\(S^{+}\) ,小于M0的个数记\(S^-\) 。

令 \[ k = \min(S^+ , S^- ), n^{'} = S^+ + S^- \] 然后计算P值，判断。

公式没时间打了，参加 单行本吧。

来，开始对着 单行本 将非参了。

来给大家演示几个例子

符号检验

binom.test()

wilcoxon 符号秩检验

wilcox.test(vector)

mann-whitney 秩和检验

wilcox.test(df/matrix)

多组数据位置的推断下次有机会再讲，公式较为复杂，但是思想都是类似的。

卡方检验

详见PDF