在做假设检验时通常我们知道的是第一类错误,即在\(H_0\)正确的情况下拒绝原假设,犯第一类错误的概率即显著性水平。

同时在假设检验时还有第二类错误,即在\(H_0\)错误的情况下,错误的接受原假设的情况。注意由于对于假设检验来说只有拒绝原假设和无法拒绝原假设的结论所以说第二类错误只是无法明确拒绝一个错误,严格意义上来说并不是一种错误

  接受原假设 拒绝原假设
原假设正确 1-P(第一类错误) 第一类错误 P(拒绝原假设|原假设正确) 显著性水平\(\alpha\)
原假设错误 第二类错误P(接受原假设|原假设错误) 功效 POWER = 1-P(第二类错误)
colorie <- function (x, y1, y2, ...) {
  polygon( c(x, x[length(x):1]), c(y1, y2[length(y2):1]), ... )
}
x <- seq(-6,6, length=1000)
y <- dnorm(x)
plot(y~x, type='l')
y2 <- dnorm(x-.5)
lines(y2~x)
i <- x>qnorm(.025) & x<qnorm(.975)
colorie(x[i],y2[i],rep(0,sum(i)), col='red')

j1 <- x<qnorm(.025) 
y3 <- dnorm(x)
colorie(x[j1],y3[j1],rep(0,sum(j1)), col='green')
j2 <- x>qnorm(.975)
colorie(x[j2],y3[j2],rep(0,sum(j2)), col='green')
segments( qnorm(.025),0,qnorm(.025),dnorm(qnorm(.025)), col='red' )
segments( qnorm(.975),0,qnorm(.975),dnorm(qnorm(.975)), col='red' )
lines(y~x,lty=2,lwd=2)
lines(y2~x,lty=2,lwd=2)
title(main="High risk of type II error")

图中红色部分就是当原假设为否时犯第二类错误的概率,由于在图中的例子中总体的均值和假设的均值相差很小,所以犯第二类错误的概率就很大。 图中绿色的部分是当原假设为真的时候错误的拒绝原假设的概率,当原假设为真时构造的统计量应当服从某个已知的分布(上面的例子中是标准正态分布)从而绝大部分的值应当落在0附近,当然也会有离群值,第一类错误的概率就是控制离群值出险的概率

x <- seq(-6,6, length=1000)
y <- dnorm(x)
plot(y~x, type='l')
y2 <- dnorm(x-3.5)
lines(y2~x)
i <- x>qnorm(.025) & x<qnorm(.975)
colorie(x[i],y2[i],rep(0,sum(i)), col='red')

j1 <- x<qnorm(.025) 
y3 <- dnorm(x)
colorie(x[j1],y3[j1],rep(0,sum(j1)), col='green')
j2 <- x>qnorm(.975)
colorie(x[j2],y3[j2],rep(0,sum(j2)), col='green')
segments( qnorm(.025),0,qnorm(.025),dnorm(qnorm(.025)), col='red' )
segments( qnorm(.975),0,qnorm(.975),dnorm(qnorm(.975)), col='red' )
lines(y~x,lty=2,lwd=2)
lines(y2~x,lty=2,lwd=2)
title(main="Low risk of type II error")

以上为当总体均值(右边)和\(H_0\)相差很大时的情况,可以看出第二类错误的概率和实际均值和假设均值的差距有关。 我们把1-P(第二类错误)叫做功效。功效事实上是样本容量n,能检出的最小均值差\(\delta\),显著性水平\(\alpha\)的函数,当保持样本容量,均值差不变的情况下,减小显著性水平,将导致犯第二类错误的概率增大。可以看做在上图中将右边绿色区域减少导致红色区域的增大