Что такое статистическая гипотеза?

предположение о виде распределения и свойствах случайной величины, которое можно подтвердить или опровергнуть применением статистических методов к данным выборки.

Нулевая и альтернативная гипотеза

• H0 - нулевая гипотеза: все равны, все одинаково, нет связи.
• H1 - альтернативная гипотеза: что-то отличается, есть связь.
• Любой формальный статистический тест проверяет вероятность нулевой гипотезы
• Результатов любого формального статистического теста может быть только 2:
  • а) Мы отвергаем нулевую гипотезу (т.к. ее вероятность мала);
  • б) Мы не можем отвергнуть нулевую гипотезу
• Не говорят о принятии альтернативной гипотезы

Ошибка I и II рода

• Ошибка первого рода состоит в том, что будет отвергнута правильная гипотеза.
  
• Ошибка второго рода состоит в том, что будет принята неправильная гипотеза.

Ошибка I рода

Artwork by @allison_horst

Ошибка II рода

Artwork by @allison_horst

Ошибка I и II рода (пример)

Задачи

вынесение смертного приговора

• Что выступает гипотезами? (нулевой и альтернативной)
• Что произойдет в случае совершения каждой из ошибок?

Задачи

выявление и убийство вампира

• Что выступает гипотезами? (нулевой и альтернативной)
• Что произойдет в случае совершения каждой из ошибок?

Задачи

мальчик, который кричал “Волки!”

• Что выступает гипотезами? (нулевой и альтернативной)
• Что произойдет в случае совершения каждой из ошибок?

P-value

• Величина, используемая при тестировании статистических гипотез. Фактически это вероятность ошибки при отклонении нулевой гипотезы (ошибки первого рода).

• В социологии принят уровень значимости 0.05 (то есть вероятность ошибки первого рода не более 5%, то есть отвергнуть правильную нулевую гипотезы не более 5%)

P-value

Биномиальный тест (самый простой и бесполезный статистический тест)

Этот тест проверяет дихотомические переменные на наличие различия наблюдаемого распределения от теоретического.

Проверяется гипотеза о параметре биномиального распределения.

H0: p = p0

https://students.brown.edu/seeing-theory/basic-probability/index.html

Биномиальный тест - задача 1

Депутат Государственной Думы хочет проголосовать по некоему вопросу таким образом, чтобы его решение удовлетворило не менее половины избирателей его одномандатного округа (городок в 30 000 жителей, из которых 20 000 – избиратели.)

Он звонит в округ и дает своему помощнику два часа на выяснение обстановки. Помощник успевает опросить 100 человек, из них 60 «за». Можно ли с 95%-ой уверенностью сказать, что большинство избирателей в городе «за»? Почему?

• Сколько наблюдений в группе, которая нас интересует (в этом примере 60)
• Сколько всего наблюдений (в этом примере 100)
• Какова ожидаемая вероятность (в этом примере 0.5)

Результаты тесты

binom.test(60, 100, 0.5)

## 
##  Exact binomial test
## 
## data:  60 and 100
## number of successes = 60, number of trials = 100, p-value = 0.05689
## alternative hypothesis: true probability of success is not equal to 0.5
## 95 percent confidence interval:
##  0.4972092 0.6967052
## sample estimates:
## probability of success 
##                    0.6

Биномиальный тест - задача 2

Помощник успевает составить случайную выборку и опросить 25 человек. Из них 15 высказываются «за» и 10 – «против». Можно ли с 95%-ой уверенностью сказать, что большинство избирателей в городе «за»? Почему?

Результаты тесты

binom.test(15, 25, 0.5)

## 
##  Exact binomial test
## 
## data:  15 and 25
## number of successes = 15, number of trials = 25, p-value = 0.4244
## alternative hypothesis: true probability of success is not equal to 0.5
## 95 percent confidence interval:
##  0.3866535 0.7887452
## sample estimates:
## probability of success 
##                    0.6

Биномиальный тест - задача 3

Вы купили 100 лотерейных билетов вот с такой рекламой:

Cреди 100 билетов купленных вами, только 15 оказалось выигрышными. Обманула ли вас реклама?

Результаты тесты

binom.test(15, 100, 0.33)

## 
##  Exact binomial test
## 
## data:  15 and 100
## number of successes = 15, number of trials = 100, p-value = 6.728e-05
## alternative hypothesis: true probability of success is not equal to 0.33
## 95 percent confidence interval:
##  0.08645439 0.23530750
## sample estimates:
## probability of success 
##                   0.15

Лирическое отступление: p-hacking и publication bias

https://fivethirtyeight.com/features/science-isnt-broken/#part1

https://www.youtube.com/watch?v=0Rnq1NpHdmw