p
Rasmus Bååth
14/04/2014
Planen för idag
- P-värden och nollhypoteser
- Permutationstestet
- Telepatiexperiment
- (NÄSTA GÅNG) Modelljämförelse
Ett exempel, nollhypotes-signifikanstestning (NHST)
Du misstänker en individ tjänar pengar utöver sitt jobb som kemilärare.
Du misstänker en individ tjänar pengar utöver sitt jobb som kemilärare.
- Ta reda på hur mycket han tjänar.
- Ta reda på hur mycket vanliga kemilärare tjänare.
- Hur sannolikt skulle det vara att han tjänade så mycket, eller mer, om han var en vanlig kemilärare?
Säg att han tjänar mer än 95% av alla kemilärare -> p = 0.05
Ännu ett NHST-exempel
Du misstänker att piller A botar fler patienter än piller B.
Du misstänker att piller A botar fler patienter än piller B.
- Gör ett experiment och räkna ut skillnaden mellan piller A och B (t.ex. i antal botade)
- Kom på en samplingdistribution för skillnaden med antagandet att båda tabletterna är lika bra.
- Hur sannolikt skulle det vara se den skillnade i antal botade som faktiskt uppmättes om båda piller hade varit lika bra.
(2) är det knepiga…
- Piller A botade 15/20, Piller B botade 8/20. Skillnaden är 15 - 8 = 7
- Om båda tabletterna är lika så kan vi slå ihop datan. Vårt estimat är då att pillrena botar (15 + 8) / (20 + 20) = 57.5% . Samplingdistribution …
rbinom(1, size=20, prob=0.575) - rbinom(1, size=20, prob=0.575)
[1] 1
rbinom(1, size=20, prob=0.575) - rbinom(1, size=20, prob=0.575)
[1] -1
rbinom(1, size=20, prob=0.575) - rbinom(1, size=20, prob=0.575)
[1] 2
library(mosaic)
dist <- do(500) * {
rbinom(1, size=20, prob=0.575) - rbinom(1, size=20, prob=0.575)
}
histogram(dist)
- Piller A botade 15/20, Piller B botade 8/20. Skillnaden är 15 - 8 = 7
- Om båda tabletterna är lika så kan vi slå ihop datan. Vårt estimat är då att pillrena botar (15 + 8) / (20 + 20) = 57.5% . Samplingdistribution med
rbinom - Vilken skillnad är vi intresserade av. Hur mycket bättre A är? Hur “extrem” A är?
Hur mycket bättre A är. (One tailed)
mean(dist$result >= 7)
[1] 0.018
Hur extrem A är. (Two tailed)
mean(dist$result >= 7 | dist$result <= -7)
[1] 0.038
- Piller A botade 15/20, Piller B botade 8/20. Skillnaden är 15 - 8 = 7
- Om båda tabletterna är lika så kan vi slå ihop datan. Vårt estimat är då att pillrena botar (15 + 8) / (20 + 20) = 57.5% . Samplingdistribution med
rbinom - Sannolikheten att A skulle bota så “extremt” om nollhypotesen hade stämt är 0.038 , p = 0.038
Om vi tycker att p är tillräkligt osannolikt så antar vi att nollhypotesen inte stämmer. Traditionen är att strunta i sunt förnuft och anta att p < 0.05 räcker.
Den allmänna p-formlen
- Räkna ut ett mått av intresse (t.ex. skillnad i medelvärde)
- Lista ut en nollhypotes och en tillhörande samplingdistribution.
- Räkna ut sannolikheten att ett så extremt mått hade genererats om nollhypotesen hade stämt.
- (1) och (3) är lätt, det är (2) som är det luriga.
Kom på en NHST nu! 5 min.
- Räkna ut ett mått av intresse (t.ex. skillnad i medelvärde, lön för en kemilärare, antal daggmaskar på marken, etc.)
- Lista ut en nollhypotes och en tillhörande samplingdistribution.
- Räkna ut sannolikheten att ett så extremt mått hade genererats om nollhypotesen hade stämt.
Obs! Inga riktiga uträkningar, kom bara på siffror som låter vettiga.
- Alla p-värden är en variant på samma tema. Frågan är bara vad nollhypotesen är och hur räknades den tillhörande samplingdistributionen ut?
Students taking statistics courses in Psychology had higher IQ scores (M = 121, SD = 14.2) than did those taking statistics courses in Statistics (M = 117, SD = 10.3), t(44) = 1.23, p = .09 .
Vad är nollhypotesen? Vad är nollhypotesens samplingsdistribution?
Permutations tester
- En teknik för att skapa samplingdistributioner för nollhypoteser. Som bootstrap fast för NHST.
- Ett exempel…
# IQ-data från psychologi och statistikstudenter
mean(iq ~ group, data=d)
psych stat
124.1 120.0
stripplot(iq ~ group, data=d)
Nu använder vi shuffle för att bryta kopplingen mellan ämne och IQ.
mean(iq ~ shuffle(group), data=d)
psych stat
123.0 121.1
mean(iq ~ shuffle(group), data=d)
psych stat
123.5 120.7
stripplot(iq ~ shuffle(group), data=d)
null <- do(500) *
mean(iq ~ shuffle(group), data=d)
#
null$diff <- null$psych - null$stat
head(null)
psych stat diff
1 124.4 119.8 4.6468
2 123.8 120.4 3.4577
3 123.1 121.1 2.0187
4 122.4 121.8 0.6127
5 121.7 122.4 -0.6923
6 122.3 121.8 0.5092
histogram( ~diff, data=null)
mean(iq ~ group, data=d)
psych stat
124.1 120.0
mean(null$diff >= 4.1 | null$diff <= -4.1)
[1] 0.206
Analytiska nollfördelningar
summary(lm(iq ~ group, data=d))
Coefficients:
Estimate Std. Error Pr(>|t|)
(Intcpt) 124.14 2.07 <2e-16 ***
groupstat -4.11 2.92 0.16
---
Residual standard error: 13.9 on 88 degrees of freedom
Multiple R-squared: 0.022, Adjusted R-squared: 0.0109
F-statistic: 1.98 on 1 and 88 DF, p-value: 0.163
Nollfördelning för "Bättre än chansen"
rbinom(10000, size=20, prob=0.5)
[1] 10 9 11 7 14 6 12 11 9 11 11 15 7 13 12 12 12 11 15 11 11 10
[23] 9 12 10 11 9 9 8 15 10 9 8 12 10 13 11 11 10 12 10 6 9 9
[45] 8 10 12 9 10 10 12 10 7 12 10 8 12 9 10 15 10 8 8 11 15 10
[67] 12 10 14 12 10 11 9 9 7 10 9 4 11 10 12 6 11 9 7 7 11 5
[89] 6 11 9 12 9 12 6 10 12 10 9 9 9 10 13 12 11 9 10 9 11 12
[111] 11 10 14 8 11 12 11 7 11 9 9 15 10 10 14 10 8 15 10 12 13 11
[133] 9 9 8 8 8 9 9 12 8 12 9 8 9 9 10 8 11 13 11 13 14 8
[155] 10 9 9 6 13 9 14 9 10 14 9 9 6 11 13 6 8 11 7 11 17 14
[177] 11 11 10 12 4 10 10 9 12 14 11 8 12 11 14 9 13 10 9 9 12 7
[199] 10 11 9 8 4 7 8 7 11 8 15 14 11 11 11 11 8 13 10 10 5 9
[221] 11 10 12 12 10 8 12 7 11 10 12 12 14 8 12 10 10 12 8 10 11 13
[243] 9 7 13 8 6 10 9 9 11 12 10 13 9 11 9 13 11 11 12 13 11 10
[265] 15 10 13 11 11 6 9 12 16 14 12 11 8 11 10 6 9 13 9 10 8 8
[287] 10 9 11 10 8 9 3 14 9 14 10 10 11 8 10 10 11 9 8 7 12 11
[309] 12 8 11 12 13 9 11 9 11 7 11 11 11 12 12 6 11 12 11 12 7 12
[331] 9 14 13 11 7 12 11 7 11 9 12 8 9 13 10 12 6 6 11 8 9 11
[353] 9 12 7 16 11 11 11 10 9 11 14 8 12 10 12 13 15 13 9 8 12 8
[375] 12 14 10 6 11 12 8 15 11 12 8 12 12 11 8 7 11 12 8 11 9 9
[397] 7 10 10 12 12 5 10 9 6 9 9 14 14 11 14 13 7 11 9 11 11 11
[419] 11 7 9 8 8 10 10 9 12 8 10 9 9 12 9 7 14 9 9 11 12 10
[441] 13 6 11 12 9 13 10 14 9 11 13 11 10 10 13 12 9 12 9 9 10 8
[463] 10 13 9 9 6 13 10 12 8 11 12 10 8 10 13 6 9 13 11 14 12 6
[485] 9 10 11 9 10 11 7 13 9 8 14 12 10 13 8 14 10 7 11 9 12 9
[507] 13 6 10 10 13 10 8 10 5 7 9 10 9 11 5 11 11 10 8 7 9 11
[529] 6 10 11 14 14 7 8 8 10 8 14 7 12 7 14 4 10 15 10 9 9 15
[551] 13 5 7 10 11 12 10 12 15 13 9 7 7 8 11 3 10 11 8 11 10 11
[573] 9 12 8 13 11 13 9 11 6 11 4 10 9 11 13 10 12 9 13 12 12 7
[595] 11 10 7 8 10 9 14 6 3 9 8 11 12 6 11 8 12 8 11 10 11 9
[617] 10 12 8 12 7 13 10 9 9 10 8 10 11 10 10 8 13 11 7 9 9 12
[639] 10 10 7 9 9 9 8 12 5 9 9 10 9 12 13 14 9 11 11 8 10 11
[661] 7 10 11 8 10 13 10 13 11 11 10 14 14 8 10 11 7 6 12 14 7 9
[683] 6 10 8 13 8 15 9 10 14 13 14 9 12 8 7 7 10 10 11 8 10 10
[705] 10 13 8 6 7 5 13 11 11 9 9 9 11 11 15 13 11 9 13 10 13 6
[727] 9 9 12 9 9 10 7 8 7 7 10 15 14 12 10 10 8 8 11 9 12 10
[749] 7 8 8 15 6 11 7 10 8 10 9 11 13 10 12 12 11 10 9 7 10 9
[771] 11 14 9 12 12 6 12 10 7 11 8 10 13 12 6 7 11 8 11 9 17 11
[793] 4 12 8 11 12 8 14 10 12 13 7 11 15 9 6 15 8 8 10 11 15 7
[815] 11 4 12 9 14 8 12 10 7 9 12 9 10 7 14 15 9 12 7 11 11 9
[837] 11 11 10 12 8 10 8 14 10 9 12 11 9 9 8 12 4 13 11 9 11 10
[859] 13 9 13 9 10 11 13 10 10 6 8 12 8 13 9 9 11 8 10 14 10 12
[881] 10 10 12 8 9 12 14 6 11 8 7 8 9 8 11 8 9 9 11 9 11 16
[903] 13 9 9 9 10 5 9 11 7 7 6 9 10 6 11 13 11 9 7 10 7 6
[925] 7 9 8 10 10 10 11 9 8 15 4 13 12 9 11 8 8 11 8 12 9 10
[947] 10 7 12 9 13 11 8 8 11 8 13 9 8 13 9 11 6 12 11 10 9 9
[969] 8 11 8 6 11 7 5 8 9 5 8 7 8 13 11 5 11 12 10 10 11 10
[991] 9 5 6 8 13 13 9 8 9 9 10 9 12 13 11 9 12 11 10 11 9 11
[1013] 9 11 12 9 8 10 8 9 11 9 11 8 6 14 12 12 10 11 10 8 12 8
[1035] 13 12 7 12 12 8 9 14 10 10 11 10 10 9 7 14 9 8 13 12 10 13
[1057] 8 10 9 7 12 6 11 11 8 6 10 9 11 12 14 8 8 12 9 10 12 10
[1079] 9 13 13 10 12 13 6 10 11 11 7 10 7 11 10 11 10 11 10 11 13 12
[1101] 11 8 8 4 10 7 9 9 10 7 7 8 10 13 10 13 8 11 10 11 9 12
[1123] 9 7 10 13 11 8 10 11 10 10 12 9 9 11 10 12 11 9 7 12 11 11
[1145] 9 10 7 5 6 9 8 11 7 9 7 9 14 11 7 9 12 12 11 12 8 12
[1167] 9 9 9 9 10 13 9 11 12 11 9 11 5 10 10 11 6 7 12 8 8 8
[1189] 8 11 9 14 11 13 6 15 11 10 8 11 10 12 12 13 11 6 13 8 10 10
[1211] 8 11 15 8 9 9 12 7 12 12 11 11 13 12 10 12 7 9 9 6 9 9
[1233] 11 11 8 16 12 6 7 8 14 11 13 11 9 11 10 9 9 10 7 12 4 8
[1255] 10 8 10 14 14 6 6 9 9 13 12 9 11 9 10 9 9 11 10 11 9 10
[1277] 10 7 9 9 13 12 12 13 13 9 9 10 9 8 9 11 13 12 9 8 10 7
[1299] 11 11 12 12 9 11 15 11 8 8 7 12 10 7 14 10 10 10 10 9 12 12
[1321] 10 11 10 12 13 12 10 12 8 11 11 11 8 11 7 9 10 10 8 8 11 8
[1343] 10 7 8 13 14 9 10 6 13 8 10 11 9 8 11 8 12 9 16 9 8 10
[1365] 10 8 12 5 11 9 10 11 7 12 9 10 10 6 10 8 14 6 9 4 6 7
[1387] 11 7 10 9 10 10 11 6 4 10 9 7 10 10 11 12 9 11 8 12 11 10
[1409] 10 9 10 8 13 7 9 12 7 11 7 14 8 9 7 11 10 5 14 8 10 10
[1431] 12 8 8 9 10 8 11 10 9 10 12 11 12 13 9 10 8 8 15 11 10 12
[1453] 10 10 10 12 9 10 8 12 7 7 12 8 8 12 11 13 13 8 13 11 10 9
[1475] 9 10 8 14 10 13 9 8 10 10 9 10 11 8 12 8 12 10 15 9 10 8
[1497] 9 8 10 8 6 10 10 10 9 9 11 9 9 11 7 7 10 11 7 11 12 9
[1519] 6 6 10 10 11 6 7 11 13 11 8 8 9 10 10 9 9 10 8 8 11 7
[1541] 9 9 11 10 9 8 8 11 10 10 11 11 11 13 10 10 6 11 13 12 10 9
[1563] 8 8 10 13 11 9 7 11 12 11 11 12 13 11 12 8 9 14 9 6 8 9
[1585] 9 10 12 11 14 11 12 8 6 10 12 10 12 10 11 12 8 12 12 10 12 10
[1607] 11 7 9 10 12 8 10 10 10 10 13 9 12 6 4 11 9 9 7 8 11 7
[1629] 9 13 12 11 11 10 10 7 10 12 9 13 10 11 8 9 12 12 9 11 8 9
[1651] 9 8 14 13 6 11 9 9 10 7 9 8 9 9 11 6 10 7 8 12 11 10
[1673] 10 7 12 11 7 5 8 15 10 13 12 13 9 12 8 9 12 12 11 9 7 10
[1695] 15 11 13 10 7 11 15 12 6 8 10 9 7 9 9 8 9 8 11 12 7 11
[1717] 4 11 10 12 8 10 10 12 8 10 12 12 10 13 11 7 8 10 10 11 11 8
[1739] 10 11 14 14 6 8 12 7 10 7 12 12 10 8 4 12 11 11 10 11 8 6
[1761] 9 8 10 9 15 9 10 11 8 10 14 9 9 12 8 12 7 11 8 10 14 11
[1783] 12 12 12 13 10 9 11 10 11 12 10 13 10 13 12 10 10 13 11 9 8 6
[1805] 14 10 13 11 6 7 10 6 11 10 11 11 12 12 9 11 7 8 11 11 7 11
[1827] 11 6 12 9 6 13 12 8 9 9 8 11 11 9 13 12 13 6 7 13 9 9
[1849] 10 8 10 10 9 10 5 10 9 9 7 11 10 10 8 14 10 15 8 9 9 10
[1871] 9 11 13 10 12 12 9 10 7 10 12 10 7 8 7 14 8 9 8 6 8 7
[1893] 13 8 10 12 8 11 12 9 10 6 7 10 9 10 11 4 14 9 14 11 12 7
[1915] 10 8 6 13 8 9 10 13 11 12 10 11 10 11 14 10 11 10 9 6 9 13
[1937] 10 7 8 10 13 10 9 12 9 10 8 11 12 9 7 9 9 10 11 11 10 10
[1959] 11 10 7 11 9 10 6 8 8 11 13 8 11 12 10 13 8 12 9 9 8 9
[1981] 10 9 12 8 11 11 9 11 11 10 11 11 12 7 9 5 7 8 10 10 11 8
[2003] 13 12 10 13 11 9 10 11 15 13 13 13 9 9 10 8 10 9 10 10 9 10
[2025] 10 12 8 7 8 11 12 10 11 7 9 8 13 8 10 11 9 12 8 10 10 10
[2047] 10 14 10 12 11 11 12 11 11 14 12 10 12 10 4 13 9 11 11 5 7 13
[2069] 8 10 11 10 9 10 6 11 12 8 8 8 11 12 11 12 13 9 10 13 11 9
[2091] 13 11 9 10 6 12 10 11 13 14 7 10 12 16 10 11 10 9 9 10 12 17
[2113] 13 8 13 7 8 14 12 10 9 8 8 10 11 15 10 9 12 8 14 9 12 8
[2135] 8 9 10 11 13 11 13 10 6 8 12 16 9 9 9 10 8 15 9 14 12 7
[2157] 13 14 10 9 10 7 10 8 12 14 8 10 11 10 12 8 12 10 11 7 7 10
[2179] 8 11 8 14 7 7 10 15 13 7 5 7 12 8 10 11 8 6 12 9 11 15
[2201] 10 10 8 7 8 11 6 8 14 7 10 13 8 12 5 13 9 11 9 7 7 10
[2223] 15 9 12 14 7 12 13 13 12 12 11 8 11 8 10 14 11 15 8 10 9 10
[2245] 8 13 10 10 10 14 11 8 11 7 13 13 11 10 13 9 12 10 9 11 12 8
[2267] 11 13 10 9 8 13 11 12 10 10 9 9 12 11 12 11 12 8 4 11 8 10
[2289] 12 11 8 11 11 13 10 11 12 15 8 11 10 10 11 9 13 8 10 9 11 12
[2311] 7 9 11 7 10 11 11 9 9 8 14 10 10 5 10 9 10 8 12 12 8 5
[2333] 10 5 11 10 7 13 11 9 9 8 13 10 12 8 6 9 12 13 10 10 9 11
[2355] 9 7 7 10 11 10 6 9 10 10 11 9 10 9 12 7 10 10 15 13 8 7
[2377] 13 9 6 9 8 12 8 13 7 13 13 10 12 5 13 9 9 9 10 10 12 13
[2399] 12 10 11 8 10 11 7 9 11 10 10 11 9 6 14 13 8 13 11 9 11 12
[2421] 12 12 11 14 14 12 11 11 9 9 10 11 12 7 5 8 10 11 10 10 9 12
[2443] 10 11 6 7 11 9 10 9 9 9 4 9 9 7 10 9 10 7 9 15 11 8
[2465] 8 16 12 10 12 11 12 4 12 6 9 8 10 10 13 8 11 9 11 7 13 8
[2487] 9 8 10 8 13 14 9 13 10 9 10 13 13 8 10 12 10 12 8 11 9 12
[2509] 7 11 11 11 12 7 7 13 11 13 11 9 10 9 10 7 14 9 11 10 13 7
[2531] 11 9 11 6 9 8 16 13 10 11 9 10 11 12 11 14 12 10 8 10 10 9
[2553] 13 10 9 11 9 14 11 8 9 9 13 9 11 12 10 12 6 11 9 11 14 8
[2575] 9 10 11 10 8 15 6 12 12 11 13 9 7 11 12 9 11 12 9 8 14 14
[2597] 8 13 10 11 11 14 8 10 12 9 10 12 13 8 10 12 8 13 7 11 7 10
[2619] 10 10 6 10 7 10 14 13 10 9 13 11 14 10 10 12 10 13 10 12 12 11
[2641] 12 15 6 5 10 9 11 12 10 8 11 11 12 12 10 10 13 12 11 8 6 10
[2663] 10 10 11 10 10 9 7 4 6 13 10 9 12 12 8 12 11 6 11 11 12 8
[2685] 11 11 11 10 7 8 9 9 12 13 11 11 8 8 11 10 10 10 13 9 10 8
[2707] 9 12 9 11 8 11 13 8 10 15 9 8 11 12 12 12 9 6 9 11 10 11
[2729] 6 10 10 13 10 14 9 11 8 9 12 14 9 10 10 8 15 10 9 11 9 15
[2751] 10 9 9 4 9 10 11 7 11 12 8 10 7 12 11 7 8 9 8 6 13 11
[2773] 10 9 9 13 12 14 13 11 12 9 8 5 9 6 11 7 7 8 9 11 10 10
[2795] 10 11 11 13 10 6 12 7 10 12 8 11 10 7 10 13 10 10 13 5 11 11
[2817] 14 10 12 11 14 8 7 8 8 8 9 12 9 13 9 13 11 9 7 9 9 13
[2839] 9 9 9 13 9 13 13 14 12 10 11 6 7 11 16 8 12 9 13 13 6 13
[2861] 10 6 12 13 11 10 11 10 11 11 9 11 9 7 8 9 12 10 6 12 9 9
[2883] 12 10 10 8 13 10 12 9 8 10 10 7 10 9 11 11 9 13 9 11 9 9
[2905] 12 14 13 10 9 12 10 11 8 15 8 6 9 9 7 10 6 11 12 10 11 15
[2927] 8 9 12 9 14 13 4 8 13 10 13 6 10 13 9 10 8 13 8 11 9 11
[2949] 5 12 9 7 12 10 8 11 13 11 10 9 10 8 11 9 8 11 8 9 9 9
[2971] 14 13 11 15 10 11 8 10 10 9 11 10 9 8 8 13 8 9 10 10 11 12
[2993] 12 7 7 8 8 12 5 7 10 9 12 8 11 13 13 10 11 8 9 9 13 8
[3015] 11 12 11 9 8 8 9 11 7 9 10 8 13 9 9 7 10 6 12 12 6 11
[3037] 7 11 8 9 11 9 10 9 13 10 7 11 9 11 5 14 14 10 12 7 9 6
[3059] 9 10 10 11 14 12 10 5 11 6 12 9 12 11 6 16 12 8 8 7 10 9
[3081] 6 11 10 10 8 15 5 12 6 10 7 9 11 11 11 10 12 12 9 9 10 7
[3103] 11 9 10 10 8 10 13 9 14 16 14 14 12 10 10 14 10 9 9 10 9 14
[3125] 10 8 6 12 10 10 11 11 8 7 6 7 9 9 3 12 14 13 12 7 8 10
[3147] 10 10 10 9 6 12 8 12 12 11 7 11 8 6 8 11 13 10 10 6 11 11
[3169] 12 9 9 10 7 12 10 12 9 9 13 11 9 13 9 10 12 11 9 9 10 8
[3191] 11 9 9 11 7 8 11 9 9 8 6 9 11 11 10 12 6 14 9 12 10 10
[3213] 9 9 11 12 6 9 8 13 9 8 13 8 10 6 8 8 13 10 9 11 11 8
[3235] 13 10 11 11 13 8 8 8 14 13 6 11 8 9 9 9 11 10 9 11 11 8
[3257] 11 6 12 8 13 9 7 12 12 8 9 12 8 7 6 8 8 8 9 9 6 6
[3279] 9 7 11 11 7 10 10 8 7 8 10 9 12 12 5 11 15 8 7 13 12 8
[3301] 15 13 8 9 8 11 12 13 8 10 8 10 14 9 14 14 9 11 15 13 14 9
[3323] 10 12 8 8 8 8 13 7 11 7 11 12 10 13 10 11 9 6 13 9 9 8
[3345] 14 11 11 11 12 14 13 10 10 12 6 10 9 13 11 12 13 12 10 5 12 10
[3367] 12 10 12 12 12 8 10 11 12 13 9 12 11 10 9 12 11 9 11 9 10 10
[3389] 10 8 11 13 7 11 12 7 11 10 11 13 10 10 6 9 12 10 9 8 11 10
[3411] 15 14 7 10 13 9 9 12 10 9 9 11 9 10 7 9 10 11 11 12 10 10
[3433] 6 13 9 8 11 8 8 9 9 6 7 6 11 12 9 11 17 10 12 10 10 9
[3455] 10 8 8 11 11 14 10 11 6 15 6 7 11 9 5 10 9 14 14 11 6 10
[3477] 11 13 13 8 11 6 13 10 8 10 11 10 10 9 13 12 15 9 10 10 12 10
[3499] 9 8 9 7 9 9 7 12 10 9 10 5 12 7 10 10 8 7 10 12 14 11
[3521] 11 11 11 8 12 9 14 8 14 10 9 16 10 10 9 10 10 8 11 9 9 11
[3543] 7 10 9 12 13 7 14 8 9 9 12 9 10 14 10 8 8 8 6 9 14 11
[3565] 12 4 6 8 9 10 13 9 10 11 10 12 12 8 12 11 11 9 11 14 13 6
[3587] 14 6 11 6 10 11 10 5 11 11 8 8 11 12 7 11 15 8 5 12 10 12
[3609] 10 13 11 11 9 7 15 12 10 10 10 8 13 11 12 11 10 8 10 11 9 6
[3631] 7 13 11 10 11 13 8 7 10 13 13 12 13 11 7 14 12 9 10 11 11 10
[3653] 8 10 10 12 5 10 8 8 9 12 13 9 8 13 11 6 10 11 7 5 11 7
[3675] 14 10 12 9 13 8 10 10 12 10 5 11 7 8 10 12 10 11 11 7 12 12
[3697] 9 12 9 6 9 7 9 6 10 13 12 12 11 9 9 11 8 13 10 10 10 12
[3719] 13 10 5 9 8 12 11 14 11 11 9 7 10 9 14 9 8 8 14 11 11 10
[3741] 12 5 9 14 7 12 11 11 11 10 9 11 8 13 13 12 7 8 13 15 9 12
[3763] 6 9 15 11 11 9 8 10 9 8 8 11 11 5 10 10 7 6 11 8 8 10
[3785] 11 9 11 11 10 11 8 9 9 7 8 7 12 10 13 12 10 11 11 10 10 9
[3807] 10 12 14 12 11 9 13 4 11 5 7 10 7 10 8 11 10 11 10 14 13 12
[3829] 6 11 8 10 6 9 11 11 9 9 6 13 8 13 8 11 11 13 11 12 7 10
[3851] 12 10 11 7 11 9 11 14 11 11 12 8 9 7 10 14 16 9 8 10 11 12
[3873] 7 8 10 13 12 13 5 9 9 6 15 9 8 8 7 12 11 7 8 11 13 10
[3895] 12 7 12 11 7 16 11 12 11 11 5 12 11 9 11 12 8 8 10 9 15 10
[3917] 12 10 7 10 10 9 14 12 10 9 9 10 13 9 9 8 9 9 12 10 14 12
[3939] 8 12 9 9 10 10 12 8 13 8 14 9 9 9 12 11 8 14 9 7 7 14
[3961] 8 13 11 5 12 11 10 11 8 12 11 8 7 9 6 7 9 14 9 12 8 10
[3983] 6 11 9 10 11 9 12 10 14 8 10 10 15 9 11 10 10 6 6 11 15 5
[4005] 13 13 11 13 12 8 12 11 12 9 12 11 12 7 8 8 9 11 10 8 8 10
[4027] 15 15 7 10 10 7 8 11 10 12 10 8 10 12 3 10 5 11 12 9 8 6
[4049] 10 10 12 12 10 7 8 10 9 9 14 11 13 10 14 9 13 10 6 6 6 10
[4071] 10 7 10 15 7 9 6 13 13 12 14 8 11 15 10 11 10 9 9 9 7 9
[4093] 10 11 8 10 10 8 12 4 9 10 13 7 14 10 13 10 7 13 7 9 10 10
[4115] 10 12 12 8 7 9 9 10 11 9 6 14 10 10 14 15 7 14 13 10 12 10
[4137] 12 11 13 10 10 14 10 8 8 12 11 8 13 14 10 9 13 9 13 10 7 10
[4159] 11 11 9 12 10 8 10 13 7 8 12 10 8 15 11 15 6 10 9 8 10 9
[4181] 9 12 10 9 12 9 11 8 8 9 10 5 10 14 9 14 10 12 9 11 15 9
[4203] 11 10 11 8 9 12 11 9 11 10 11 14 10 9 14 13 6 12 11 8 11 16
[4225] 8 10 10 12 8 6 8 13 5 10 13 8 9 7 11 13 9 10 14 8 11 14
[4247] 15 14 10 9 13 11 10 10 11 10 9 8 10 12 12 10 11 6 6 9 13 12
[4269] 8 12 12 8 10 8 10 9 11 11 8 13 10 9 8 11 12 8 11 13 7 8
[4291] 9 7 9 12 9 8 10 10 6 10 14 10 11 11 6 9 8 8 11 8 5 12
[4313] 9 12 10 12 13 6 14 11 13 10 13 11 9 10 13 10 10 9 14 11 11 12
[4335] 12 9 11 10 12 16 11 10 9 10 10 11 16 9 8 10 11 8 11 9 12 13
[4357] 5 11 7 9 10 7 8 8 9 10 12 10 10 11 8 7 9 12 14 13 14 9
[4379] 9 11 13 7 11 9 12 11 8 9 7 11 13 9 8 13 9 12 10 10 6 10
[4401] 11 14 13 9 10 9 6 6 9 10 9 9 12 9 12 8 11 9 9 10 10 10
[4423] 12 8 12 12 14 11 7 7 11 7 11 12 6 8 10 9 9 11 7 14 11 12
[4445] 5 11 12 9 13 11 13 10 12 10 11 13 10 12 10 9 8 9 10 10 12 4
[4467] 7 10 9 10 9 12 11 4 8 11 12 7 9 6 13 11 9 7 13 10 9 7
[4489] 11 4 11 10 10 7 13 8 10 9 11 8 10 7 9 8 15 9 10 8 10 13
[4511] 11 12 10 11 13 12 7 12 9 10 7 7 8 4 11 13 12 10 16 11 11 11
[4533] 9 11 8 14 11 9 12 7 9 10 11 8 11 10 9 12 12 11 7 13 14 8
[4555] 10 10 11 10 10 10 7 8 11 6 10 14 8 11 11 7 6 11 13 9 8 9
[4577] 10 10 14 10 7 12 14 10 12 7 12 9 5 9 9 6 7 7 8 11 11 8
[4599] 8 9 12 8 10 11 6 10 12 14 9 12 8 11 13 9 11 11 11 7 11 9
[4621] 8 5 10 6 10 10 9 8 6 8 11 9 9 11 13 10 12 14 9 12 11 13
[4643] 12 6 9 10 17 8 11 7 10 7 10 7 10 10 13 11 13 8 10 11 10 11
[4665] 11 9 9 5 10 10 10 9 7 13 9 7 8 13 12 10 7 11 10 13 8 14
[4687] 10 9 9 12 15 10 9 13 12 9 11 8 12 13 12 9 9 8 7 9 11 9
[4709] 8 14 13 9 8 13 4 9 8 16 9 9 14 8 12 12 13 10 7 6 12 10
[4731] 9 10 12 9 6 9 12 13 9 12 10 10 13 9 11 11 10 11 12 8 8 9
[4753] 7 7 12 6 13 9 11 14 10 11 13 6 10 7 11 7 10 10 12 8 7 15
[4775] 9 11 10 8 6 14 12 11 10 14 8 10 11 11 10 11 8 8 10 11 8 10
[4797] 11 12 7 13 10 8 12 14 10 16 8 12 8 9 6 9 11 11 10 10 10 8
[4819] 12 12 7 8 11 11 7 11 9 10 5 13 6 9 8 8 11 12 11 8 12 9
[4841] 11 8 11 12 8 7 7 14 9 11 6 10 10 7 9 10 9 7 10 8 7 10
[4863] 6 13 11 7 8 12 8 9 9 10 8 8 13 9 12 12 10 15 10 12 9 10
[4885] 12 10 11 12 10 7 7 10 12 9 9 10 11 11 10 14 13 13 13 8 13 11
[4907] 10 9 10 8 10 10 11 11 10 8 7 14 8 11 8 11 9 12 13 13 10 12
[4929] 12 8 10 13 12 11 6 11 9 11 10 9 11 12 9 10 10 8 13 10 11 7
[4951] 9 11 10 11 12 11 6 11 12 10 13 10 9 12 10 10 7 13 10 6 11 11
[4973] 8 12 10 10 8 10 10 13 9 11 11 12 12 12 14 12 12 11 9 9 10 11
[4995] 14 12 7 11 10 8 15 8 9 7 7 7 11 10 7 9 7 9 10 9 7 8
[5017] 9 13 13 13 14 8 8 4 9 11 11 8 8 11 10 10 8 8 8 9 10 13
[5039] 10 10 12 9 9 11 11 11 6 10 11 8 12 12 10 10 10 9 9 12 10 11
[5061] 12 7 12 10 11 10 9 8 14 12 12 11 8 5 10 12 6 5 6 10 8 10
[5083] 10 11 9 13 13 11 15 9 12 10 13 11 12 9 12 13 15 9 8 7 7 7
[5105] 16 10 9 10 7 12 8 13 12 10 9 9 9 7 9 14 12 10 10 10 12 11
[5127] 10 12 13 8 12 10 11 8 12 9 6 14 10 9 9 11 7 10 10 12 11 8
[5149] 11 10 8 12 11 11 11 10 14 12 8 13 12 10 9 12 11 8 7 6 8 5
[5171] 7 12 10 11 10 8 9 12 8 8 11 8 12 8 9 12 13 11 7 13 12 11
[5193] 12 8 8 12 11 11 12 10 13 8 11 11 8 8 9 12 9 9 12 10 9 10
[5215] 7 9 11 10 12 10 15 9 12 14 10 8 10 11 8 11 15 8 8 13 10 7
[5237] 12 9 7 12 12 9 11 11 10 7 11 8 9 10 5 11 12 6 9 11 13 9
[5259] 8 13 12 11 11 8 10 6 7 14 10 4 7 12 8 12 8 9 13 8 6 9
[5281] 8 9 7 8 11 9 11 7 14 10 8 8 14 8 11 11 10 15 12 4 8 12
[5303] 10 9 9 12 15 7 8 12 10 11 11 10 5 11 11 8 6 9 11 9 6 11
[5325] 9 9 10 6 8 12 7 7 14 13 10 10 14 9 8 17 9 9 14 9 10 10
[5347] 10 5 13 9 9 11 7 12 11 8 9 13 10 11 11 13 6 12 7 11 13 9
[5369] 10 9 12 10 10 8 11 14 11 9 8 11 13 13 12 11 10 12 10 12 15 8
[5391] 6 9 8 9 14 8 10 13 6 9 9 9 11 11 13 8 11 8 9 12 7 10
[5413] 14 7 10 9 9 10 9 11 12 8 7 12 9 10 13 15 11 9 11 12 10 5
[5435] 8 8 10 10 8 8 12 10 11 7 9 7 13 6 13 14 12 12 12 9 9 11
[5457] 12 9 7 15 12 9 13 7 11 9 10 8 9 12 7 6 9 10 10 9 13 13
[5479] 8 6 10 8 9 10 9 12 11 9 10 9 10 12 11 10 7 10 10 12 10 7
[5501] 9 11 12 9 7 7 4 12 7 10 11 11 14 12 13 9 7 8 8 9 12 8
[5523] 10 10 11 11 12 11 12 11 14 13 10 11 10 12 6 6 12 11 10 11 7 13
[5545] 10 11 11 9 7 11 9 6 10 4 7 15 10 10 10 9 13 9 13 9 8 11
[5567] 14 10 12 10 6 14 8 8 8 13 10 13 9 9 7 9 7 8 13 12 10 7
[5589] 10 8 10 6 12 10 11 6 11 11 15 9 9 11 12 12 13 10 11 7 7 10
[5611] 9 8 11 9 9 11 10 9 9 11 11 10 13 9 8 11 7 11 9 9 10 9
[5633] 8 9 7 10 14 6 9 9 12 9 8 12 9 10 11 11 10 13 12 10 11 12
[5655] 10 8 9 14 7 10 8 9 7 14 10 11 10 13 11 8 9 11 8 11 10 12
[5677] 9 14 10 8 16 6 12 12 8 11 12 11 8 8 6 11 13 10 10 11 10 10
[5699] 8 8 13 9 10 11 13 10 11 11 11 14 8 10 11 10 8 12 5 11 12 9
[5721] 13 13 11 9 11 12 11 10 6 11 8 10 9 8 10 10 11 11 13 12 13 7
[5743] 10 9 11 10 9 11 10 7 12 9 11 9 9 10 11 12 12 11 9 8 11 9
[5765] 12 9 12 9 10 7 12 8 13 8 8 9 5 12 12 6 8 7 8 7 12 4
[5787] 7 10 11 10 15 7 8 9 9 11 11 11 10 7 8 10 10 8 9 11 8 11
[5809] 12 12 14 11 7 10 13 9 11 9 11 13 9 9 11 8 11 10 14 13 14 12
[5831] 9 11 8 7 11 8 7 9 11 14 9 6 13 11 12 10 14 11 9 9 14 11
[5853] 8 13 7 12 10 6 11 5 13 11 11 9 8 12 12 6 8 9 13 10 11 10
[5875] 11 6 8 10 9 13 12 10 11 8 9 11 11 13 13 12 9 12 6 12 11 11
[5897] 10 10 8 10 8 10 10 14 10 6 10 11 10 12 11 8 8 8 8 5 14 9
[5919] 12 7 9 12 7 9 4 10 12 8 10 10 11 10 10 14 10 11 12 15 11 13
[5941] 12 8 10 8 12 7 11 12 10 9 11 6 12 5 7 11 6 10 11 9 9 14
[5963] 6 9 11 7 9 8 12 11 11 7 12 11 6 14 7 10 12 10 10 9 14 12
[5985] 10 9 5 13 12 7 8 11 14 11 14 11 13 8 11 8 8 9 10 12 9 7
[6007] 8 10 7 11 10 13 12 9 11 11 8 8 11 8 12 10 11 10 12 9 7 10
[6029] 10 10 9 10 11 13 13 11 11 10 11 13 9 14 12 7 9 11 9 11 10 9
[6051] 9 8 15 12 11 11 8 13 9 8 13 10 8 8 7 10 11 10 12 8 6 8
[6073] 10 10 15 15 11 5 12 9 10 10 9 10 8 8 9 7 7 14 10 8 8 7
[6095] 11 15 9 11 9 14 12 11 12 12 15 11 10 6 6 10 8 11 11 11 10 11
[6117] 12 7 12 8 15 10 11 12 10 9 9 8 10 12 11 13 13 14 11 10 7 9
[6139] 7 8 7 10 12 5 7 8 9 9 7 11 13 9 13 8 12 8 8 12 9 12
[6161] 11 9 10 8 7 9 9 11 13 10 8 10 12 12 9 9 10 11 11 12 10 13
[6183] 13 13 7 8 11 10 12 14 10 14 9 9 14 8 12 10 12 6 7 9 9 12
[6205] 6 11 11 11 6 4 6 12 11 7 7 12 9 8 11 7 10 6 12 12 8 11
[6227] 9 11 7 15 7 9 10 12 9 8 11 11 8 6 9 8 15 8 11 11 11 9
[6249] 8 10 14 10 12 11 13 9 12 7 10 9 9 14 8 14 11 12 9 11 10 10
[6271] 10 9 11 15 9 10 10 8 8 8 8 8 9 11 8 10 10 9 13 13 10 11
[6293] 11 12 8 7 12 11 10 9 5 10 11 9 11 11 11 9 10 9 11 10 10 12
[6315] 12 4 7 9 12 7 11 8 12 13 9 12 11 12 11 9 10 11 7 10 11 8
[6337] 9 8 7 10 11 11 13 8 10 8 12 9 9 12 9 14 13 11 9 14 12 9
[6359] 9 12 10 11 15 13 12 11 14 10 14 10 11 14 7 11 11 8 10 11 8 10
[6381] 6 11 6 11 9 9 12 9 5 10 13 13 6 10 9 11 13 9 12 13 11 12
[6403] 10 7 11 10 9 10 10 11 10 11 13 7 13 6 12 10 11 8 11 10 12 11
[6425] 11 4 9 5 12 13 11 7 9 9 9 11 8 8 7 10 9 9 12 13 13 11
[6447] 11 12 12 14 8 10 7 14 9 9 10 9 9 10 12 10 11 9 9 14 13 11
[6469] 8 12 7 14 11 10 11 9 6 11 10 8 6 8 10 10 10 14 9 8 8 10
[6491] 10 9 8 11 13 7 12 7 14 12 11 10 12 8 16 11 6 12 5 11 8 14
[6513] 12 11 7 9 14 8 13 11 15 12 5 9 8 9 12 11 10 9 12 12 8 12
[6535] 11 6 10 13 10 10 13 8 9 8 11 8 7 10 10 7 6 10 9 9 10 7
[6557] 12 9 9 7 10 13 12 11 6 13 10 12 10 7 12 11 10 11 8 13 6 9
[6579] 9 10 13 11 14 10 13 12 8 12 10 9 12 8 9 12 8 11 10 11 8 11
[6601] 6 11 8 11 13 9 12 9 11 5 10 10 9 10 10 13 11 11 14 10 10 5
[6623] 10 10 11 9 13 11 14 10 11 12 8 8 11 15 10 12 8 11 7 6 12 7
[6645] 12 8 10 13 8 14 9 9 8 6 9 9 10 9 10 15 10 5 11 11 5 8
[6667] 15 11 14 11 11 9 7 10 12 11 5 9 13 7 12 12 7 9 12 6 10 11
[6689] 10 9 10 9 11 12 12 12 8 10 3 11 14 10 6 9 11 9 10 12 11 10
[6711] 13 6 10 11 11 10 8 9 11 8 10 9 12 5 12 14 9 10 7 10 7 11
[6733] 8 9 11 13 8 9 10 8 13 10 9 10 11 12 10 12 9 8 9 10 10 11
[6755] 9 8 12 12 10 5 11 9 14 12 11 14 7 9 7 10 9 12 12 12 9 9
[6777] 9 6 11 13 10 14 10 10 10 7 12 14 10 10 11 11 11 12 11 8 11 9
[6799] 8 8 15 9 11 11 7 14 14 11 9 8 13 7 12 12 9 9 10 10 8 13
[6821] 6 11 8 13 10 11 9 12 12 12 9 5 7 10 8 7 5 8 12 8 11 9
[6843] 11 14 10 14 11 9 9 15 7 12 10 8 9 13 11 14 12 12 7 8 7 10
[6865] 13 9 7 8 7 8 10 13 7 10 11 8 8 10 13 8 7 11 12 11 9 14
[6887] 15 8 9 9 8 8 9 11 10 11 10 10 9 8 10 14 10 10 5 12 6 7
[6909] 6 13 12 12 9 10 10 11 13 13 8 10 15 11 9 7 7 8 8 7 9 11
[6931] 11 12 9 9 8 9 8 7 12 11 10 10 11 11 10 9 7 11 12 8 10 11
[6953] 13 16 14 10 10 7 9 10 4 10 10 10 10 10 13 9 9 10 12 13 8 11
[6975] 9 9 11 6 12 11 10 10 12 11 14 10 9 12 7 5 10 9 12 7 9 8
[6997] 10 9 11 11 9 9 8 8 10 8 12 10 7 8 8 9 8 9 7 13 8 7
[7019] 16 10 7 6 7 12 7 8 9 10 7 6 12 10 10 6 7 12 8 10 9 12
[7041] 10 12 12 10 10 10 6 12 11 9 9 5 8 9 13 12 8 9 13 8 10 9
[7063] 12 10 12 10 10 8 14 13 11 11 9 10 10 9 10 8 13 12 13 10 13 8
[7085] 14 9 11 13 10 8 12 13 11 9 11 8 10 10 13 10 11 9 12 12 10 9
[7107] 10 9 8 9 12 9 7 9 7 11 13 9 4 11 11 8 7 9 12 9 11 11
[7129] 10 9 11 11 11 10 9 12 7 7 10 10 9 10 11 11 8 13 6 10 11 9
[7151] 13 9 11 12 9 11 10 10 13 11 9 12 10 10 10 11 10 10 12 11 11 14
[7173] 10 10 6 10 10 7 11 13 11 9 8 8 9 11 8 9 8 9 12 8 12 13
[7195] 12 16 9 5 10 10 11 10 12 13 10 12 9 9 5 10 10 11 8 6 11 10
[7217] 9 10 11 13 9 11 8 9 5 12 8 8 11 12 9 14 11 13 5 12 10 11
[7239] 9 9 9 9 12 8 11 7 10 7 14 10 10 6 12 10 9 8 9 10 12 13
[7261] 10 9 8 11 9 11 10 13 11 7 10 8 10 8 14 12 6 13 9 9 10 8
[7283] 7 11 16 10 9 11 12 10 9 11 8 11 8 7 8 13 4 6 12 16 9 7
[7305] 10 10 9 6 10 9 8 12 9 9 11 11 11 15 10 12 6 11 11 13 11 12
[7327] 14 10 6 10 11 11 10 9 13 11 10 11 7 12 8 9 11 11 8 10 5 10
[7349] 14 9 11 10 12 6 8 13 9 9 5 11 14 5 12 10 8 11 11 7 11 8
[7371] 8 4 8 9 11 12 11 14 12 12 9 9 9 14 12 15 11 8 11 11 5 10
[7393] 6 9 9 7 10 14 12 8 10 12 9 9 8 9 15 11 12 8 11 10 12 10
[7415] 10 10 8 9 8 9 8 10 16 12 7 11 8 8 11 10 9 10 6 10 11 14
[7437] 8 11 7 12 8 11 13 9 10 12 11 11 9 10 10 8 10 9 14 14 16 9
[7459] 11 11 7 10 9 10 10 7 11 15 8 12 11 12 11 9 9 9 11 10 6 13
[7481] 10 10 12 11 9 10 9 11 9 6 14 11 9 14 10 7 7 12 12 6 9 8
[7503] 13 10 7 10 11 12 6 11 13 3 11 11 12 8 11 13 14 8 14 12 7 7
[7525] 11 7 8 9 10 7 7 9 10 10 7 9 8 9 10 9 8 12 10 10 12 10
[7547] 9 8 11 9 9 11 11 12 11 7 12 12 11 10 6 11 7 9 13 7 8 12
[7569] 11 13 10 16 10 12 14 12 7 10 13 9 11 7 10 12 8 12 12 9 11 7
[7591] 10 12 8 11 12 10 9 9 9 7 13 11 11 14 9 13 11 14 8 9 12 15
[7613] 8 10 6 9 14 9 9 10 11 13 7 6 10 10 11 13 12 10 12 8 11 11
[7635] 9 10 11 9 12 8 7 7 10 8 8 10 7 11 13 10 13 10 9 8 8 9
[7657] 12 9 10 11 8 12 9 11 5 13 9 11 15 9 9 10 8 12 12 6 11 6
[7679] 11 10 9 14 9 12 11 12 8 11 12 13 11 10 8 8 11 11 8 14 10 8
[7701] 11 16 9 12 8 11 9 8 9 10 9 9 9 11 8 6 12 5 7 10 12 12
[7723] 11 12 9 12 13 8 10 10 9 13 9 10 10 13 9 8 6 11 8 12 10 11
[7745] 13 13 12 9 12 12 11 9 12 8 13 13 8 6 6 11 10 12 8 10 6 7
[7767] 11 11 7 9 17 7 10 13 12 11 12 9 8 9 10 7 8 16 11 5 12 10
[7789] 10 11 5 13 12 12 9 10 13 11 11 8 9 10 8 15 10 9 7 10 11 11
[7811] 11 10 10 9 12 5 8 12 8 10 8 10 8 12 10 12 14 12 12 8 12 9
[7833] 10 10 7 9 12 11 10 10 11 4 12 11 12 10 5 9 5 7 14 12 7 7
[7855] 8 13 8 8 9 6 9 8 8 9 8 9 13 11 12 8 11 10 9 8 9 8
[7877] 9 12 10 7 9 9 13 12 8 10 10 10 12 11 10 8 15 5 10 12 7 13
[7899] 8 11 12 9 13 12 9 10 7 12 13 11 10 12 10 8 8 8 10 11 11 10
[7921] 13 12 11 10 11 6 13 15 9 9 8 6 9 14 10 7 10 8 10 11 13 9
[7943] 10 12 11 8 11 9 10 7 12 9 10 10 14 9 8 5 11 7 12 10 9 5
[7965] 9 13 12 11 10 11 8 13 13 7 7 8 9 13 11 10 5 9 12 8 11 11
[7987] 11 10 8 10 13 11 11 10 11 8 14 12 10 7 14 8 9 8 12 6 11 8
[8009] 10 13 9 10 9 12 8 8 11 14 11 8 14 12 8 8 10 7 8 14 8 10
[8031] 8 13 9 9 15 7 12 10 12 10 8 12 14 8 14 15 8 9 10 11 11 12
[8053] 5 5 12 10 8 6 12 12 11 11 11 10 11 10 12 8 11 11 8 7 8 11
[8075] 8 8 9 12 10 9 9 8 12 10 10 11 6 9 14 9 13 11 14 11 12 9
[8097] 6 10 10 7 11 9 11 10 12 9 11 12 6 13 10 10 9 9 10 10 7 10
[8119] 10 11 11 9 9 10 9 10 11 7 12 9 8 9 13 8 10 15 14 10 15 12
[8141] 13 10 10 12 11 8 7 12 13 8 14 8 9 12 10 10 9 13 8 10 13 6
[8163] 7 12 12 12 7 11 9 12 9 10 9 8 11 12 9 11 12 12 12 6 14 12
[8185] 13 13 9 10 14 12 7 12 12 11 9 8 7 12 12 7 11 9 10 9 10 9
[8207] 9 12 9 11 10 10 8 7 10 10 9 10 12 7 8 8 8 10 12 9 5 8
[8229] 9 8 12 7 7 10 10 8 11 11 6 9 7 10 5 12 10 13 9 3 12 13
[8251] 5 10 11 10 10 10 11 9 13 10 12 7 11 14 10 10 13 8 11 11 10 8
[8273] 11 10 8 10 12 8 9 12 10 8 10 11 9 12 5 7 9 14 9 7 10 12
[8295] 11 11 9 9 6 6 9 11 5 14 9 11 5 8 11 5 11 7 10 4 11 11
[8317] 7 11 12 9 10 12 11 12 13 9 10 10 15 9 8 10 11 9 13 10 7 13
[8339] 7 8 8 9 7 8 11 9 12 13 8 9 9 7 8 10 8 10 8 11 9 11
[8361] 9 10 8 14 13 11 7 10 9 10 10 10 12 8 9 9 8 10 11 10 9 10
[8383] 13 12 7 6 10 11 9 13 14 10 7 10 12 9 12 11 8 9 8 12 11 10
[8405] 10 13 9 10 12 10 12 9 10 12 10 7 9 8 12 10 14 9 12 9 9 8
[8427] 13 7 10 13 11 11 8 10 11 9 10 8 5 10 11 10 13 12 10 8 12 11
[8449] 9 13 6 9 8 14 10 9 7 9 11 11 11 10 12 10 7 11 13 8 9 12
[8471] 6 13 10 13 11 5 13 11 9 8 11 15 11 11 10 9 15 8 10 14 9 11
[8493] 8 8 10 10 10 9 8 9 8 9 12 7 11 13 8 6 10 9 9 13 9 6
[8515] 9 7 9 7 11 11 7 11 11 8 12 10 10 8 10 12 7 11 13 12 11 10
[8537] 8 11 12 6 9 10 13 9 13 6 13 12 13 7 12 10 10 8 6 15 8 7
[8559] 12 8 8 11 9 7 13 4 8 8 12 10 14 7 11 9 12 12 10 8 11 7
[8581] 16 6 7 12 11 10 7 14 13 13 10 8 9 11 12 11 15 9 6 9 4 8
[8603] 10 9 5 14 12 9 10 11 7 11 9 11 12 9 9 9 11 12 13 13 10 8
[8625] 15 9 11 11 9 13 14 10 11 10 7 10 9 14 13 11 8 13 14 11 11 14
[8647] 9 10 11 11 13 6 8 12 11 10 11 11 10 10 9 11 8 12 10 10 9 13
[8669] 10 10 11 7 15 8 9 10 9 11 10 10 10 8 11 10 15 10 10 9 9 11
[8691] 10 10 13 12 9 13 7 8 9 12 7 13 9 10 11 11 6 13 9 9 10 11
[8713] 10 12 13 8 13 9 9 10 10 13 6 12 7 15 8 9 11 12 8 9 12 14
[8735] 11 8 13 13 12 11 10 9 9 8 7 11 11 11 10 11 11 11 10 10 13 13
[8757] 12 9 11 10 8 11 9 10 8 6 12 12 9 11 11 16 6 13 10 8 8 12
[8779] 10 6 12 9 9 10 10 10 7 11 8 10 6 8 10 13 9 10 12 13 11 10
[8801] 10 12 11 12 8 10 10 9 6 7 6 10 12 13 10 8 13 10 10 9 7 6
[8823] 8 7 13 15 6 10 8 8 13 12 10 10 6 14 9 11 11 11 12 10 8 11
[8845] 14 12 10 6 11 12 9 11 13 11 13 7 9 12 8 12 8 12 13 8 11 12
[8867] 10 8 12 11 9 8 9 9 12 7 7 11 11 11 7 12 8 8 11 9 10 7
[8889] 11 9 8 10 9 9 10 5 11 10 8 11 15 9 8 14 8 10 10 10 7 6
[8911] 9 13 11 14 11 11 11 8 8 8 11 9 10 7 8 11 7 13 11 10 7 9
[8933] 15 12 8 7 12 12 13 10 12 13 13 7 13 9 12 10 10 11 11 12 11 11
[8955] 9 8 11 12 7 11 9 13 7 12 8 10 8 10 15 7 7 13 9 8 9 12
[8977] 10 9 6 8 9 10 7 10 12 9 10 12 13 8 12 10 13 8 9 11 7 8
[8999] 9 9 10 11 8 16 11 8 8 9 11 10 9 10 13 10 8 12 10 9 9 12
[9021] 11 12 12 9 11 12 9 12 12 13 11 5 10 11 8 12 12 8 7 8 6 13
[9043] 9 10 7 12 11 9 14 11 9 9 9 8 12 8 6 14 7 8 14 10 9 11
[9065] 9 9 13 11 12 12 6 13 13 5 9 13 8 7 6 8 6 7 10 9 12 14
[9087] 6 13 6 10 12 13 11 10 11 10 8 9 9 9 7 10 11 8 9 10 8 8
[9109] 12 9 9 12 12 6 9 12 10 11 11 10 12 8 9 9 12 11 11 9 14 9
[9131] 7 8 9 5 11 10 9 12 12 15 9 12 9 11 10 9 10 6 10 13 7 9
[9153] 9 13 12 7 14 9 11 9 7 8 13 8 13 11 10 10 11 10 12 11 12 11
[9175] 13 11 7 13 7 8 9 8 8 10 12 10 12 11 10 7 8 9 6 10 9 10
[9197] 7 7 8 10 9 9 10 14 11 9 13 7 11 11 5 11 8 12 12 7 10 10
[9219] 9 8 12 8 10 12 12 14 9 9 11 11 9 10 11 7 11 11 10 9 13 7
[9241] 10 9 11 13 12 12 11 13 9 6 7 8 13 12 5 11 11 7 7 10 10 11
[9263] 10 13 6 10 9 7 7 10 8 12 10 9 9 13 12 12 8 9 8 6 10 8
[9285] 6 11 10 14 9 7 8 10 9 5 6 8 8 13 9 14 9 13 8 8 5 11
[9307] 10 7 7 12 9 7 10 8 11 12 10 11 9 8 8 4 12 12 10 10 7 10
[9329] 6 8 11 14 11 10 12 12 12 11 15 11 7 8 7 12 7 8 9 9 12 14
[9351] 11 6 12 10 7 11 10 13 11 12 10 13 13 10 8 7 11 15 10 10 11 8
[9373] 6 12 12 12 12 12 10 7 9 12 14 10 10 9 11 11 9 11 10 7 4 11
[9395] 8 14 13 11 9 12 7 5 7 9 11 10 8 13 16 10 13 13 12 10 10 12
[9417] 7 8 11 10 11 14 10 8 8 6 14 8 11 15 9 13 10 9 11 6 12 9
[9439] 6 8 7 9 11 7 11 14 8 14 11 9 6 12 9 10 12 11 10 12 12 13
[9461] 8 14 10 11 7 10 10 9 8 12 6 9 8 7 14 11 9 13 9 12 9 12
[9483] 8 14 8 11 10 9 10 13 12 12 12 11 11 9 10 11 11 11 12 9 10 15
[9505] 10 10 6 11 8 14 11 9 7 9 10 11 9 8 12 11 11 9 9 8 12 11
[9527] 11 11 10 8 13 10 11 12 13 7 10 9 11 9 12 8 9 7 9 9 7 10
[9549] 10 11 8 11 9 14 9 11 9 12 9 12 9 10 9 13 13 10 8 10 12 10
[9571] 8 10 11 10 8 10 8 13 11 12 10 8 7 12 12 12 9 9 10 7 11 12
[9593] 7 10 8 10 13 9 11 9 7 9 9 12 7 12 12 13 10 11 9 10 12 11
[9615] 12 10 5 11 11 10 9 11 12 13 8 9 11 13 8 8 11 10 7 9 10 10
[9637] 15 12 13 9 12 14 8 7 13 9 12 9 9 11 9 11 9 10 12 11 8 9
[9659] 9 8 7 7 12 11 7 8 7 13 7 9 9 6 11 10 7 10 13 13 10 12
[9681] 9 10 10 11 11 7 10 9 11 7 10 11 11 7 10 10 9 9 7 9 13 8
[9703] 9 7 12 7 9 9 13 12 8 9 9 11 10 13 10 9 12 10 14 8 12 11
[9725] 10 11 10 11 6 6 11 12 11 10 13 10 9 12 7 10 10 8 8 11 7 8
[9747] 8 9 10 10 11 8 11 11 12 10 10 8 7 7 11 11 11 9 9 14 10 10
[9769] 10 11 11 10 7 9 10 13 13 10 6 10 9 9 12 14 16 10 9 9 12 9
[9791] 6 12 8 11 10 12 6 11 11 11 14 10 6 13 13 10 7 11 7 10 7 6
[9813] 10 13 9 9 10 10 9 15 8 10 11 14 8 9 9 7 9 10 12 11 13 6
[9835] 9 13 12 12 14 11 11 10 11 7 12 10 9 11 8 8 12 10 10 12 10 11
[9857] 8 8 5 8 12 9 11 13 10 8 7 12 10 13 8 10 9 9 12 11 12 12
[9879] 11 7 9 11 10 11 9 8 8 7 9 4 10 12 10 5 10 13 15 12 5 8
[9901] 6 10 11 11 10 10 11 8 8 9 6 12 10 10 11 13 6 10 13 9 13 8
[9923] 9 7 12 8 10 13 10 11 11 10 10 11 12 10 9 11 7 10 10 7 15 11
[9945] 11 7 10 12 5 10 9 9 12 11 9 7 10 11 10 11 9 11 6 11 12 10
[9967] 8 8 7 9 8 12 10 13 10 12 10 13 12 12 8 9 10 13 7 9 10 12
[9989] 13 11 13 9 12 10 12 9 12 10 13 8
Är nån här telepatisk?
- Gör ett NHST för att testa telepatisk förmåga.
- Operationalisering: “Känn” färgen på 20 spelkort. Sitt rygg mot rygg med en försöksledare som tittar på ett spelkort i taget och försöker överföra vilket färg kortet har till dig. För varje spelkort gör du ditt bästa för att “känna”, försöksledaren noterar om du svarar rätt. Blanda mellan varje kort.
- Alla tar rollen som försöksdeltagare, räkna ett p-värde per person.
Multiple Comparisons
Bonferroni correction
\[ \frac{0.05}{\text{antalet jämförelser}} \]
- Bonferroni correction är sista utvägen
- Man kan också strunta i det.
- Bättre alternativ: mer avancerade modeller eller mer data.