Tutorial Presentation

class: center, middle, inverse, title-slide

# Tutorial Presentation
## Conducting SimulationStudies in Psychometrics⚔
### Li Ping Yen & Hui Hsin Wang
### 2018/06/04

---

#Set-Up
####設定設定讀取和寫入檔案的位置

```r
setwd('D:/dataM/Tutorial')
```

---
## Set Simulation Conditions
#### 1.設定模擬人數和題數

```r
Num_Sim <- 1500 
Num_Items <- 300 
```
#### 2.設定題數的區間(長短和間距)

```r
min_length <- 210 
max_length <- 300 
interval <- 30    
```
#### 3.Set theta mean/sd 設定能力參數

```r
Theta_mean <- 1.6
Theta_sd <- 0.5
```
---
#### 4.設定試題難度參數

```r
Rasch_mean <- 0.4
Rasch_sd <- 0.8
```

#### 5.設定分數 (41通過)

```r
scale_mean <- 50
scale_sd <- 10
scale_cut <- 41
```
#### 6.設定重複次數

```r
reps <- 2
```
---
#### 7.載package並設定亂數種子

```r
### Load IRT Toys for IRT estimation
library(irtoys)
### Load reshape package for restructuring data
library(reshape)
set.seed(5)
```
#### 8.產生真實能力參數的模擬數據

```r
Simulees <- data.frame("Theta" = rnorm(n=Num_Sim, mean=Theta_mean, sd=Theta_sd))
```
#### 9.產生每筆模擬數據的ID

```r
Simulees$ID <- seq (1 : Num_Sim)
```
--

###Setup completed

##Begin Simulation

---

```r
ptm <- proc.time()
REP <- vector("list", reps)
for (r in 1:reps) {
Item_Parameters <- data.frame("Difficulty" = rnorm(n=Num_Items, mean=Rasch_mean, sd=Rasch_sd))
Item_Parameters$Item_ID <- seq (1 : Num_Items)
data <- merge(Item_Parameters, Simulees)
data$Model <- round(1/(1 + exp(data$Difficulty - data$Theta)), 5)
data$Uniform <- runif(nrow(data), min=0, max=1)
data$Score <- as.numeric(ifelse(data$Model > data$Uniform, yes="1", no="0"))
flip_data <- cast(data, ID ~ Item_ID, value='Score')
resp_data <- data.frame(flip_data[c(-1)])
Diffs <- aggregate(data$Difficulty, list(data$Item_ID), max)
a_parm <- rep.int(1, nrow(Item_Parameters))
c_parm <- rep.int(0, nrow(Item_Parameters))
DIFF <- as.matrix(data.frame(a_parm, Diffs$x, c_parm))
for (j in seq(min_length,max_length,interval)) {
est <- data.frame(mlebme(resp_data[ ,1:j], DIFF[1:j, ], method = "ML"))
est$ID <- seq (1 : Num_Sim)
infile <- paste("rep",r,"n",j,".csv",sep="")
write.csv( est, file=infile) 
}
}
proc.time() - ptm
```

```
#    user  system elapsed 
#   67.41    0.49   67.97
```
---
- 示意圖
#####生成的檔案會出現在設定的資料夾

```r
knitr::include_graphics("D:/dataM/Tutorial/02.png")
```

![](D:/dataM/Tutorial/02.png)

---
###END SIMULATION And Then......
- 合併檔案

```r
#生成容器儲存數據
REP <- vector("list", reps)
Length <- vector("list", length(seq(min_length,max_length,interval)))
#讀取所有結果檔案
for (r in 1:reps) {
for (j in seq(min_length,max_length,interval)) {
infile <- paste("rep",r,"n",j,".csv",sep="")
Length[[j]] <- data.frame(read.csv(infile),"Rep"=r) 
}
REP[[r]] <- data.frame(do.call("rbind",Length))
}
#合併所有數據
Reps_Combined <- data.frame(do.call("rbind",REP))
#將估計的能力參數和真實能力參數配對
merge_data <- merge(Simulees, Reps_Combined, by.x="ID", by.y="ID")
#將能力參數轉換成量尺分數
merge_data$scale_true <- round((((merge_data$Theta - Theta_mean)/Theta_sd)*scale_sd)+scale_mean)
merge_data$scale_est <- round((((merge_data$est - Theta_mean)/Theta_sd)*scale_sd)+scale_mean)
```
---

```r
#計算每個能力參數的估計結果
#TRUE PASSER
merge_data$outcome[((merge_data$scale_true >= scale_cut) & (merge_data$scale_est >= scale_cut))] = "TP"
#TRUE FAILER
merge_data$outcome[((merge_data$scale_true < scale_cut) & (merge_data$scale_est < scale_cut))] = "TF"
#FALSE PASSER 
merge_data$outcome[((merge_data$scale_true < scale_cut) & (merge_data$scale_est >= scale_cut))] = "FP"
#FALSE FAILER
merge_data$outcome[((merge_data$scale_true >= scale_cut) & (merge_data$scale_est < scale_cut))] = "FF"
merge_data <- merge_data[order(merge_data$ID, merge_data$n, merge_data$Rep),]#合併所有data
head(merge_data,8)
```

```
#   ID    Theta X      est       sem   n Rep scale_true scale_est outcome
# 1  1 1.179572 1 1.386291 0.1584188 210   1         42        46      TP
# 6  1 1.179572 1 1.003542 0.1531658 210   2         42        38      FF
# 4  1 1.179572 1 1.374889 0.1479674 240   1         42        45      TP
# 8  1 1.179572 1 1.053247 0.1443649 240   2         42        39      FF
# 7  1 1.179572 1 1.251700 0.1376732 270   1         42        43      TP
# 5  1 1.179572 1 1.053212 0.1360158 270   2         42        39      FF
# 3  1 1.179572 1 1.239719 0.1300865 300   1         42        43      TP
# 2  1 1.179572 1 1.127254 0.1304225 300   2         42        41      TP
```

```r
write.csv( merge_data, file= "Sim_Results.csv") 
```
---
- 分類結果

```r
#讀取模擬結果的檔案
merge_data <- data.frame(read.csv("Sim_Results.csv"))
#用測驗長度情境和重複計算分類比率
class <- data.frame(xtabs(~outcome+Rep+n, merge_data))
#把測驗長度變項轉成字串 
class$n <- as.character(class$n)
#重組分類數據
flip_class <- cast(class, Rep+n ~ outcome, value='Freq')
head(flip_class)
```

```
#   Rep   n FF FP  TF   TP
# 1   1 210 70 29 211 1190
# 2   1 240 52 29 211 1208
# 3   1 270 54 32 208 1206
# 4   1 300 50 28 212 1210
# 5   2 210 58 29 211 1202
# 6   2 240 50 34 206 1210
```
---

```r
#計算所有測驗長度情境中FP和FF的平均數
FP_m <- aggregate(FP~n,flip_class, mean)
names(FP_m)[2] = 'Mean'
FP_m$Type <- "FP"
FF_m <- aggregate(FF~n,flip_class, mean)
names(FF_m)[2] = 'Mean'
FF_m$Type <- "FF"
misclass_m <- rbind(FP_m, FF_m)
#計算FP和FF的比例
misclass_m$Rate <- (misclass_m$Mean/Num_Sim)*100
#計算錯誤分類標準差和平均值的標準差
FP_s <- aggregate(FP~n,flip_class, sd)
names(FP_s)[2] = 'SD'
FP_s$SE <- FP_s$SD/(reps**.5)
FP_s$Type <- "FP"
FF_s <- aggregate(FF~n,flip_class, sd)
names(FF_s)[2] = 'SD'
FF_s$SE <- FF_s$SD/(reps**.5)
FF_s$Type <- "FF"
misclass_s <- rbind(FP_s, FF_s)
###合併錯誤分類的結果
misclass_results <- merge(misclass_m, misclass_s, by.x=c("Type","n"), by.y=c("Type","n"))
misclass_results
```
---
####分類結果作圖
![](Tutorial_files/figure-html/unnamed-chunk-17-1.png)
---
- 計算模擬數據的誤差

```r
#計算
merge_data$deviance <- merge_data$scale_est - merge_data$scale_true
Bias <- aggregate(deviance~n+ID+scale_true, merge_data, sum)
Bias$bias <- Bias$deviance/(reps)
summary(Bias$bias)
```

```
#    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
# -7.5000 -1.5000  0.0000  0.1355  1.5000 10.5000
```
- 計算模擬數據的標準誤

```r
#計算
SE <- aggregate(scale_est~ID+n+scale_true, merge_data, sd)
names(SE)[4] = 'SE'
summary(SE$SE)
```

```
#    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
#  0.0000  0.7071  2.1213  2.4551  3.5355 16.2635
```
---
- 計算模擬數據的均方根誤差

```r
merge_data$deviance_sq <- merge_data$deviance**2
RMSE <- aggregate(deviance_sq~n+ID+scale_true, merge_data, sum)
RMSE$RMSE<- sqrt(RMSE$deviance_sq/(reps - 1))
summary(RMSE$RMSE)
```

```
#    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
#   0.000   2.236   3.606   3.888   5.099  17.000
```
---
- 計算測驗長度的主要效果

```r
data_ANOVA = data.frame(bias = Bias$bias, 
	group = factor(Bias$n))
ANOVA <- aov(bias ~ group, data=data_ANOVA)
summary(ANOVA)
```

```
#               Df Sum Sq Mean Sq F value Pr(>F)
# group          3      4   1.365   0.276  0.843
# Residuals   5996  29696   4.953
```

```r
data_ANOVA$group
```

```
#    [1] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#   [18] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#   [35] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#   [52] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#   [69] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#   [86] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [103] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [120] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [137] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [154] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [171] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [188] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [205] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [222] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [239] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [256] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [273] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [290] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [307] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [324] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [341] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [358] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [375] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [392] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [409] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [426] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [443] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [460] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [477] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [494] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [511] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [528] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [545] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [562] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [579] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [596] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [613] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [630] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [647] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [664] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [681] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [698] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [715] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [732] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [749] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [766] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [783] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [800] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [817] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [834] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [851] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [868] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [885] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [902] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [919] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
#  [936] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
#  [953] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
#  [970] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
#  [987] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1004] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1021] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1038] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1055] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1072] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1089] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1106] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1123] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1140] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1157] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1174] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1191] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1208] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1225] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1242] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1259] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1276] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1293] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1310] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1327] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1344] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1361] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1378] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1395] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1412] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1429] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1446] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1463] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1480] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1497] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1514] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1531] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1548] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1565] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1582] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1599] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1616] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1633] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1650] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1667] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1684] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1701] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1718] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1735] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1752] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1769] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1786] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1803] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1820] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1837] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1854] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1871] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1888] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1905] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1922] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [1939] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [1956] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [1973] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [1990] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2007] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2024] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2041] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2058] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2075] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2092] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2109] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2126] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2143] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2160] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2177] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2194] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2211] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2228] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2245] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2262] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2279] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2296] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2313] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2330] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2347] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2364] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2381] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2398] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2415] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2432] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2449] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2466] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2483] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2500] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2517] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2534] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2551] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2568] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2585] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2602] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2619] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2636] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2653] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2670] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2687] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2704] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2721] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2738] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2755] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2772] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2789] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2806] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2823] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2840] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2857] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2874] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2891] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2908] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2925] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [2942] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [2959] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [2976] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [2993] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3010] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3027] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3044] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3061] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3078] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3095] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3112] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3129] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3146] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3163] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3180] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3197] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3214] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3231] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3248] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3265] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3282] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3299] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3316] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3333] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3350] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3367] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3384] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3401] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3418] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3435] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3452] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3469] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3486] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3503] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3520] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3537] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3554] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3571] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3588] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3605] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3622] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3639] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3656] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3673] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3690] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3707] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3724] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3741] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3758] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3775] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3792] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3809] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3826] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3843] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3860] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3877] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3894] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3911] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3928] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [3945] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [3962] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [3979] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [3996] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4013] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4030] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4047] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4064] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4081] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4098] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4115] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4132] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4149] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4166] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4183] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4200] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4217] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4234] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4251] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4268] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4285] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4302] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4319] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4336] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4353] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4370] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4387] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4404] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4421] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4438] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4455] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4472] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4489] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4506] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4523] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4540] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4557] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4574] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4591] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4608] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4625] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4642] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4659] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4676] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4693] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4710] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4727] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4744] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4761] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4778] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4795] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4812] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4829] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4846] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4863] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4880] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4897] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4914] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4931] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [4948] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [4965] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [4982] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [4999] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5016] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5033] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5050] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5067] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5084] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5101] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5118] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5135] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5152] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5169] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5186] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5203] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5220] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5237] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5254] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5271] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5288] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5305] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5322] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5339] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5356] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5373] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5390] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5407] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5424] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5441] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5458] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5475] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5492] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5509] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5526] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5543] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5560] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5577] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5594] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5611] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5628] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5645] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5662] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5679] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5696] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5713] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5730] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5747] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5764] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5781] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5798] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5815] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5832] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5849] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5866] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5883] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5900] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5917] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210
# [5934] 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240
# [5951] 270 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270
# [5968] 300 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# [5985] 210 240 270 300 210 240 270 300 210 240 270 300 210 240 270 300
# Levels: 210 240 270 300
```

```r
data_ANOVA = data.frame(se = SE$SE, 
	group = factor(SE$n))
ANOVA <- aov(se ~ group, data=data_ANOVA)
summary(ANOVA)
```

```
#               Df Sum Sq Mean Sq F value   Pr(>F)    
# group          3    169   56.38   15.15 8.01e-10 ***
# Residuals   5996  22309    3.72                     
# ---
# Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
```

```r
data_ANOVA = data.frame(rmse = RMSE$RMSE, 
	group = factor(RMSE$n))
ANOVA <- aov(rmse ~ group, data=data_ANOVA)
summary(ANOVA)
```

```
#               Df Sum Sq Mean Sq F value   Pr(>F)    
# group          3    333  111.15   24.46 9.96e-16 ***
# Residuals   5996  27243    4.54                     
# ---
# Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
```
---
####標準差圖
![](Tutorial_files/figure-html/unnamed-chunk-22-1.png)
---
####誤差圖

![](Tutorial_files/figure-html/unnamed-chunk-23-1.png)