catR

Dalam test yang adaptif terkomputerisasi (CAT) atau TAK (Test Adaptif Terkomputerisasi) memiliki sebuah “engine” yang berisi algoritma dalam memilih soal dengan tingkat kesulitan yang disesuaikan pada kemampuan yang dimiliki “testee”, kemudian setelah “testee” memberikan jawaban, komputer akan menghitung prakiraan atau taksiran kemampuan daripada testee. Untuk selanjutnya komputer akan memilih soal yang lebih sulit atau lebih mudah yang disesuaikan dengan kemampuan “testee” tadi, demikian terus menerus iterasi atau pengulangan hingga didapatkan suatu taksiran kemampuan yang ajeg (reliable) atas kemampuan “testee”.

Untuk menjalankan proses di atas para ahli yang terdiri dari David Magis (U Liege, Belgium), Gilles Raiche (UQAM, Canada), Juan Ramon Barrada (U Zaragoza, Spain) membuat paket yang disebut catR dengan paket ini kita akan lebih mengerti bagaimana cara TAK bekerja.

Tahapan dan Proses catR

1.Memanggil Paket catR

2.Bank Item/ Soal

Dalam menjalan TAK/ atau CAT diperlukan bank soal yang berisi item-item dan parameternya, parameter item dihasilkan dengan melakukan kalibrasi melalui analisa butir soal dengan metode Item Response Theory(IRT) atau TRB. untuk 1 PL (parameter Logistik) dipergunakan hanya tingkat kesulitan soal, jika 2PL akan ditambah dengan tingkat diskriminasi soal, dan jika 3 PL akan dipergunakan 2 parameter plus parameter yang ketiga yakni guessing atau tebak-tebakan.

Untuk simulasi ini maka akan dibuat simulasi 100 item yang telah dikalibrasi dengan 3PL

##           a          b          c d
## 1 0.9268209 -0.6264538 0.16471940 1
## 2 1.0051725  0.1836433 0.04626749 1
## 3 0.8944128 -0.8356286 0.23859453 1
## 4 1.0195471  1.5952808 0.22446212 1
## 5 0.9229441  0.3295078 0.23592426 1
## 6 1.2417140 -0.8204684 0.18092269 1

Dapat dilihat a: menerangkan koefisien diskriminasi, b=Tingkat kesulitan, c=koefisien guessing, dan d = inattention karena kita menggunakan 3 PL maka hanya menggunakan a,b dan c.

3.Desain CAT atau TAK

Desain sebuah test adaptif terkomputerisasi melalui tahapan sebagai berikut

4.Memulai test dengan tingkat kesulitan soal = 0

Tingkat kesulitan 0 sebagai tolak ukur diasumsikan jika erhasil maka testee akan berada ditengah-tengah distribusi atau sama dengan 50 persentile tingkat kemampuannya.

Start <- list(nrItems = 1, theta = 0, startSelect = "MFI")

5.Menentukan item/ soal berikutnya dengan metode =MFI dan penaksiran kemampuan melalui =EAP

dalam menentukan item berikutnya banyak metodenya kalini kita menggunakan MFI= maximum fisher information dan EAP = expected a posteriori, metode metode ini panjang jika dijelaskan disini.

test <- list(method = "EAP", itemSelect = "MFI")

6.Menentukan kapan Test akan berhenti

dalam CAT ada dua jenis apakah akan dihentikan setelah jumlah soal tertentu atau berdasarkan presisinya yang dilihat dari SEM (standard error of measurementnya), kali ni kita menggunakan yang berdasarkan jumlah item tertentu yakni 20 soal

Stop <- list(rule = "length", thr = 20)

7.Menentukan estimasi tingkat kemampuan testee

dalam simulasi ini digunakan metode EAP = expected a posteriori

Final <- list(method = "EAP")

8.Membuat simulasi pola jawaban dari testee

Ini adalah simulasi seorang jawaban testee

9.Hasil secara keseluruhan analisa

## List of 46
##  $ trueTheta         : num 1
##  $ model             : NULL
##  $ testItems         : int [1:20] 60 47 78 71 82 63 94 66 9 87 ...
##  $ itemPar           : num [1:20, 1:4] 1.26 1.29 1.29 1.33 1.13 ...
##   ..- attr(*, "dimnames")=List of 2
##   .. ..$ : NULL
##   .. ..$ : chr [1:4] "a" "b" "c" "d"
##  $ pattern           : num [1:20] 1 0 1 0 1 1 0 1 1 1 ...
##  $ thetaProv         : num [1:20] 0.4353 0.0215 0.2803 0.0152 0.2111 ...
##  $ seProv            : num [1:20] 0.887 0.785 0.736 0.677 0.633 ...
##  $ ruleFinal         : chr "length"
##  $ thFinal           : num 1.11
##  $ seFinal           : num 0.43
##  $ ciFinal           : num [1:2] 0.264 1.948
##  $ genSeed           : NULL
##  $ startFixItems     : NULL
##  $ startSeed         : NULL
##  $ startNrItems      : num 1
##  $ startTheta        : num 0
##  $ startD            : num 1
##  $ startRandomesque  : num 1
##  $ startRandomSeed   : NULL
##  $ startSelect       : chr "MFI"
##  $ provMethod        : chr "EAP"
##  $ provDist          : chr "norm"
##  $ provPar           : num [1:2] 0 1
##  $ provRange         : num [1:2] -4 4
##  $ provD             : num 1
##  $ itemSelect        : chr "MFI"
##  $ infoType          : chr "observed"
##  $ randomesque       : num 1
##  $ testRandomSeed    : NULL
##  $ AP                : num 1
##  $ constantPattern   : NULL
##  $ cbControl         : NULL
##  $ cbGroup           : NULL
##  $ stopRule          : chr "length"
##  $ stopThr           : num 20
##  $ stopAlpha         : num 0.05
##  $ endWarning        : logi FALSE
##  $ finalMethod       : chr "EAP"
##  $ finalDist         : chr "norm"
##  $ finalPar          : num [1:2] 0 1
##  $ finalRange        : num [1:2] -4 4
##  $ finalD            : num 1
##  $ finalAlpha        : num 0.05
##  $ save.output       : logi FALSE
##  $ output            : chr [1:3] "path" "name" "csv"
##  $ assigned.responses: logi FALSE
##  - attr(*, "class")= chr "cat"

10.Hasil estimasi CatR

## Random generation of a CAT response pattern 
##   without fixing the random seed 
##  
##  Item bank calibrated under Three-Parameter Logistic model 
##  
##  True ability level: 1 
##  
##  Starting parameters: 
##    Number of early items: 1 
##    Early item selection: maximum informative item for starting ability 
##    Starting ability: 0 
## 
##  Adaptive test parameters: 
##    Next item selection method: maximum Fisher information 
##    Provisional ability estimator: Expected a posteriori (EAP) estimator 
##      Provisional prior ability distribution: N(0,1) prior 
##    Ability estimation adjustment for constant pattern: none 
## 
##  Stopping rule: 
##    Stopping criterion: length of test 
##     Maximum test length: 20 
## 
##  Randomesque method: 
##    Number of 'randomesque' starting items: 1
##    Number of 'randomesque' test items: 1
## 
##  Content balancing control: 
##    No control for content balancing 
## 
##  Adaptive test details: 
##                                                                        
## Nr        1     2     3     4     5     6     7     8     9    10    11
## Item     60    47    78    71    82    63    94    66     9    87    22
## Resp.     1     0     1     0     1     1     0     1     1     1     1
## Est.  0.435 0.021  0.28 0.015 0.211 0.463 0.306 0.417 0.575 0.748 0.862
## SE    0.887 0.785 0.736 0.677 0.633 0.597 0.568 0.553 0.532 0.519 0.509
##                                                            
## Nr       12    13    14    15    16    17    18    19    20
## Item      7    33     8    85    19    18    25    79    76
## Resp.     1     1     1     1     1     0     0     1     1
## Est.  0.953  1.03 1.105 1.174 1.243 1.126 1.005 1.053 1.106
## SE    0.499  0.49 0.485 0.479 0.474 0.456 0.441 0.435  0.43
## 
##  Satisfied stopping rule: 
##    Length of test 
##  
##  Final results: 
##    Length of adaptive test: 20 items 
##    Final ability estimator: Expected a posteriori (EAP) estimator 
##    Final prior distribution: N(0,1) prior 
##    Final ability estimate (SE): 1.106 (0.43) 
##    95% confidence interval: [0.264,1.948] 
## 
##  Output was not captured!

Hasilnya bisa dilihat dari thetanya dan standard error pengukurannya bisa dilihat dari semthetanya dibagian paling bawah.

11.Plot proses test cat

## The plot was not captured!

12.Plot proses test cat dengan semnya

## The plot was not captured!

Penutup

Demikian penjelasan simulasi catR Mudah-mudahan menjadi barokah buat kita semua