CBDA-SL and Knockoff Filter Results on the Null Dataset - n=300 p=900, 9000 jobs x 10 experiments - MSE and Accuracy as ranking metrics for CBDA
Simeone Marino, Ivo Dinov, Jiachen Xu
Jun 25 2017
Some useful information
This is a summary of a set of 1 experiments using a LONI pipeline workflow file that performs 3000 independent jobs, each one with the CBDA-SL and the knockoff filter feature mining strategies. Each experiments has a total of 9000 jobs and is uniquely identified by 6 input arguments: # of jobs [M], % of missing values [misValperc], min [Kcol_min] and max [Kcol_max] % for FSR-Feature Sampling Range, min [Nrow_min] and max [Nrow_max] % for SSR-Subject Sampling Range.
This document has the final results, by experiment. See https://drive.google.com/file/d/0B5sz_T_1CNJQWmlsRTZEcjBEOEk/view?ths=true for some general documentation of the CBDA-SL project and github https://github.com/SOCR/CBDA for some of the code.
Features selected by both the knockoff filter and the CBDA-SL algorithms are shown as spikes in the histograms shown below. I list the top features selected, set to 15 here.
## [1] EXPERIMENT 2
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 0 5 15 30 60
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 2 9000 0 5 15 30 60
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "2"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 887 143 0.1568154 387 138 0.1494105 408 109 6.5465465
## 423 141 0.1546222 629 138 0.1494105 859 41 2.4624625
## 783 140 0.1535256 815 133 0.1439971 627 34 2.0420420
## 436 139 0.1524290 60 132 0.1429144 780 33 1.9819820
## 444 138 0.1513324 229 131 0.1418317 887 24 1.4414414
## 627 138 0.1513324 865 131 0.1418317 687 22 1.3213213
## 892 136 0.1491392 164 130 0.1407490 845 21 1.2612613
## 225 134 0.1469459 264 130 0.1407490 139 20 1.2012012
## 346 134 0.1469459 642 130 0.1407490 327 20 1.2012012
## 240 132 0.1447527 719 130 0.1407490 510 19 1.1411411
## 553 130 0.1425595 166 128 0.1385836 68 18 1.0810811
## 467 129 0.1414629 344 128 0.1385836 212 18 1.0810811
## 564 128 0.1403663 427 128 0.1385836 13 17 1.0210210
## 655 128 0.1403663 459 127 0.1375009 444 16 0.9609610
## 879 128 0.1403663 23 126 0.1364183 490 15 0.9009009
##
##
##
##
##
##
## [1] EXPERIMENT 3
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 0 15 30 30 60
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 3 9000 0 15 30 30 60
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "3"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 887 293 0.1424231 404 281 0.1341007 780 2 11.764706
## 524 281 0.1365901 748 279 0.1331463 27 1 5.882353
## 261 279 0.1356179 333 273 0.1302829 139 1 5.882353
## 616 272 0.1322153 127 271 0.1293284 227 1 5.882353
## 212 270 0.1312432 760 271 0.1293284 328 1 5.882353
## 423 269 0.1307571 883 271 0.1293284 345 1 5.882353
## 845 269 0.1307571 129 270 0.1288512 446 1 5.882353
## 337 267 0.1297849 545 270 0.1288512 475 1 5.882353
## 824 266 0.1292988 655 270 0.1288512 504 1 5.882353
## 327 264 0.1283266 331 269 0.1283740 585 1 5.882353
## 378 263 0.1278406 818 268 0.1278968 606 1 5.882353
## 892 262 0.1273545 511 265 0.1264651 627 1 5.882353
## 87 261 0.1268684 685 265 0.1264651 700 1 5.882353
## 299 261 0.1268684 66 264 0.1259879 784 1 5.882353
## 746 261 0.1268684 152 264 0.1259879 816 1 5.882353
##
##
##
##
##
##
## [1] EXPERIMENT 4
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 0 1 5 60 80
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 4 9000 0 1 5 60 80
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "4"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 887 62 0.2292306 832 55 0.1851415 408 102 10.909091
## 25 60 0.2218361 33 52 0.1750429 859 37 3.957219
## 542 56 0.2070470 457 52 0.1750429 780 34 3.636364
## 137 54 0.1996525 71 51 0.1716767 627 32 3.422460
## 42 53 0.1959552 184 51 0.1716767 872 23 2.459893
## 40 52 0.1922579 486 50 0.1683105 490 21 2.245989
## 872 52 0.1922579 630 50 0.1683105 687 17 1.818182
## 12 51 0.1885607 50 49 0.1649443 712 17 1.818182
## 139 51 0.1885607 63 49 0.1649443 510 15 1.604278
## 261 51 0.1885607 152 49 0.1649443 327 14 1.497326
## 870 51 0.1885607 466 49 0.1649443 13 13 1.390374
## 13 48 0.1774689 496 49 0.1649443 512 13 1.390374
## 650 48 0.1774689 597 49 0.1649443 61 12 1.283422
## 553 47 0.1737716 649 49 0.1649443 139 12 1.283422
## 606 47 0.1737716 703 49 0.1649443 212 12 1.283422
##
##
##
##
##
##
## [1] EXPERIMENT 5
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 0 5 15 60 80
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 5 9000 0 5 15 60 80
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "5"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 887 194 0.2039722 140 139 0.1508263 408 236 20.450607
## 423 155 0.1629675 258 137 0.1486561 780 75 6.499133
## 542 155 0.1629675 276 137 0.1486561 627 58 5.025997
## 627 154 0.1619161 154 132 0.1432307 859 48 4.159445
## 348 150 0.1577105 772 132 0.1432307 771 34 2.946274
## 700 150 0.1577105 812 132 0.1432307 687 31 2.686308
## 261 149 0.1566591 330 131 0.1421456 512 25 2.166378
## 714 144 0.1514020 407 131 0.1421456 212 24 2.079723
## 137 143 0.1503506 898 130 0.1410606 490 20 1.733102
## 248 142 0.1492992 177 129 0.1399755 872 20 1.733102
## 570 142 0.1492992 691 129 0.1399755 327 18 1.559792
## 706 141 0.1482478 429 128 0.1388904 346 16 1.386482
## 524 140 0.1471964 593 128 0.1388904 13 13 1.126516
## 845 140 0.1471964 849 128 0.1388904 345 13 1.126516
## 12 138 0.1450936 50 127 0.1378053 510 13 1.126516
##
##
##
##
##
##
## [1] EXPERIMENT 6
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 0 15 30 60 80
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 6 9000 0 15 30 60 80
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "6"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 887 314 0.1606015 515 282 0.1357826 408 126 12.524851
## 261 283 0.1447459 199 278 0.1338566 780 56 5.566600
## 408 275 0.1406542 280 274 0.1319306 859 45 4.473161
## 512 274 0.1401427 28 273 0.1314491 627 43 4.274354
## 627 272 0.1391198 668 273 0.1314491 512 23 2.286282
## 524 269 0.1375854 361 272 0.1309676 490 21 2.087475
## 894 265 0.1355395 493 272 0.1309676 510 20 1.988072
## 212 264 0.1350280 111 270 0.1300046 712 20 1.988072
## 709 264 0.1350280 496 268 0.1290416 68 19 1.888668
## 137 263 0.1345165 80 266 0.1280786 616 19 1.888668
## 388 261 0.1334936 365 266 0.1280786 212 18 1.789264
## 892 261 0.1334936 528 266 0.1280786 845 18 1.789264
## 870 258 0.1319592 640 266 0.1280786 771 17 1.689861
## 687 257 0.1314477 35 265 0.1275971 13 15 1.491054
## 327 256 0.1309362 601 265 0.1275971 139 15 1.491054
##
##
##
##
##
##
## [1] EXPERIMENT 7
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 20 1 5 30 60
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 7 9000 20 1 5 30 60
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "7"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 887 66 0.2403321 350 51 0.1738775 408 58 5.1601423
## 692 53 0.1929940 365 51 0.1738775 780 25 2.2241993
## 12 50 0.1820698 226 50 0.1704681 512 16 1.4234875
## 212 50 0.1820698 287 50 0.1704681 859 16 1.4234875
## 324 49 0.1784284 336 50 0.1704681 627 14 1.2455516
## 341 48 0.1747870 697 49 0.1670587 771 14 1.2455516
## 446 48 0.1747870 481 48 0.1636494 212 13 1.1565836
## 700 48 0.1747870 614 48 0.1636494 892 13 1.1565836
## 791 47 0.1711456 633 48 0.1636494 490 12 1.0676157
## 245 46 0.1675042 740 48 0.1636494 687 12 1.0676157
## 440 46 0.1675042 193 47 0.1602400 702 12 1.0676157
## 509 46 0.1675042 198 47 0.1602400 712 12 1.0676157
## 553 46 0.1675042 9 46 0.1568307 510 11 0.9786477
## 714 46 0.1675042 246 46 0.1568307 845 11 0.9786477
## 746 46 0.1675042 252 46 0.1568307 872 11 0.9786477
##
##
##
##
##
##
## [1] EXPERIMENT 8
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 20 5 15 30 60
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 8 9000 20 5 15 30 60
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "8"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 627 140 0.1527317 361 145 0.1567940 408 95 5.9006211
## 212 135 0.1472770 593 140 0.1513874 780 42 2.6086957
## 261 134 0.1461861 177 134 0.1448993 627 32 1.9875776
## 845 134 0.1461861 36 131 0.1416553 859 32 1.9875776
## 245 133 0.1450951 359 131 0.1416553 388 26 1.6149068
## 512 133 0.1450951 244 130 0.1405740 687 26 1.6149068
## 553 133 0.1450951 760 130 0.1405740 212 22 1.3664596
## 887 133 0.1450951 682 129 0.1394926 490 22 1.3664596
## 337 132 0.1440042 91 128 0.1384113 327 21 1.3043478
## 256 130 0.1418223 568 128 0.1384113 771 20 1.2422360
## 857 129 0.1407314 374 127 0.1373300 68 19 1.1801242
## 180 128 0.1396404 532 127 0.1373300 845 16 0.9937888
## 40 127 0.1385495 740 127 0.1373300 887 16 0.9937888
## 570 127 0.1385495 425 126 0.1362486 139 15 0.9316770
## 12 126 0.1374585 787 126 0.1362486 337 15 0.9316770
##
##
##
##
##
##
## [1] EXPERIMENT 10
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 20 1 5 60 80
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 10 9000 20 1 5 60 80
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "10"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 40 62 0.2290866 16 53 0.1764432 408 119 12.740899
## 261 56 0.2069169 437 52 0.1731141 780 43 4.603854
## 512 56 0.2069169 529 52 0.1731141 627 31 3.319058
## 25 55 0.2032220 602 50 0.1664558 859 30 3.211991
## 542 55 0.2032220 148 49 0.1631267 490 23 2.462527
## 887 54 0.1995270 181 49 0.1631267 512 19 2.034261
## 249 53 0.1958321 599 49 0.1631267 327 17 1.820128
## 114 51 0.1884422 601 48 0.1597976 712 16 1.713062
## 553 51 0.1884422 672 48 0.1597976 771 16 1.713062
## 714 51 0.1884422 29 47 0.1564685 13 15 1.605996
## 692 50 0.1847473 69 47 0.1564685 887 15 1.605996
## 732 50 0.1847473 204 47 0.1564685 212 14 1.498929
## 413 49 0.1810523 205 47 0.1564685 510 14 1.498929
## 550 49 0.1810523 340 47 0.1564685 68 13 1.391863
## 499 48 0.1773574 342 47 0.1564685 139 13 1.391863
##
##
##
##
##
##
## [1] EXPERIMENT 11
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 20 5 15 60 80
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 11 9000 20 5 15 60 80
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "11"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 423 157 0.1665305 117 148 0.1562335 408 223 19.273984
## 13 150 0.1591056 681 147 0.1551779 780 73 6.309421
## 337 149 0.1580449 853 146 0.1541222 859 68 5.877269
## 627 148 0.1569842 296 136 0.1435659 627 46 3.975799
## 512 147 0.1559235 350 133 0.1403990 212 25 2.160761
## 212 146 0.1548628 899 133 0.1403990 490 24 2.074330
## 590 146 0.1548628 875 132 0.1393434 771 23 1.987900
## 256 143 0.1516807 267 131 0.1382878 512 22 1.901469
## 887 142 0.1506200 495 131 0.1382878 687 22 1.901469
## 700 141 0.1495593 634 131 0.1382878 68 19 1.642178
## 692 140 0.1484986 689 131 0.1382878 13 18 1.555748
## 616 139 0.1474379 208 130 0.1372321 327 17 1.469317
## 137 138 0.1463772 215 130 0.1372321 845 17 1.469317
## 283 136 0.1442558 303 130 0.1372321 692 16 1.382887
## 240 135 0.1431951 393 130 0.1372321 139 15 1.296456
##
##
##
##
##
##
## [1] EXPERIMENT 12
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 9000 20 15 30 60 80
## M misValperc Kcol_min Kcol_max Nrow_min Nrow_max
## 12 9000 20 15 30 60 80
## [1] "TABLE with CBDA-SL & KNOCKOFF FILTER RESULTS"
## [1] "EXPERIMENT" "12"
## Accuracy Count Density MSE Count Density Knockoff Count Density
## 408 301 0.1521116 209 282 0.1356043 408 114 13.571429
## 887 298 0.1505956 849 280 0.1346426 780 48 5.714286
## 346 284 0.1435206 258 278 0.1336808 859 38 4.523810
## 61 275 0.1389724 519 275 0.1322382 627 31 3.690476
## 520 275 0.1389724 743 274 0.1317574 212 29 3.452381
## 337 273 0.1379617 861 270 0.1298339 490 25 2.976190
## 700 273 0.1379617 643 269 0.1293530 687 24 2.857143
## 423 268 0.1354349 691 269 0.1293530 68 20 2.380952
## 542 268 0.1354349 822 269 0.1293530 771 20 2.380952
## 109 266 0.1344242 195 268 0.1288722 327 17 2.023810
## 627 265 0.1339189 202 267 0.1283913 845 14 1.666667
## 524 263 0.1329082 122 266 0.1279104 380 13 1.547619
## 845 263 0.1329082 455 266 0.1279104 510 13 1.547619
## 512 262 0.1324028 756 266 0.1279104 261 12 1.428571
## 675 260 0.1313921 790 265 0.1274296 139 11 1.309524
