1 Cross-Validation (CV)

1.1 k-Fold Cross-Validation

1.1.1 k-Fold

Tập dữ liệu được chia thành k tập con bằng nhau. Với k mẫu con, 1 mẫu được chọn làm tập kiểm định (validation test), k-1 mẫu con còn lại sử dụng để ước lượng mô hình. Kiểm định chéo được lặp lại k lần. Mỗi k mẫu con chỉ được sử dụng duy nhất 1 lần làm tập kiểm định (validation test). Kết quả có thể tính trung bình từ k lần ước lượng. Ví dụ với k = 3 như hình dưới

1.1.2 Stratified k-fold

Một biến thể khác của K-fold trong đó mỗi fold được cân bằng về nhiều phương diện (theo 1 hoặc nhiều tiêu chí đưa vào để phân tầng)

Note: Việc chọn k bằng bao nhiêu không có quy tắc chính thức nào, thông thường chọn k = 5 hoặc k = 10

1.2 Leave p Out (LpO hay LpOCV)

Trường hợp này p quan sát được sử dụng làm tập kiểm định (validation set), những quan sát còn lại được sử dụng để xây dựng mô hình.
Phương pháp này đòi hỏi phải thực hiện \(C^n_p\) lần (n là số quan sát của mẫu gốc)

Ví dụ với p = 4 tập dữ liệu được phân chia như sau

1.3 Leave One Out (LOO hay LOOCV)

Là một trường hợp đặc biệt của LpO, với p = 1

1.4 Repeated Training/Test Splits

Kỹ thuật này được gọi là “leave-group-out cross-validation” hoặc “Monte Carlo cross-validation”
Mẫu được chia thành 2 tập là mẫu xây dựng mô hình (training set), và mẫu kiểm định (validation set). Tỷ lệ quan sát trong 2 tập này được xác định trước, thông thường (good rule of thumb) chọn giá trị 75-80% cho tập training và 25-20% cho tập validation.

2 Bootstrap

Mẫu bootstrap là mẫu được chọn một cách ngẫu nhiên có thay thế (with replacement). Hay 1 giá trị trong mẫu gốc có thể lặp lại nhiều lần trong mẫu bootstrap.
Số lượng quan sát trong mẫu bootstrap bằng số lượng quan sát trong mẫu gốc.
Một số mẫu có thể được lặp lại nhiều lần khi bootstrap, trong khi một số mẫu ko xuất hiện lần nào
Trung bình khả năng 63.2% (1-1/e) 1 quan sát trong mẫu gốc được chọn ít nhất 1 lần. Vì vậy, sử dụng kỹ thuật này, kết quả vẫn có thể bị sai lệch

LS0tDQp0aXRsZTogIlJlc2FtcGxpbmcgVGVjaG5pcXVlcyINCmF1dGhvcjogIk5ndXnhu4VuIE5n4buNYyBCw6xuaCINCmRhdGU6ICIxLzIzLzIwMTkiDQpvdXRwdXQ6IA0KICBodG1sX2RvY3VtZW50OiANCiAgICBjb2RlX2Rvd25sb2FkOiB0cnVlDQogICAgY29kZV9mb2xkaW5nOiBoaWRlDQogICAgbnVtYmVyX3NlY3Rpb25zOiB5ZXMNCiAgICB0aGVtZTogImRlZmF1bHQiDQogICAgdG9jOiBUUlVFDQogICAgdG9jX2Zsb2F0OiBUUlVFDQotLS0NCg0KYGBge3Igc2V0dXAsIGluY2x1ZGU9RkFMU0V9DQprbml0cjo6b3B0c19jaHVuayRzZXQoZWNobyA9IFRSVUUpDQpgYGANCg0KYGBge3IsIGluY2x1ZGU9RkFMU0V9DQpsaWJyYXJ5KHNjb3JlY2FyZCkNCmxpYnJhcnkocnNhbXBsZSkNCmxpYnJhcnkodGlkeXZlcnNlKQ0KYGBgDQoNCg0KIyBDcm9zcy1WYWxpZGF0aW9uIChDVikNCg0KIyMgay1Gb2xkIENyb3NzLVZhbGlkYXRpb24NCg0KIyMjIGstRm9sZA0KDQogIC0gVOG6rXAgZOG7ryBsaeG7h3UgxJHGsOG7o2MgY2hpYSB0aMOgbmggayB04bqtcCBjb24gYuG6sW5nIG5oYXUuIFbhu5tpIGsgbeG6q3UgY29uLCAxIG3huqt1IMSRxrDhu6NjIGNo4buNbiBsw6BtIHThuq1wIGtp4buDbSDEkeG7i25oICh2YWxpZGF0aW9uIHRlc3QpLCBrLTEgbeG6q3UgY29uIGPDsm4gbOG6oWkgc+G7rSBk4bulbmcgxJHhu4MgxrDhu5tjIGzGsOG7o25nIG3DtCBow6xuaC4gS2nhu4NtIMSR4buLbmggY2jDqW8gxJHGsOG7o2MgbOG6t3AgbOG6oWkgayBs4bqnbi4gTeG7l2kgayBt4bqrdSBjb24gY2jhu4kgxJHGsOG7o2Mgc+G7rSBk4bulbmcgZHV5IG5o4bqldCAxIGzhuqduIGzDoG0gdOG6rXAga2nhu4NtIMSR4buLbmggKHZhbGlkYXRpb24gdGVzdCkuIEvhur90IHF14bqjIGPDsyB0aOG7gyB0w61uaCB0cnVuZyBiw6xuaCB04burIGsgbOG6p24gxrDhu5tjIGzGsOG7o25nLiBWw60gZOG7pSB24bubaSBrID0gMyBuaMawIGjDrG5oIGTGsOG7m2kNCg0KIVtdKGtfZm9sZC5wbmcpDQoNCiMjIyBTdHJhdGlmaWVkIGstZm9sZA0KDQogIC0gTeG7mXQgYmnhur9uIHRo4buDIGtow6FjIGPhu6dhIEstZm9sZCB0cm9uZyDEkcOzIG3hu5dpIGZvbGQgxJHGsOG7o2MgY8OibiBi4bqxbmcgduG7gSBuaGnhu4F1IHBoxrDGoW5nIGRp4buHbiAodGhlbyAxIGhv4bq3YyBuaGnhu4F1IHRpw6p1IGNow60gxJHGsGEgdsOgbyDEkeG7gyBwaMOibiB04bqnbmcpDQoNCiFbXShTdHJhdGlmaWVkX2tfZm9sZC5wbmcpDQoNCioqTm90ZTogVmnhu4djIGNo4buNbiBrIGLhurFuZyBiYW8gbmhpw6p1IGtow7RuZyBjw7MgcXV5IHThuq9jIGNow61uaCB0aOG7qWMgbsOgbywgdGjDtG5nIHRoxrDhu51uZyBjaOG7jW4gayA9IDUgaG/hurdjIGsgPSAxMCoqDQoNCiMjIExlYXZlIHAgT3V0IChMcE8gaGF5IExwT0NWKQ0KDQogIC0gVHLGsOG7nW5nIGjhu6NwIG7DoHkgcCBxdWFuIHPDoXQgxJHGsOG7o2Mgc+G7rSBk4bulbmcgbMOgbSB04bqtcCBraeG7g20gxJHhu4tuaCAodmFsaWRhdGlvbiBzZXQpLCBuaOG7r25nIHF1YW4gc8OhdCBjw7JuIGzhuqFpIMSRxrDhu6NjIHPhu60gZOG7pW5nIMSR4buDIHjDonkgZOG7sW5nIG3DtCBow6xuaC4gDQogIC0gUGjGsMahbmcgcGjDoXAgbsOgeSDEkcOyaSBo4buPaSBwaOG6o2kgdGjhu7FjIGhp4buHbiBcKENebl9wIFwpIGzhuqduIChuIGzDoCBz4buRIHF1YW4gc8OhdCBj4bunYSBt4bqrdSBn4buRYykNCg0KVsOtIGThu6UgduG7m2kgcCA9IDQgdOG6rXAgZOG7ryBsaeG7h3UgxJHGsOG7o2MgcGjDom4gY2hpYSBuaMawIHNhdQ0KDQohW10oa19mb2xkLnBuZykNCg0KIyMgTGVhdmUgT25lIE91dCAoTE9PIGhheSBMT09DVikgDQoNCiAgLSBMw6AgbeG7mXQgdHLGsOG7nW5nIGjhu6NwIMSR4bq3YyBiaeG7h3QgY+G7p2EgTHBPLCB24bubaSBwID0gMSANCg0KIyMgUmVwZWF0ZWQgVHJhaW5pbmcvVGVzdCBTcGxpdHMNCg0KICAtIEvhu7kgdGh14bqtdCBuw6B5IMSRxrDhu6NjIGfhu41pIGzDoCDigJxsZWF2ZS1ncm91cC1vdXQgY3Jvc3MtdmFsaWRhdGlvbuKAnSBob+G6t2Mg4oCcTW9udGUgQ2FybG8gY3Jvc3MtdmFsaWRhdGlvbuKAnQ0KICAtIE3huqt1IMSRxrDhu6NjIGNoaWEgdGjDoG5oIDIgdOG6rXAgbMOgIG3huqt1IHjDonkgZOG7sW5nIG3DtCBow6xuaCAodHJhaW5pbmcgc2V0KSwgdsOgIG3huqt1IGtp4buDbSDEkeG7i25oICh2YWxpZGF0aW9uIHNldCkuIFThu7cgbOG7hyBxdWFuIHPDoXQgdHJvbmcgMiB04bqtcCBuw6B5IMSRxrDhu6NjIHjDoWMgxJHhu4tuaCB0csaw4bubYywgdGjDtG5nIHRoxrDhu51uZyAoZ29vZCBydWxlIG9mIHRodW1iKSBjaOG7jW4gZ2nDoSB0cuG7iyA3NS04MCUgY2hvIHThuq1wIHRyYWluaW5nIHbDoCAyNS0yMCUgY2hvIHThuq1wIHZhbGlkYXRpb24uDQoNCiFbXShyZXBlYXRfY3YucG5nKQ0KDQoNCiMgQm9vdHN0cmFwDQoNCiAgLSBN4bqrdSBib290c3RyYXAgbMOgIG3huqt1IMSRxrDhu6NjIGNo4buNbiBt4buZdCBjw6FjaCBuZ+G6q3Ugbmhpw6puIGPDsyB0aGF5IHRo4bq/ICh3aXRoIHJlcGxhY2VtZW50KS4gSGF5IDEgZ2nDoSB0cuG7iyB0cm9uZyBt4bqrdSBn4buRYyBjw7MgdGjhu4MgbOG6t3AgbOG6oWkgbmhp4buBdSBs4bqnbiB0cm9uZyBt4bqrdSBib290c3RyYXAuDQoNCiAgLSBT4buRIGzGsOG7o25nIHF1YW4gc8OhdCB0cm9uZyBt4bqrdSBib290c3RyYXAgYuG6sW5nIHPhu5EgbMaw4bujbmcgcXVhbiBzw6F0IHRyb25nIG3huqt1IGfhu5FjLiANCiAgDQogIC0gTeG7mXQgc+G7kSBt4bqrdSBjw7MgdGjhu4MgxJHGsOG7o2MgbOG6t3AgbOG6oWkgbmhp4buBdSBs4bqnbiBraGkgYm9vdHN0cmFwLCB0cm9uZyBraGkgbeG7mXQgc+G7kSBt4bqrdSBrbyB4deG6pXQgaGnhu4duIGzhuqduIG7DoG8NCiAgDQogIC0gVHJ1bmcgYsOsbmgga2jhuqMgbsSDbmcgNjMuMiUgKDEtMS9lKSAxIHF1YW4gc8OhdCB0cm9uZyBt4bqrdSBn4buRYyDEkcaw4bujYyBjaOG7jW4gw610IG5o4bqldCAxIGzhuqduLiBWw6wgduG6rXksIHPhu60gZOG7pW5nIGvhu7kgdGh14bqtdCBuw6B5LCBr4bq/dCBxdeG6oyB24bqrbiBjw7MgdGjhu4MgYuG7iyBzYWkgbOG7h2NoDQogIA0KDQohW10oYm9vdHN0cmFwLnBuZykNCg0K

Resampling Techniques

Nguyễn Ngọc Bình

1/23/2019