Standardization
Standardization (hay Z-score normalization) là quá trình rescaling the features sao cho chúng có đặc tính của phân phối Gaussian (μ=0 and σ=1). Trong đó, μ là trung bình, σ là độ lệch chuẩn so với trung bình. Standard scores (hay còn gọi là z-scores) sử dụng công thức sau:
\[ z = \frac{x - μ}{σ} \]
Normalization
Normalization (hay đơn giản là Min-Max scaling) về cơ bản thu nhỏ khoảng dữ liệu sao cho phạm vi được cố định trong khoảng từ 0 đến 1 (hoặc -1 đến 1 nếu có giá trị âm). Nó sử dụng tốt hơn cho các trường hợp trong đó tiêu chuẩn hóa có thể không hoạt động tốt. Nếu phân phối không phải là Gaussian hoặc độ lệch chuẩn là rất nhỏ, Normalization hoạt động tốt hơn.
Min-Max Scaling image via Chris Albon
Use Cases
Ví dụ một số thuật toán mà feature scaling là quan trọng:
K-nearest neighbors (KNN) với thước đo khoảng cách Euclide (Euclidean distance) nếu muốn tất cả các tính năng đóng góp như nhau.
Logistic regression, SVM, perceptrons, neural networks.
Linear discriminant analysis, principal component analysis, kernel principal component analysis.
Graphical-model based classifiers, chẳng hạn như Fisher LDA hoặc Naive Bayes, cũng như các cây quyết định (Decision trees) và các phương pháp tập hợp dựa trên cây (Tree-based) như Random Forest là không cần thiết phải sử dụng feature scaling, nhưng có thể có kết quả tốt hơn khi rescale the data.
Hạn chế
Phương pháp Normalizing rất nhạy với biến có outliers, vì vậy nếu có outliers trong tập dữ liệu thì không nên sử dụng phương pháp này. Standardization tạo 1 data mới không bị ràng buộc (khác với normalization).
Conclusion
Standardization and Normalization được tạo ra nhằm một mục tiêu tương tự, đó là xây dựng các features có khoảng dữ liệu tương tự nhau (similar ranges) và được sử dụng rộng rãi trong phân tích dữ liệu để giúp nhà phân tích có được những thông tin từ dữ liệu thô.
LS0tDQp0aXRsZTogIlN0YW5kYXJkaXphdGlvbiB2cyBOb3JtYWxpemF0aW9uIg0KYXV0aG9yOiAiTmd1eeG7hW4gTmfhu41jIELDrG5oIg0KZGF0ZTogIjYvMy8yMDE5Ig0Kb3V0cHV0OiANCiAgaHRtbF9kb2N1bWVudDogDQogICAgY29kZV9kb3dubG9hZDogdHJ1ZQ0KICAgIGNvZGVfZm9sZGluZzogaGlkZQ0KICAgIG51bWJlcl9zZWN0aW9uczogeWVzDQogICAgdGhlbWU6ICJkZWZhdWx0Ig0KICAgIHRvYzogVFJVRQ0KICAgIHRvY19mbG9hdDogVFJVRQ0KLS0tDQoNCmBgYHtyIHNldHVwLCBpbmNsdWRlPUZBTFNFfQ0Ka25pdHI6Om9wdHNfY2h1bmskc2V0KGVjaG8gPSBUUlVFKQ0KYGBgDQoNCiMgU3RhbmRhcmRpemF0aW9uDQoNClN0YW5kYXJkaXphdGlvbiAoaGF5IFotc2NvcmUgbm9ybWFsaXphdGlvbikgbMOgIHF1w6EgdHLDrG5oIHJlc2NhbGluZyB0aGUgZmVhdHVyZXMgIHNhbyBjaG8gY2jDum5nIGPDsyDEkeG6t2MgdMOtbmggY+G7p2EgcGjDom4gcGjhu5FpIEdhdXNzaWFuICjOvD0wIGFuZCDPgz0xKS4gVHJvbmcgxJHDsywgzrwgbMOgIHRydW5nIGLDrG5oLCDPgyBsw6AgxJHhu5kgbOG7h2NoIGNodeG6qW4gc28gduG7m2kgdHJ1bmcgYsOsbmguIFN0YW5kYXJkIHNjb3JlcyAoaGF5IGPDsm4gZ+G7jWkgbMOgIHotc2NvcmVzKSBz4butIGThu6VuZyBjw7RuZyB0aOG7qWMgc2F1Og0KDQokJCB6ID0gXGZyYWN7eCAtIM68fXvPg30gJCQNCg0KIyBOb3JtYWxpemF0aW9uDQoNCioqTm9ybWFsaXphdGlvbioqIChoYXkgxJHGoW4gZ2nhuqNuIGzDoCBNaW4tTWF4IHNjYWxpbmcpIHbhu4EgY8ahIGLhuqNuIHRodSBuaOG7jyBraG/huqNuZyBk4buvIGxp4buHdSBzYW8gY2hvIHBo4bqhbSB2aSDEkcaw4bujYyBj4buRIMSR4buLbmggdHJvbmcga2hv4bqjbmcgdOG7qyAwIMSR4bq/biAxIChob+G6t2MgLTEgxJHhur9uIDEgbuG6v3UgY8OzIGdpw6EgdHLhu4sgw6JtKS4gTsOzIHPhu60gZOG7pW5nIHThu5F0IGjGoW4gY2hvIGPDoWMgdHLGsOG7nW5nIGjhu6NwIHRyb25nIMSRw7MgdGnDqnUgY2h14bqpbiBow7NhIGPDsyB0aOG7gyBraMO0bmcgaG/huqF0IMSR4buZbmcgdOG7kXQuIE7hur91IHBow6JuIHBo4buRaSBraMO0bmcgcGjhuqNpIGzDoCBHYXVzc2lhbiBob+G6t2MgxJHhu5kgbOG7h2NoIGNodeG6qW4gbMOgIHLhuqV0IG5o4buPLCAqKk5vcm1hbGl6YXRpb24qKiBob+G6oXQgxJHhu5luZyB04buRdCBoxqFuLg0KDQoNCiFbXShmaWd1cmVzL25vcm1hbGl6YXRpb24ucG5nKQ0KDQoqTWluLU1heCBTY2FsaW5nIGltYWdlIHZpYSBDaHJpcyBBbGJvbioNCg0KIyBVc2UgQ2FzZXMNCg0KVsOtIGThu6UgbeG7mXQgc+G7kSB0aHXhuq10IHRvw6FuIG3DoCBmZWF0dXJlIHNjYWxpbmcgbMOgIHF1YW4gdHLhu41uZzoNCg0KLSBLLW5lYXJlc3QgbmVpZ2hib3JzIChLTk4pIHbhu5tpIHRoxrDhu5tjIMSRbyBraG/huqNuZyBjw6FjaCBFdWNsaWRlIChFdWNsaWRlYW4gZGlzdGFuY2UpIG7hur91IG114buRbiB04bqldCBj4bqjIGPDoWMgdMOtbmggbsSDbmcgxJHDs25nIGfDs3AgbmjGsCBuaGF1Lg0KDQotIExvZ2lzdGljIHJlZ3Jlc3Npb24sIFNWTSwgcGVyY2VwdHJvbnMsIG5ldXJhbCBuZXR3b3Jrcy4NCg0KLSBMaW5lYXIgZGlzY3JpbWluYW50IGFuYWx5c2lzLCBwcmluY2lwYWwgY29tcG9uZW50IGFuYWx5c2lzLCBrZXJuZWwgcHJpbmNpcGFsIGNvbXBvbmVudCBhbmFseXNpcy4NCg0KDQoqR3JhcGhpY2FsLW1vZGVsIGJhc2VkIGNsYXNzaWZpZXJzKiwgY2jhurNuZyBo4bqhbiBuaMawIEZpc2hlciBMREEgaG/hurdjIE5haXZlIEJheWVzLCBjxaluZyBuaMawIGPDoWMgY8OieSBxdXnhur90IMSR4buLbmggKERlY2lzaW9uIHRyZWVzKSB2w6AgY8OhYyBwaMawxqFuZyBwaMOhcCB04bqtcCBo4bujcCBk4buxYSB0csOqbiBjw6J5IChUcmVlLWJhc2VkKSBuaMawIFJhbmRvbSBGb3Jlc3QgbMOgIGtow7RuZyBj4bqnbiB0aGnhur90IHBo4bqjaSBz4butIGThu6VuZyBmZWF0dXJlIHNjYWxpbmcsIG5oxrBuZyBjw7MgdGjhu4MgY8OzIGvhur90IHF14bqjIHThu5F0IGjGoW4ga2hpICpyZXNjYWxlIHRoZSBkYXRhKi4NCg0KDQojIEjhuqFuIGNo4bq/DQoNClBoxrDGoW5nIHBow6FwICoqTm9ybWFsaXppbmcqKiBy4bqldCBuaOG6oXkgduG7m2kgYmnhur9uIGPDsyBvdXRsaWVycywgdsOsIHbhuq15IG7hur91IGPDsyBvdXRsaWVycyB0cm9uZyB04bqtcCBk4buvIGxp4buHdSB0aMOsIGtow7RuZyBuw6puIHPhu60gZOG7pW5nIHBoxrDGoW5nIHBow6FwIG7DoHkuIFN0YW5kYXJkaXphdGlvbiB04bqhbyAxIGRhdGEgbeG7m2kga2jDtG5nIGLhu4sgcsOgbmcgYnXhu5ljIChraMOhYyB24bubaSBub3JtYWxpemF0aW9uKS4NCg0KDQojIENvbmNsdXNpb24NCg0KU3RhbmRhcmRpemF0aW9uIGFuZCBOb3JtYWxpemF0aW9uIMSRxrDhu6NjIHThuqFvIHJhIG5o4bqxbSBt4buZdCBt4bulYyB0acOqdSB0xrDGoW5nIHThu7EsIMSRw7MgbMOgIHjDonkgZOG7sW5nIGPDoWMgZmVhdHVyZXMgY8OzIGtob+G6o25nIGThu68gbGnhu4d1IHTGsMahbmcgdOG7sSBuaGF1IChzaW1pbGFyIHJhbmdlcykgdsOgIMSRxrDhu6NjIHPhu60gZOG7pW5nIHLhu5luZyByw6NpIHRyb25nIHBow6JuIHTDrWNoIGThu68gbGnhu4d1IMSR4buDIGdpw7pwIG5ow6AgcGjDom4gdMOtY2ggY8OzIMSRxrDhu6NjIG5o4buvbmcgdGjDtG5nIHRpbiB04burIGThu68gbGnhu4d1IHRow7QuIA0K