由Figure 9.4可以看到,我們無法用一條線完整的將兩個類別的觀察值清楚劃分分類;事實上,儘管hyperplane真的存在,那些情況往往也並非我們想要獲得的結果
當一條分類線可以完美的將所有觀察值給分類時,會導致對某些特定觀察值有特別敏感的現象(Figure 9.5)
這樣的現象存在時,往往可能是因為有overfit的狀況
在找分類線時,會希望可以達到兩種狀況:
Support Vector Classifier有時又稱作Soft Margin Classfier
Optimization problem:上述第二點
將要分類的test obs放進function裡面後,依照其正負號對obs進行分類
我們可以從slack varible得到各個obs相對於hyperplane跟margin的所在位置
C可以視為可容忍犯錯的量的上限
觀察值在margin正確的一邊並不會影響support vector classifier,改變這個觀察值的位置並不會改變classifier
觀察值落在margin上或是在margin錯誤的一邊會影響到support vector classifier