Machine Learning 9.2

9.2.1 Overview of the Support Vector Classifier

• 由Figure 9.4可以看到，我們無法用一條線完整的將兩個類別的觀察值清楚劃分分類;事實上，儘管hyperplane真的存在，那些情況往往也並非我們想要獲得的結果

• 當一條分類線可以完美的將所有觀察值給分類時，會導致對某些特定觀察值有特別敏感的現象(Figure 9.5)

• 這樣的現象存在時，往往可能是因為有overfit的狀況

• 在找分類線時，會希望可以達到兩種狀況：

  1. 對於特定觀察值加入時，原來的分類線是比較穩健的(greater robustness)
  2. 可以“幾乎”完整分類所有的觀察值(Most of not All of)，對於極少數有些沒有確實分類的觀察值是容許的

• Support Vector Classifier有時又稱作Soft Margin Classfier

9.2.2 Details of the Support Vector Classifier

• Optimization problem：上述第二點

• 將要分類的test obs放進function裡面後，依照其正負號對obs進行分類

• 我們可以從slack varible得到各個obs相對於hyperplane跟margin的所在位置

  • 當slack varible = 0，obs有被正確分類
  • 當slack varible > 0，obs在margin錯誤的一邊
  • 當slack varible > 1，obs在hyperplane錯誤的一邊

• C可以視為可容忍犯錯的量的上限

  • C一般是透過cross-validation去選擇的
  • C越小，margin越窄，classifier會高度fit data，導致較小的bias但是比較大的variance
  • C越大，margin越寬，導致較大的bias但是比較小的variance

• 觀察值在margin正確的一邊並不會影響support vector classifier，改變這個觀察值的位置並不會改變classifier

• 觀察值落在margin上或是在margin錯誤的一邊會影響到support vector classifier