2-1 Find the minimizer of \(D(\theta) =\sum_{n=1}^{N}(y_n-\theta)^2\)

原式可以重新表達為 \(D(\theta) = \sum_{n=1}^{N}(y_n^2-2y_n\theta+\theta^2)\)

為了取 minimizer，將上式對 \(\theta\) 做微分，得

\(\frac{dD(\theta)}{d\theta}=\sum_{n=1}^{N}(-2y_n+2\theta)=-2\sum_{n=1}^{N}(y_n-\theta)\)

令上式為 0，求\(\theta\)

\(-2\sum_{n=1}^{N}(y_n-\theta)=0\) , \(\sum_{n=1}^{N}(y_n-\theta)=0\)

\(\sum_{n=1}^{N}(y_n)-N\theta=0\) ,得 \(\theta = \frac{\sum_{n=1}^{N}}{N}\)

2-2 Find the minimizer of \(D(\theta)=\sum_{n=1}^{N}\vert y_n-\theta\vert\)

絕對值函數在值為 0 的時候不可微分，因此本題無法使用微分的方法來做

我們假設新的數列 \(y_1,y_2,...,y_N\) 是原數列重新排序的值（即 \(y_1\geq y_2\geq...\geq y_N\)）

將原式展開得 \(D(\theta)=\vert \theta-y_1\vert+\vert \theta-y_2\vert+...+\vert \theta-y_N\vert\)

我們想求整個式子的最小值，則必須切成 N+1 段來分析

當 \(\theta\geq y_1\) 時 , 該函數的值為 \(D(\theta) =(\theta-y_1)+( \theta-y_2)+...+( \theta-y_N)=N\theta-\sum_{n=1}^{N}(y_n)\)

當 \(y_1>\theta\geq y_2\) 時 , 該函數的值為 \(D(\theta) =(y_1-\theta)+ (\theta-y_2)+...+( \theta-y_N)=(N-2)\theta-\sum_{n=1}^{N}(y_n)+2y_1\)

當 \(y_2>\theta\geq y_3\) 時 , 該函數的值為 \(D(\theta) =(N-4)\theta-\sum_{n=1}^{N}(y_n)+2(y_1+y_2)\)

…

當 \(y_{\frac{N}{2}-1}>\theta\geq y_\frac{N}{2}\) 時 , 該函數的值為 \(D(\theta) =2\theta-\sum_{n=1}^{N}(y_n)+2(\sum_{n=1}^{\frac{N}{2}-1}y_n)\)

當 \(y_\frac{N}{2}>\theta\geq y_{\frac{N}{2}+1}\) 時 , 該函數的值為 \(D(\theta) =-\sum_{n=1}^{N}(y_n)+2(\sum_{n=1}^{\frac{N}{2}}y_n)\)

當 \(y_{\frac{N}{2}+1}>\theta\geq y_{\frac{N}{2}+2}\) 時 , 該函數的值為 \(D(\theta) =-2\theta-\sum_{n=1}^{N}(y_n)+2(\sum_{n=1}^{\frac{N}{2}+1}y_n)\)

…

已知 \(y_1\geq y_2\geq...\geq y_N\) 我們透過以下運算，使用 \(y_\frac{N}{2}>\theta\geq y_{\frac{N}{2}+1}\) 的值扣掉 \(y_{\frac{N}{2}-1}>\theta\geq y_\frac{N}{2}\) 的值以及 \(y_\frac{N}{2}>\theta\geq y_{\frac{N}{2}+1}\) 的值扣掉 \(y_{\frac{N}{2}+1}>\theta\geq y_{\frac{N}{2}+2}\) 的值，若均 \(<0\) 則代表當 \(y_\frac{N}{2}>\theta\geq y_{\frac{N}{2}+1}\) 時的值最小：

  1. 使用 \(y_\frac{N}{2}>\theta\geq y_{\frac{N}{2}+1}\) 的值扣掉 \(y_{\frac{N}{2}-1}>\theta\geq y_\frac{N}{2}\)的值得 \({-\sum_{n=1}^{N}(y_n)+2(\sum_{n=1}^{\frac{N}{2}}y_n)}-{2\theta+\sum_{n=1}^{N}(y_n)-2(\sum_{n=1}^{\frac{N}{2}-1}y_n)}=2y_\frac{N}{2}-2\theta\) ，又 \(y_{\frac{N}{2}-1}>\theta\geq y_\frac{N}{2}\)，可得知\(2y_\frac{N}{2}-2\theta\leq0\)

  2. 使用 \(y_\frac{N}{2}>\theta\geq y_{\frac{N}{2}+1}\) 的值扣掉 \(y_{\frac{N}{2}+1}>\theta\geq y_{\frac{N}{2}+2}\) 的值得

\(-\sum_{n=1}^{N}(y_n)+2(\sum_{n=1}^{\frac{N}{2}}y_n)+2\theta+\sum_{n=1}^{N}(y_n)-2(\sum_{n=1}^{\frac{N}{2}+1}y_n)=2\theta-2y_{\frac{N}{2}+1}\)，又 \(y_{\frac{N}{2}+1}>\theta\geq y_{\frac{N}{2}+2}\)，可得知\(2\theta-2y_{\frac{N}{2}+1}<0\)

經由以上可得知當 \(y_\frac{N}{2}>\theta\geq y_{\frac{N}{2}+1}\) 時函數為最小值，不過由於絕對值在值為 0 時不影響拆開後的結果(即\(\vert x\vert = -\vert x\vert\))因此解可推廣為\(y_\frac{N}{2}\geq \theta\geq y_{\frac{N}{2}+1}\)，即該數列之中位數。

2-3 Find the minimizer of \(D(\theta) =\sum_{n=1}^{N}(y_n-\theta)^2+\lambda\theta^2\)

原式可以重新表達為 \(D(\theta) = \sum_{n=1}^{N}(y_n^2-2y_n\theta+\theta^2)+\lambda\theta^2\)

為了取 minimizer，將上式對 \(\theta\) 做微分，得

\(\frac{dD(\theta)}{d\theta}=\sum_{n=1}^{N}(-2y_n+2\theta)+2\lambda\theta=2[\lambda\theta-\sum_{n=1}^{N}(y_n-\theta)]\)

令上式為 0，求\(\theta\)

\(2[\lambda\theta-\sum_{n=1}^{N}(y_n-\theta)]=0\) , \(\lambda\theta-\sum_{n=1}^{N}(y_n-\theta)=0\)

\(\lambda\theta-\sum_{n=1}^{N}y_n+N\theta=0\) , \((\lambda+N)\theta=\sum_{n=1}^{N}y_n\)

得 \(\theta = \frac{\sum_{n=1}^{N}y_n}{N+\lambda}\)