Wayne當模型的效能低下時，它無法準確地預測資料。它的主因可能是 overfitting 或 underfitting。如果是 overfitting 的情況，我們可以使用 regularization 來解決模型 overfitting 的問題。
Regularization
Regularization 是一個用來防止 overfitting 的方法。假設有一個 overfitted 模型如左下，我們可以讓 w3 和 w4 很小或趨於 0 來減少 x3 和 x4 對模型的影響，以使得模型變得較平緩，如右下。這就是 regularization 的基本想法。
Gradient descent 會在 cost function 中尋找最小的值。在 cost function 中，如果我們加上 
和 
，這會使得 gradient descent 找到的最小值中，
和 
會很小或趨於 0。所以，藉由修改 cost function，我們可以在訓練時，減少 和 對模型的影響。
![min_{\vec{w},b} \left[ \frac{1}{2m} \sum_{i=1}^m (f_{\vec{w},b}(\vec{x}^{(i)})-y^{(i)})^2) + 1000 w_3^2 + 1000 w_4^2 \right]](https://s0.wp.com/latex.php?latex=min_%7B%5Cvec%7Bw%7D%2Cb%7D+%5Cleft%5B+%5Cfrac%7B1%7D%7B2m%7D+%5Csum_%7Bi%3D1%7D%5Em+%28f_%7B%5Cvec%7Bw%7D%2Cb%7D%28%5Cvec%7Bx%7D%5E%7B%28i%29%7D%29-y%5E%7B%28i%29%7D%29%5E2%29+%2B+1000+w_3%5E2+%2B+1000+w_4%5E2+%5Cright%5D+&bg=ffffff&fg=000&s=1&c=20201002)
以下的式子是加上 regularization 的 cost function。在後面加上去的式子叫做 regularization term，其中的 λ 叫 regularization parameter。如果將 λ 設為很大的值，如 1010，則所有的 W 都會趨於 0。因此，我們可以藉由調整 λ 來縮小 W。
Regularized Linear Regression
Regularized linear regression 是 linear regression 的 cost function 加上 regularization term，如下。
![min_{\vec{w},b} J(\vec{w},b) = min_{\vec{w},b} \left[ \frac{1}{2m} \sum_{i-1}^m (f_{\vec{w},b}(\vec{x}^{(i)})-y^{(i)})^2 + \frac{\lambda}{2m} \sum_{j=1}^n w_j^2 \right]](https://s0.wp.com/latex.php?latex=min_%7B%5Cvec%7Bw%7D%2Cb%7D+J%28%5Cvec%7Bw%7D%2Cb%29+%3D+min_%7B%5Cvec%7Bw%7D%2Cb%7D+%5Cleft%5B+%5Cfrac%7B1%7D%7B2m%7D+%5Csum_%7Bi-1%7D%5Em+%28f_%7B%5Cvec%7Bw%7D%2Cb%7D%28%5Cvec%7Bx%7D%5E%7B%28i%29%7D%29-y%5E%7B%28i%29%7D%29%5E2+%2B+%5Cfrac%7B%5Clambda%7D%7B2m%7D+%5Csum_%7Bj%3D1%7D%5En+w_j%5E2++%5Cright%5D+&bg=ffffff&fg=000&s=1&c=20201002)
Gradient descent 演算法如下。
我們將導數的部分展開後，會變成以下的式子。
![\text{repeat \{} \\\\ \phantom{xxxx} w_j=w_j-\alpha \left[ \frac{1}{m} \sum_{i=1}^m \left[ (f_{\vec{w},b}(\vec{x}^{(i)})-y^{(i)})x_j^{(i)} \right] + \frac{\lambda}{m} w_j \right] \\\\ \phantom{xxxx} b=b-\alpha \frac{1}{m} \sum_{i=1}^m (f_{\vec{w},b}(\vec{x}^{(i)})-y^{(i)}) \\\\ \text{\}}](https://s0.wp.com/latex.php?latex=%5Ctext%7Brepeat+%5C%7B%7D+%5C%5C%5C%5C+%5Cphantom%7Bxxxx%7D+w_j%3Dw_j-%5Calpha+%5Cleft%5B+%5Cfrac%7B1%7D%7Bm%7D+%5Csum_%7Bi%3D1%7D%5Em+%5Cleft%5B+%28f_%7B%5Cvec%7Bw%7D%2Cb%7D%28%5Cvec%7Bx%7D%5E%7B%28i%29%7D%29-y%5E%7B%28i%29%7D%29x_j%5E%7B%28i%29%7D+%5Cright%5D+%2B+%5Cfrac%7B%5Clambda%7D%7Bm%7D+w_j+%5Cright%5D+%5C%5C%5C%5C+%5Cphantom%7Bxxxx%7D+b%3Db-%5Calpha+%5Cfrac%7B1%7D%7Bm%7D+%5Csum_%7Bi%3D1%7D%5Em+%28f_%7B%5Cvec%7Bw%7D%2Cb%7D%28%5Cvec%7Bx%7D%5E%7B%28i%29%7D%29-y%5E%7B%28i%29%7D%29+%5C%5C%5C%5C+%5Ctext%7B%5C%7D%7D+&bg=ffffff&fg=000&s=1&c=20201002)
簡化後的 wj 的式子會變得如下。可以清楚的看到，我們可以藉由調整 λ 來縮小 wj。
Regularized Logistic Regression
Logistic regression 的 cost function 加上 regularization term 會變成以下的式子。
![z=w_1x_1+w_2x_2+w_3x_1^2x_2+w_4x_1^2x_2^2+w_5x_1^2x_2^3+ \cdots +b \\\\ f_{\vec{w},b}(\vec{x})=\frac{1}{1+e^{-z}} \\\\ J(\vec{w},b)=-\frac{1}{m} \sum_{i=1}^m \left[ y^{(i)} log(f_{\vec{w},b}(\vec{x}^{(i)})) + (1-y^{(i)}) logt(1-f_{\vec{w},b}(\vec{x}^{(i)})) \right] \\\\ \phantom{xxxxxxxx} + \frac{\lambda}{2m} \sum_{i=1}^n w_j^2](https://s0.wp.com/latex.php?latex=z%3Dw_1x_1%2Bw_2x_2%2Bw_3x_1%5E2x_2%2Bw_4x_1%5E2x_2%5E2%2Bw_5x_1%5E2x_2%5E3%2B+%5Ccdots+%2Bb+%5C%5C%5C%5C+f_%7B%5Cvec%7Bw%7D%2Cb%7D%28%5Cvec%7Bx%7D%29%3D%5Cfrac%7B1%7D%7B1%2Be%5E%7B-z%7D%7D+%5C%5C%5C%5C+J%28%5Cvec%7Bw%7D%2Cb%29%3D-%5Cfrac%7B1%7D%7Bm%7D+%5Csum_%7Bi%3D1%7D%5Em+%5Cleft%5B+y%5E%7B%28i%29%7D+log%28f_%7B%5Cvec%7Bw%7D%2Cb%7D%28%5Cvec%7Bx%7D%5E%7B%28i%29%7D%29%29+%2B+%281-y%5E%7B%28i%29%7D%29+logt%281-f_%7B%5Cvec%7Bw%7D%2Cb%7D%28%5Cvec%7Bx%7D%5E%7B%28i%29%7D%29%29+%5Cright%5D+%5C%5C%5C%5C+%5Cphantom%7Bxxxxxxxx%7D+%2B+%5Cfrac%7B%5Clambda%7D%7B2m%7D+%5Csum_%7Bi%3D1%7D%5En+w_j%5E2+&bg=ffffff&fg=000&s=1&c=20201002)
Gradient descent 演算法如下。
將導數的部分展開後，會變成以下的式子。看起來和 regularized linear regression 的一模一樣，但是，要注意的是，式子中的 fw,b 是 logistic regression。
結語
Regularization 可以降低 parameters 的小大來解決 overfitting。當 parameters 越大時，受到的處罰會越大，也就是一次會縮小很多。
參考
- Andrew Ng, Machine Learning Specialization, Coursera.
Wayne
