正则化
正则化（避免过拟合）
如何解决过拟合问题：
过拟合问题往往源自过多的特征，通常会考虑两种途径来解决：
a) 减少特征的数量：
-人工的选择保留哪些特征；
-模型选择算法（之后的课程会介绍）
b) 正则化
-保留所有的特征，但是降低未知量的系数值；
-正则化的好处是当特征很多时，每一个特征都会对预测y贡献一份合适的力量。这里主要通过两个方面谈谈正则化问题。
1)对代价函数进行正则化
过拟合
直观来看，如果我们想解决这个例子中的过拟合问题，最好能将x3,x4的影响消除，也就是让 , 劲量趋于0
假设我们对 , 进行惩罚，并且令其很小，一个简单的办法就是给原有的Cost function加上两个略大惩罚项，例如：
这样在最小化Cost function的时候， , 都趋于0.
正则化：
参数 , 取小一点的值，来劲量“简化”的hypothesis，避免出现过拟合；
我们对 进行惩罚，也就是正则化：
经过正则化的Cost Function有如下的形式：
其中 称为正则化参数.
2）线性回归的正则化和逻辑回归的正则化
线性回归的正则化和逻辑回归的正则化的思路和上面都差不多，主要是通过对代价函数进行正则化处理，如
线性回归
逻辑回归
然后利用梯度下降或者是梯度上升算法来求解目标函数。
正文到此结束
热门推荐
相关文章
Loading...
![[HBLOG]公众号](http://www.liuhaihua.cn/img/qrcode_gzh.jpg)
