转载

局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3

本文主要讲解局部加权(线性)回归。在讲解之前,先要了解一些概念,以及普通的回归模型存在的问题,由此引出局部加权线性回归算法。

欠拟合、过拟合

如下图中三个拟合模型。第一个是一个线性模型,对训练数据拟合不够好,损失函数取值较大。如图中第二个模型,如果我们在线性模型上加一个新特征 局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3 项,拟合结果就会好一些。图中第三个是一个包含5阶多项式的模型,对训练数据几乎完美拟合。

局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3

模型一没有很好的拟合训练数据,在训练数据以及在测试数据上都存在较大误差,这种情况称之为 欠拟合(underfitting)

模型三对训练数据拟合的很不错,但是在测试数据上的准确度并不理想。这种对训练数据过度拟合,在测试数据上准确度较低的情况称之为 过拟合(overfitting)

局部加权线性回归(Locally weighted linear regression,LWR)

从上面欠拟合和过拟合的例子中我们可以体会到,在回归预测模型中,预测模型的准确度特别依赖于特征的选择。特征选择不合适,往往会导致预测结果的天壤之别。局部加权线性回归很好的解决了这个问题,它的预测性能不太依赖于选择的特征。

在理解局部加权线性回归前,先回忆一下线性回归。线性回归的损失函数把训练数据中的样本看做是平等的,并没有权重的概念。线性回归的详细请参考《线性回归、梯度下降》,它的主要思想为:

局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3

而局部加权线性回归,在构造损失函数时加入了权重w,对距离预测点较近的训练样本给以较高的权重,距离预测点较远的训练样本给以较小的权重。权重的取值范围是(0,1)。

局部加权线性回归的主要思想是:

局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3

其中假设权重 局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3 符合公式

局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3

公式中权重大小取决于预测点x与训练样本 局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3 的距离。如果| 局部加权回归、欠拟合、过拟合-Andrew Ng机器学习公开课笔记1.3 - x|较小,那么取值接近于1,反之接近0。参数τ称为bandwidth,用于控制权重的变化幅度。

局部加权线性回归优点是不太依赖特征选择,而且只需要用线性模型就训练出不错的拟合模型。

但是由于局部加权线性回归是一个非参数学习算法,损失数随着预测值的不同而不同,这样θ无法事先确定,每次预测时都需要扫描所有数据重新计算θ,所以计算量比较大。

正文到此结束
Loading...