Python机器学习应用 | 岭回归

1 岭回归

对于一般地线性回归问题,参数的求解采用的是最小二乘法,其目标函数如下:
$$argmin || Xw-y ||^2$$
参数w的求解,也可以使用如下矩阵方法进行:
$$w=(X^TX)^{-1}X^Ty$$
对于矩阵X,若某些列线性相关性较大(即训练样本中某些属性线性相关),就会导致$X^TX$的值接近0,在计算 $(X^TX)^{-1}$时就会出现不稳定性:
结论:传统的基于最小二乘的线性回归法缺乏稳定性。

岭回归的优化目标:
$$argmin || Xw-y ||^2 + \alpha ||w||^2$$
对应的矩阵求解方法为:
$$w=(X^TX+ \alpha I)^{-1}X^Ty$$

岭回归(ridge regression)是一种专用于共线性数据分析的有偏估计回归方法,是一种改良的最小二乘估计法,对某些数据的拟合要强于最小二乘法。

2 sklearn中的岭回归

在sklearn库中,可以使用sklearn.linear_model.Ridge调用岭回归模型,其主要参数有:
• alpha:正则化因子,对应于损失函数中的