机器学习极简入门课学习笔记-第十课(线性回归——从模型函数到目标函数)

线性回归模型目标函数的一般形式

上图公式中m为样本个数,y为样本真实标签值(如预测年薪与工作年份关系问题中的真实年薪)。

在 y = a + bx 这个模型函数中,a 和 b 是常量参数,x 是自变量,而 y 是因变量。

但到了 J(a,b) 中,x(i) 和 y(i)是常量参数(也就是 m 个样本各自的 x 和 y 值),而 a 和 b 成了自变量,J(a,b) 是因变量。能够让因变量 J(a, b) 取值最小的自变量 a 和 b,就是最好的 a 和 b。

我们要做的,就是找到最好的 a 和 b。

多项式的阶

多项式最高次项的幂次,就是多项式的次数(阶数)。

如下是一个二元四阶多项式:

线性函数

一阶(或更低阶)多项式,或零多项式。

特征与线性模型之间的关系

直角坐标系中,除了平行于 y 轴的那些直线之外,所有的直线都可以对应一个一维特征(自变量)的线性回归模型(一元多项式函数)。

但如果样本特征本身是多维的,则最终的线性模型函数是一个多维空间内的[一阶|零阶|零]多项式。

总结一下:特征是一维的,线性模型在二维空间构成一条直线;特征是二维的,线性模型在三维空间中构成一个平面;若特征是三维的,则最终模型在四维空间中构成一个体,以此类推。

用线性回归模型拟合非线性关系

可以通过多项式代替的方式将非线性关系(如多阶多元多项式)拟合为线性关系模型(线性函数)。