线性回归

线性回归简介
1、定义
利用回归方程（函数）对一个活多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式

2、表示方式：
h(w) = w1 *1+ w2 2 + w33 +… +b
= w转置 * x + b

3、分类
线性关系
非线性关系

线性回归API初步使用

1、API
sklearn.linear_modlel. LinearRegression()
属性：
linearRegression.conf_:回归系数

线性回归的损失和优化
1、损失
最小二乘法

2、优化
正规方程
梯度下降法

3、正规方程 — 一蹴而就
利用矩阵的逆，转置进行一步求解
只是适合样本和特征比较少的情况

4、梯度下降法：
举例：
山 — 可微分的函数
山底 — 函数的最小值
梯度的概念
单变量 — 切线
多变量 — 向量

梯度下降法中关注的两个参数
alpha — 步长
步长太小 — 下山太慢
步长太大 — 容易跳过极小值点

为什么梯度要加一个负号
梯度方向是上升最快方向，负号就是下降最快方向

5、梯度下降法和正规方程法对比：

梯度下降	正规方程
需要选择学习率	不需要
需迭代求解	不需要
特征数量较大可以使用	特征较小使用
需要计算方程，时间复杂度高 O(n3)

6、选择：
小规模数据：
LinearRegression(不能解决你和问题)
岭回归

大规模数据：
SGDRegressor