(线性回归是较为基础的模型，但当中充分体现了机器学习的一个重要思想：最小化损失函数)

• 内容

  寻找一个函数模型用以拟合数据的分布，使得将样本的各特征的值代入函数计算出的结果，与样本的标签尽量接近。而这种拟合的程度需要一个度量，即：损失函数，又称代价函数。

  ---

  在回归中常用平方误差函数（square error function）：

  损失函数定义为： $J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m[h(x_i)-y_i{]}^2$

  其中 $h_{\theta }(x)$ 为回归模型，$\theta$ 为函数 $h$ 中的系数； $x_i\in X$，$X$ 为训练数据集；$y_i$ 为 $x_i$ 对应标签。

  ---

  $h(x_i)-y_i$ 计算了模型对每一个样本的预测值与真实标签的差。

  当预测值越接近真实标签时，$J(\theta )$ 的值越小，则模型的预测效果越好。所以在学习回归模型中，实际上求的是能使 $J(\theta )$ 函数值最小的$h_{\theta }(x)$，也就是求函数中的 $\theta$，即：

  $minimiz{e}_{(\theta )}J(\theta )$

  ---

  综上，如果要得到回归模型：
  (1) 首先根据数据分布选取合适的模型结构；
  (2) 而后计算能使$J(\theta )$ 值最小的参数 $\theta$；

  那么 $\theta$ 要如何求呢？就是使用优化算法，在这里选取梯度下降。

• 梯度下降

  1. 梯度下降（Gradient Descent）

     首先 $J(\theta )$ 对 $\theta$求导算出梯度，而后使用梯度对 $\theta$ 进行更新。

     假设 $h_{\theta }(x_i)={\theta }^1{x}_i^1+{\theta }^2{x}_i^2$，

     则 $J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m[{\theta }^1{x}_1^1+{\theta }^2{x}_1^2-y_i{]}^2$，

     其中 $x_i^k$，$i$ 为数据集中第 $i$ 个样本，$k$ 为一个样本中第 $k$ 个特征。

     ---

     使用所有训练数据计算梯度：

     $\Delta =\alpha \frac{\partial }{\partial {\theta }^j}J(\theta )$，$\alpha$ 为学习速率，

     如果 $\alpha$ 过小则训练速度较慢，向解前进的过程中走的步子太小，产生梯度消失现象，而且随着更新迭代次数的增加，越接近函数的底部，由导数计算的梯度收敛趋于平缓，训练效率减慢，也会产生梯度消失的现象。；如果太大则可能在解的两侧跳跃，直至发散，产生梯度爆炸现象。

     ---

     更新参数：

     ${\theta }^1:={\theta }^1-\alpha \frac{\partial }{\partial {\theta }^1}J(\theta )$

     ${\theta }^2:={\theta }^2-\alpha \frac{\partial }{\partial {\theta }^2}J(\theta )$

     此方法可以得到 $\theta$ 的全局最优解，但每次都使用全部数据，训练的速度较慢。

  2. 随机梯度下降

     以上的梯度下降每次都是用全部数据，而随机梯度下降使用部分数据。

     在计算梯度时可以从数据集中抽取一小部分数据做小批量梯度下降 MBGD（Mini-batch Gradient Descent）或每次只使用一个数据 SGD（Stochastic Gradient Descent）。

     MBGD 与 SGD 训练速度较快，不过伴随的一个问题是噪音较 GD 多，使得并不是每次迭代都向着整体最优的方向进行。

  3. 最优解?

     批量梯度下降：最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小。

     随机梯度下降：最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。

• 多项式回归

  多项式回归是回归模型的一种，具有很多形式：

  $h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2(x_2{)}^2$

  $h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2(x_2{)}^2+{\theta }_3(x_3{)}^3$

  $h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2\sqrt{x_2}$

  ……

  首先要分析数据分布，并熟悉不同函数的特性，选取不同的特征形式，从而采用合适的模型拟合数据。

• 最小二乘解

  1. 缘由

     设 $A_{m\ast n}X=b$，

     ① m<n，未知数个数 > 方程数个数：
     · 解 X 不唯一，存在一个解的矢量空间；

     ② m=n，未知数个数 = 方程数个数
     · 若 A 可逆，就有唯一解，$X=A^{-1}b$；

     ③ m>n，未知数个数 < 方程数个数
     · 一般情况下无解，除非 b 属于 A 的列向量组成的子空间。

     ---

     考虑 m>=n 且 r(A)=n 的情况（样本数 >= 参数个数），此时方程称为超定方程（方程数 > 未知数个数）。

     如果解不存在，那么找一个最近似的解仍是有意义的。
     求 $||AX-b||$ 最小的解，即 $AX\approx b$，$||\cdot ||$为范数。

  2. 正规方程
     i.
     $||AX-b||，A=[a_1,a_2,\dots ,a_3]$
     可认为 $AX$ 遍历了 A 的整个列空间，即由 A 的列生成的 $R^m$的子空间。而我们需要找到在子空间中最接近 b 的情况。

     ii.
     几何上，$||AX-b||$ 最小，即使得 AX 尽量接近 b (如图)，也就是让向量$AX-b$ 垂直 A 的列空间，也就是让 $AX-b$ 垂直 A 的每一列。（当 $AX-b$ 垂直于 $AX$ 时 $||AX-b||$ 最小）

     

     则有 $a_i^T(AX-b)$，即：

     $[a_1^T,a_2^T,\dots ,a_n^T]\cdot (AX-b)=A^T(AX-b)=0$

     解得

     $X=(A^{T}A{)}^{-1}{A}^{T}b$