在上一节中，我们介绍了最简单的学习算法——最小二乘法去预测奥运会男子100米时间。但是可以发现，它的自变量只有一个：年份。通常，我们所面对的数据集往往不是单个特征，而是有成千上万个特征组成。那么我们就引入特征的向量来表示，这里涉及到矩阵的乘法，向量，矩阵求导等一些线性代数的知识。

---

一. 将拟合函数由单变量改写为多变量

设我们的拟合函数

$$f(\boldsymbol{x_i}; \boldsymbol{\omega}) = \boldsymbol{\omega}^T\boldsymbol{x_i}$$

其中， $\boldsymbol{w}$表示拟合函数的参数，$\boldsymbol{x_i}$表示数据集中第i条数据。

对于上节中的$f(x;a,b) = ax + b$,我们可以令

$$\boldsymbol{\omega} = \begin{bmatrix} a\\b \end{bmatrix}, \boldsymbol{x_i} = \begin{bmatrix} x\\1 \end{bmatrix}$$

则这两个函数等价。为了方便推导，我们在损失函数前边加上$\frac{1}{N}$,由于N是定值，它代表数据集的记录数。那么，损失函数可以写为：

$$L=\frac{1}{N}\sum_{i=1}^{N}(y_i-\boldsymbol{\omega^Tx_i})^2=\frac{1}{N}(\boldsymbol{y}-\boldsymbol{X\omega})^T(\boldsymbol{y}-\boldsymbol{X\omega}) （1）$$
那么上式的推导过程也很简单，令
$$\boldsymbol{X}=\begin{bmatrix} \boldsymbol{x_1^T} \\ \boldsymbol{x_2^T} \\ \vdots\\ \boldsymbol{x_n^T} \end{bmatrix} =\begin{bmatrix} 1 & x_1\\ 1 & x_2\\ \vdots & \vdots\\ 1 & x_n \end{bmatrix}$$

$$\boldsymbol{y}=\begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n \end{bmatrix}, \boldsymbol{\omega}=\begin{bmatrix} \omega_0\\ \omega_1 \end{bmatrix}$$

带入（1）式即可得证，此处略过。

二.多特征下求解参数 $\boldsymbol{\omega}$

$$\begin{align} L&=\frac{1}{N}(\boldsymbol{y}-\boldsymbol{X\omega})^T(\boldsymbol{y}-\boldsymbol{X\omega}) \\ &=\frac{1}{N}(\boldsymbol{y^T-\omega^TX^T})(\boldsymbol{y}-\boldsymbol{X\omega})\\ &=\frac{1}{N}(\boldsymbol{y^Ty-y^TX\omega-\omega^TX^Ty+\omega^TX^TX\omega})\\ &=\frac{1}{N}(\boldsymbol{\omega^TX^TX\omega-2\omega^TX^Ty+y^Ty})(2) \end{align}$$
我们的目标是让损失函数最小，即求（2）的最小值，我们对 $\boldsymbol{\omega}$求偏导数，令其等于0，就可以求出 $L$取得极小值时参数$\boldsymbol{\omega}$的值。
$$\frac{\partial{L}}{\partial{\boldsymbol{\omega}}}=\frac{1}{N}(2\boldsymbol{X^TX\omega-2X^Ty})=0(3)\\ \Rightarrow\\ \boldsymbol{X^TX\omega=X^Ty}\\ \Rightarrow\\ \boldsymbol{\omega=(X^TX)^{-1}X^Ty}$$
至此，我们已经求出了参数值，接下来就可以预测了。

至于(3)的求导，注意以下求导公式即可：

$f(\boldsymbol{w})$	$\frac{\partial{f}}{\partial{\boldsymbol{w}}}$
$\boldsymbol{w^Tx}$	$\boldsymbol{x}$
$\boldsymbol{x^Tw}$	$\boldsymbol{x}$
$\boldsymbol{w^Tw}$	$\boldsymbol{2w}$
$\boldsymbol{w^TCw}$	$\boldsymbol{2Cw}$