简介

有别于分类问题，回归问题，主要是通过特征来构造一个函数，并用这个函数求得的值来近似的估计我们需要预测的值。回归的种类有很多，当然我一时之间不能够完全的总结出所有的回归分析方法，但是我们在以后的学习中慢慢的补充。作为一个初学者，以下的总结可能有一些个人的误区，所以如果出现什么错误的话，我希望各个读者能够指出，在此，我感激不尽。

线性回归

基本概念

看过我关于对感知器算法的介绍的读者，可能知道，我在感知器那篇blog里，对threshold进行了一些处理。在那里，我把-threshold作为$w_0$,1作为$x_0$,所以我们就可以把threshold这个单独的一项放到wx中。在这里线性回归的基本形式如下：

$$f(x)=w^Tx+b$$
w,x都是向量。同理，根据上面的介绍，我们可以把b这个单独的一项放到 $w^Tx$中去。因此，
$$y = \sum_{i-0}^dw_ix_i=w^Tx$$
线性回归我们可以把它理解为多维空间找到一个函数来对给出的数据进行拟合。然后利用这个函数对数据进行预测。(find lines/hyperplanes with small residuals)

Error Function

线性回归的定义我们已经知道了，但是我们如果确定我们学习到的回归模型是适合的。在机器学习中，我们可以通过一种错误函数来对模型进行判定。比如说，在线性回归中，我们可以把预测值与观察值的的平方和作为评价函数。当然在实际定义中，我们加上了求平均的步骤。该函数定义如下：

$$E_{in}(w)=\frac{1}{N}\sum_{i=1}^N(h(x_i)-y_i)^2$$
其中， $h(x)=w^Tx$.
我们对上面的式子进行一下简单的处理。
$E_{in}(w)=\frac{1}{N}\sum_{n=1}^N(w^Tx_n-y_n)^2=\frac{1}{N}\sum_{n=1}^N(x_n^Tw-y_n)^2$
$=\frac{1}{N}\left| \begin{matrix} x_1^Tw-y_1 \\ x_2^Tw-y_2 \\ ... \\ x_3^Tw-y_3 \end{matrix} \right|^2$
$=\left|\left[ \begin{matrix} x_1^T \\ x_2^T \\ ... \\ x_N^T \end{matrix} \right]w-\left[\begin{matrix}y_1\\y_2\\...\\y_N\end{matrix}\right]\right|^2$
$=\frac{1}{N}\left\|xw-y\right\|^2$

因此，最适合的模型就是当error function值最小的时候。即求

$$minE_{in}(w)=\frac{1}{N}\left\|xw-y\right\|^2$$

求解

对于上面函数的求解，我们知道，对于未知数w，该方程是成U型的，因此只要求出导数为零时的值，就可以求出该函数最小值的解。
因此对上面的函数求导可得：

$$\nabla E_{in}(w)=\frac{2}{N}(x^Txw-x^Ty)$$
所以当 $x^Tx$可逆时，可得 $w=\underbrace{(x^Tx)^{-1}x^T}_{x^+}y$

linear regression algorithm

$\ast$ 从初始的数据中构造出输入矩阵X以及输出向量Y。
$x= \left[\begin{matrix} x_1^T\\ x_2^T\\ ...\\ x_N^T \end{matrix}\right]$
$y= \left[\begin{matrix} y_1\\ y_2\\ ...\\ y_N \end{matrix}\right]$
$\ast$ 计算出$x^+$的值
$\ast$ 返回$w=x^+y$

逻辑回归

后续有待补充。。。