TOC

2.1 引言

某些情况下，分类器等价于线性判别函数，其优点是简单和可计算性。

2.2 线性判别函数和决策超平面

$l$维空间中，各自的决策超曲面是一个超平面：
$$g(x)=w^{T}x+w_0=0$$
有：
$$d=\frac{|w_0|}{\sqrt{w_1^2+w_2^2}}$$
$$z=\frac{|g(x)|}{\sqrt{w_1^2+w_2^2}}$$
$|g(x)|$是x到决策超平面的欧几里得距离

2.3感知器算法

感知器代价函数：
$$J(w)=\sum _{x\in Y}({\delta }_x{w}^{T}x)$$
利用梯度下降方法设计迭代算法：
$$w(t+1)=w(t)-{\rho }_t\frac{\partial J(w)}{\partial w}{|}_{w=w(t)}$$
$$\frac{\partial J(w)}{\partial w}=\sum _{x\in Y}{\delta }_{x}x$$
整合上面两式得：
$$w(t+1)=w(t)-{\rho }_t\sum _{x\in Y}{\delta }_{x}x$$

伪代码如下：

• 随机选择$w(0)$
• 选择${\rho }_0$
• t=0
• 重复
  –Y=0
  – For i=N to N
  –IF ${\delta }_{x_i}w(t)x_i\ge 0$ then Y=Y∪{$x_i$}
  – End {For}
  –w(t+1)=w(t)-${\rho }_t{\sum }_{x\in Y}{\delta }_{x}x$
  –调整 ${\rho }_t$
  –t=t+1
• 直到Y=0

2.4最小二乘法

2.4.1 均方误差估计

计算权向量，使期望值和真实的输出值之间的均方误差最小化，即：
$$J(w)=E[y-x^{T}w{|}^2]$$
$$\hat{w}=arg\underset{w}{\min }J(w)$$
即：
$$J(w)=P(w_1)\int (1-x^{T}w{)}^{2}P(x|w_1)d_x+P(w_2)\int (1+x^{T}w{)}^{2}dx$$
最小化得：
$$\frac{\partial J(w)}{\partial w}=2E[x(y-x^{T}w]=0$$
则
$$\hat{w}=R_x^{-1}E[xy]$$
$$R_x=\left(\begin{array}{ccc}E[x_1{x}_1]& \cdots & E[x_1{x}_l]\\ E[x_2{x}_1]& \cdots & E[x_2{x}_l]\\ ⋮& ⋮& ⋮\\ E[x_l{x}_1]& \cdots & E[x_l{x}_l]\end{array}\right)$$

称为相关或自相关矩阵，若各自的均值为0，则为协方差矩阵。

2.5 均方估计

2.6逻辑识别

2.7支持向量机