10.1 支持向量

10.1.1 线性可分

$D_0$ 和 $D_1$ 是 $n$ 维欧式空间中的两个点集。如果存在 $n$ 维向量 $W$ 和实数 $w_0$，使得所有属于 $D_0$ 的点 $X_i$ 都有 $W\cdot X_i+w_0>0$，而对于所有属于 $D_1$ 的点 $X_j$ 则有 $W\cdot X_j+w_0<0$，则我们称 $D_0$ 和 $D_1$ 线性可分。

$X_i,i=1,2,\cdot \cdot \cdot ,N$ 为样本，$y_i，i=1,2,\cdot \cdot \cdot ,N$ 为标量，

$X=(x_1,x_2,\cdot \cdot \cdot ,x_n{)}^T,W=(w_1,w_2,\cdot \cdot \cdot ,w_n{)}^T$ 表示权向量。

10.1.2 最大间隔超平面

将 $D_0$ 和 $D_1$ 完全正确地划分开的 $WX+w_0=0$ 就成了一个超平面。

最大间隔超平面：以最大间隔把两类样本分开的超平面。

10.1.3 支持向量

样本中距离超平面最近的一些点叫做支持向量。

10.2 线性判别函数和判别面

间隔的大小：
$$margin=2\ast d=\frac{2}{||W||}$$
即求：
$$\begin{gathered} \min \frac{1}{2}{||W||}^2 \\ s.t.y_i(W\cdot X+w_0)\ge 1(i=1,2,\cdot \cdot \cdot ,N) \end{gathered}$$
求解最优分类面：

建立拉格朗日函数：
$$Q(\lambda )=\sum _{i=1}^N{\lambda }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{X}_i\cdot X_j$$
寻找最大化目标函数 $Q(\lambda )$ 的拉格朗日乘子 ${{\lambda }_i}_{i=1}^N$，满足约束条件：

$$\begin{gathered} （1）\sum _{i=1}^N{\lambda }_i{y}_i=0 \\ （2）{\lambda }_i\ge 0,i=1,2,\cdot \cdot \cdot ,N \end{gathered}$$

（1）$\sum _{i=1}^N{\lambda }_i{y}_i=0$

（2）${\lambda }_i\ge 0,i=1,2,\cdot \cdot \cdot ,N$

由对偶问题解得 ${\lambda }^{\ast }=({\lambda }_1,{\lambda }_2,\cdot \cdot \cdot ,{\lambda }_N{)}^T$，然后依 $KKT$ 条件就有
$$W^{\ast }=\sum _{i=1}^N{y}_i{{\lambda }_i}^{\ast }{X}_i$$
由于 ${\lambda }_i[y_i(W\cdot X_i+w_0)-1]=0$，所以可取 ∀j∈{i∣λi∗>0}\forall j\in\{i|{\lambda_i}^*> 0\}∀j∈{i∣λi​∗>0}，得
$${w_0}^{\ast }=y_j-\sum _{i=1}^N{y}_i{{\lambda }_i}^{\ast }{X}_i\cdot X_j$$
最后得到最优分类面：
$$W^{\ast }\cdot X+{w_0}^{\ast }=0$$

10.3 线性不可分下的判别面

三种情况下：

（1）特征向量都落在带状之外且都能正确分类。满足 $y_i(W\cdot X_i+w_0)\ge 1$。

（2）有些向量落在带状内，但仍能正确分类。满足 $0\le y_i(W\cdot X_i+w_0)<1$。

（3）有些向量被错误分类。满足 $y_i(W\cdot X_i+w_0)<1$。

此时，可以在条件项中增加一个松弛项 {ξi}i=1N,ξi>0\{\xi_i\}_{i=1}^{N},{\xi}_i>0{ξi​}i=1N​,ξi​>0，使之成为 $y_i(W\cdot X_i+w_0)\ge 1-{\xi }_i$。第一种情况对应 ${\xi }_i=0$，第二种情况对应 $0<{\xi }_i\le 1$，第三种情况对应 ${\xi }_i>1$。

求解最优分类面：

建立拉格朗日函数：
$$\underset{\lambda }{\max }(\sum _{i=1}^N{\lambda }_i-\sum _{i,j}{\lambda }_i{\lambda }_j{y}_i{y}_j{X}_i\cdot X_j)$$
满足
$$\begin{gathered} 0\le {\lambda }_i\le C,i=1,2,\cdot \cdot \cdot ,N \\ \sum _i{\lambda }_i{y}_i=0 \end{gathered}$$
根据 $\lambda$，求得 $W、w_0$，得到最优分类面
$$\begin{gathered} W=\sum _{i=1}^N{\lambda }_i{y}_i{X}_i \\ {\lambda }_i[y_i(W\cdot X_i+w_0)-1+{\xi }_i]=0 \end{gathered}$$

10.4 非线性可分下的判别函数

使用 $\phi :X⟶Y$ ，将所有样本映射到高维空间，那么分割超平面可以表示为：$f(x)=W\cdot \phi (x)+w_0$。

求解：
$$\begin{gathered} \max \sum _i{\lambda }_i-\frac{1}{2}\sum _{i,j}{\lambda }_i{\lambda }_j{y}_i{y}_{j}K(X_i,X_j) \\ 0\le {\lambda }_i\le C,\sum _i{\lambda }_i{y}_i=0 \end{gathered}$$
先求出 ${\lambda }_i$，进而求出 $W、w_0$：
$$\begin{gathered} W=\sum _{i=1}^N{\lambda }_i{y}_i\phi (X_i) \\ {w}_0=y_j-\sum _{i=1}^N{y}_i{{\lambda }_i}^{\ast }\phi (X_i)\cdot \phi (X_j) \end{gathered}$$
这里， $j$ 使得 ${\lambda }_j>0$。最优非线性分类面为：
$$g(X)=W\cdot \phi (X)+w_0=\sum _{i=1}^N{\lambda }_i{y}_{i}K(X_i,X_j)+w_0$$
其中 $K(X,X_j)$ 为核函数。