线性判别函数

模式识别系统的主要作用：判别各个模式(样本)所属的类别

用判别函数分类的概念

判别函数进行分类依赖的因素：

• 判别函数的几何性质：线性的和非线性的函数
• 判别函数的系数

两类问题的判别函数

若$x$是二维模式样本$x=(x_1,x_2{)}^T$，用$x_1,x_2$作为坐标分量，可以画出模式的平面图，若这些分属于${\omega }_1,{\omega }_2$两类的模式可以用一个直线方程$d(x)=0$来划分：
$$d(x)={\omega }_1{x}_1+{\omega }_2{x}_2+{\omega }_3=0$$
其中$x_1,x_2$为坐标分量，${\omega }_1,{\omega }_2,{\omega }_3$为参数方程，则将一个不知类别的模式代入$d(x)$，有：
$$d(x)\{\begin{array}{ll}>0& x\in {\omega }_1\\ <0& x\in {\omega }_2\end{array}$$
此时$d(x)=0$称为判别函数。

n维线性判别函数的一般形式

$$d(x)={\omega }_1{x}_1+{\omega }_2{x}_2+\cdots +{\omega }_n{x}_n+{\omega }_{n+1}={\omega }_0^{T}x+{\omega }_{n+1}$$
其中${\omega }_0=({\omega }_1,{\omega }_2,\cdots ,{\omega }_n{)}^T$称为权向量或参数向量，$x=(x_1,x_2,\cdots ,x_n{)}^T$，$d(x)$还可以表示为：
$$d(x)={\omega }^{T}x$$
其中$x=(x_1,x_2,\cdots ,x_n,1{)}^T$称为增广模式向量，$\omega =({\omega }_1,{\omega }_2,\cdots ,{\omega }_{n+1}{)}^T$称为增广权向量

• 两类情况判别函数：
  $$d(x)={\omega }^{T}x\{\begin{array}{ll}>0& x\in {\omega }_1\\ \le 0& x\in {\omega }_2\end{array}$$
• 第一种多类情况：
  用线性判别函数将属于${\omega }_i$类的模式与不属于${\omega }_i$类的模式分开，其判别函数为：
  $$d_i(x)={\omega }_i^{T}x=\{\begin{array}{ll}>0& x\in {\omega }_i\\ \le 0& x\notin {\omega }_i\end{array},i=1,2,\cdots ,M$$
  一个区域明确属于某一类的条件是除了这一类的判别函数的值大于0，其他判别函数的值均小于等于0，否则该区域为不确定区域
• 第二种多类情况：
  采用每对划分，即${\omega }_i/{\omega }_j$两分法，一个判别界面只能分开两种类别，其判别函数为：
  $$d_{ij}(x)={\omega }_{ij}^{T}x$$
  如果$d_{ij}>0,\forall j\ne i$，那么$x\in {\omega }_i$；
  有一个性质$d_{ij}=-d_{ji}$;
  要分开$M$类模式，共需要$M(M-1)/2$个判别函数；
  不确定区域：若所有$d_{ij}(x)$，找不到$\forall j\ne i,d_{ij}(x)>0$的情况；
• 第三种多类情况：
  第二种多类情况的特例，是没有不确定区域的${\omega }_i/{\omega }_j$两分法，此时对$M$类情况有$M$个判别函数
  $$d_k(x)={\omega }_k^{T}x,k=1,2,\cdots ,M$$
  即$d_i(x)>d_j(x),\forall j\ne i,i,j=1,2,\cdots ,M$那么$x\in {\omega }_i$，将分类的特点是将$M$类情况分为$M-1$个两类问题

广义线性判别函数

一个训练用的模式集{x}\{x\}{x}，在模式集空间$x$中线性不可分，但在模式空间$x^{\ast }$中线性可分，其中$x^{\ast }$的各个分量是$x$的单值实函数，$x^{\ast }$的维数$k$高于$x$的维数$n$，即若取
$$x^{\ast }=(f_1(x),f_2(x),\cdots ,f_k(x)),k>n$$
则分类界面在$x^{\ast }$中是线性的，在$x$中是非线性的，此时只要将模式$x$进行非线性变换，使之变换后得到维数更高的模式$x^{\ast }$，就可以用线性判别函数来进行分类
一个非线性判别函数可如下表示：
$$d(x)={\omega }_1{f}_1(x)+{\omega }_2{f}_2(x)+\cdots +{\omega }_k{f}_k(x)+{\omega }_{k+1}$$
其中{fi(x),i=1,2,⋯ ,k}\{f_i(x),i = 1,2,\cdots,k\}{fi​(x),i=1,2,⋯,k}是模式$x$的单值实函数，若定义为广义形式：
$$x^{\ast }=(f_1(x),f_2(x),\cdots ,f_k(x),1{)}^T$$
此时有：
$$d(x^{\ast })={\omega }^T{x}^{\ast }$$
其中$\omega =({\omega }_1,{\omega }_2,\cdots ,{\omega }_k,{\omega }_{k+1})$

f_i(x)选用二次多项式函数

• $x$是二维的情况，即$x=(x_1{x}_2{)}^T$，判别函数为：
  $$d(x)={\omega }_{11}{x}_1^2+{\omega }_{12}{x}_1{x}_2+{\omega }_{22}{x}_2^2+{\omega }_1{x}_1+{\omega }_2{x}_2+{\omega }_3$$
  线性化为$d(x^{\ast })={\omega }^T{x}^{\ast }$
  $$\begin{gathered} x^{\ast }=(\begin{array}{cccccc}{x}_1^2& x_1{x}_2& x_2^2& x_1& x_2& 1\end{array}{)}^T \\ \omega =(\begin{array}{cccccc}{\omega }_{11}& {\omega }_{12}& {\omega }_{22}& {\omega }_1& {\omega }_2& {\omega }_3\end{array}{)}^T \end{gathered}$$
  此时$x^{\ast }$的维数为5，原维数为2
• $x$是$n$维的情况，判别函数为：
  $$d(x)=\sum _{j=1}^n{\omega }_{jj}{x}_j^2+\sum _{j=1}^{n-1}\sum _{k=j+1}^n{\omega }_{jk}{x}_j{x}_k+\sum _{j=1}^n{\omega }_j{x}_j+{\omega }_{n+1}$$
  其中有平方项$n$个，二次项$n(n-1)/2$个，一次项$n$个，常数项$1$个，总项数为：
  $$n+n(n+1)/2+n+1=(n+1)(n+2)/2>n$$
  $x^{\ast }$的各分量的一般化形式为：
  $$f_i(x)=x_{p_1}^s{x}_{p_2}^t,p_1,p_2=1,2,\cdots ,n,s,t=0,1$$

f_i(x)为$r$次多项式函数

• $x$为$n$维模式：
  $$f_i(x)=x_{p_1}^{s_1}{x}_{p_2}^{s_2}\cdots x_{p_r}^{s_r},p_1,p_2,\cdots ,p_r=1,2,\cdots ,n,s_1,s_2,\cdots ,s_r=0,1$$
  判别函数$d(x)$可以用以下递推式给出：
  常数项：$d^{(0)}(x)={\omega }_{n+1}$
  一次项：$d^{(1)}(x)={\sum }_{p_1=1}^n{\omega }_{p_1}{x}_{p_1}+d^{(0)}(x)$
  二次项：$d^{(2)}(x)={\sum }_{p_1=1}^n{\sum }_{p_2=p_1}^n{\omega }_{p_1{p}_2}{x}_{p_1}{x}_{p_2}+d^{(1)}(x)$
  $r$次项：$d^{(r)}(x)={\sum }_{p_1=1}^n{\sum }_{p_2=p_1}^n\cdots {\sum }_{p_r=p_{r-1}}^n{\omega }_{p_1{p}_2\cdots p_r}{x}_{p_1}{x}_{p_2}\cdots x_{p_r}+d^{(r-1)}(x)$
  $d(x)$总项数为：
  $$N_{\omega }=C_{n+r}^r=\frac{(n+r)!}{r!n!}$$

分段线性判别函数

分段线性判别函数的设计：最小距离分类
设${\mu }_1$和${\mu }_2$为两个模式类${\omega }_1$和${\omega }_2$的聚类中心，定义决策规则：
$$||x-{\mu }_1|{|}^2-||x-{\mu }_2|{|}^2\{\begin{array}{ll}<0& x\in {\omega }_1\\ >0& x\in {\omega }_2\end{array}$$
这时的决策面是两类期望连线的垂直平分面，这样的分类器称为最小距离分类器

模式空间和权空间

设有判别函数：$d(x)={\omega }^{T}x$，其中$x=(x_1{x}_2\cdots x_{n}1{)}^T,\omega =({\omega }_1{\omega }_2\cdots {\omega }_n{\omega }_{n+1}{)}^T$，判别界面为${\omega }^{T}x=0$

Fisher线性判别

目的：在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通，降低维数有时就会成为处理实际问题的关键，考虑将$d$维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维，我们需要根据实际情况找到一条最易分类的投影线，这就是Fisher判别方法要解决的基本问题
从$d$维空间到一维空间的一般数学变换方法：假设有一集合$\Gamma$包含$N$个$d$维样本$x_1,x_2,\cdots ,x_N$，其中$N_1$个属于${\omega }_1$类的样本记为子集${\Gamma }_1$,$N_2$个属于${\omega }_2$类的样本记为子集${\Gamma }_2$，若对$x_n$的分量做线性组合可得标量：
$$y_n={\omega }^T{x}_n,n=1,2,\cdots ,N$$
这样得到$N$个一维样本$y_n$组成的集合，并可分为两个子集${\Gamma }_1^{\prime },{\Gamma }_2^{\prime }$，实际上，$\omega$的值是无关紧要的，重要的是$\omega$的方向，方向直接影响分类效果，我们希望投影以后，在一维$Y$空间中各类样本尽可能分得开些，即希望两类均值之差越大越好，同时希望各类样本内部尽量密集，即希望样本类内离散度越小越好

Fisher准则函数中的基本参量

在$d$维$X$空间

• 各类样本的均值向量$m_i$
  $$m_i=\frac{1}{N_i}\sum _{x\in {\Gamma }_i}x,i=1,2$$
• 样本类内离散度矩阵$S_i$和总样本类内离散度矩阵$S_{\omega }$
  $$\begin{gathered} S_i=\sum _{x\in {\Gamma }_i}(x-m_i)(x-m_i{)}^T,i=1,2 \\ {S}_{\omega }=S_1+S_2 \end{gathered}$$
• 样本类间离散度矩阵$S_b$
  $$S_b=(m_1-m_2)(m_1-m_2{)}^T$$
  $S_b$是对称半正定矩阵
  在一维$Y$空间
• 各类样本的均值
  $${\tilde{m}}_i=\frac{1}{N_i}\sum _{y\in {\Gamma }_i^{\prime }}y,i=1,2$$
• 样本类内离散度${\tilde{S}}_i^2$和总样本类内离散度${\tilde{S}}_{\omega }$
  $$\begin{gathered} {\tilde{S}}_i^2=\sum _{y\in {\Gamma }_i^{\prime }}(y-{\tilde{m}}_i{)}^2,i=1,2 \\ {\tilde{S}}_{\omega }={\tilde{S}}_1^2+{\tilde{S}}_2^2 \end{gathered}$$

Fisher准则函数

$$J_F(\omega )=\frac{({\tilde{m}}_1-{\tilde{m}}_2{)}^2}{{\tilde{S}}_1^2+{\tilde{S}}_2^2}$$
希望两类均值之差越大越好，同时希望各类样本内部尽量密集，即希望样本类内离散度越小越好，所以应该寻找使$J_F(\omega )$尽可能大的$\omega$作为投影方向，下面需要将$J_F(\omega )$变为$\omega$的显函数：
首先由各类样本的均值可推出：
$${\tilde{m}}_i=\frac{1}{N_i}\sum _{y\in {\Gamma }_i^{\prime }}y=\frac{1}{N_i}\sum _{x\in {\Gamma }_i}{\omega }^{T}x={\omega }^T\left(\frac{1}{N_i}\sum _{x\in {\Gamma }_i}x\right)={\omega }^T{m}_i$$
这样Fisher准则函数$J_F(\omega )$的分子可以写成：
$$\begin{array}{rl}({\tilde{m}}_1-{\tilde{m}}_2{)}^2& =({\omega }^T{m}_1-{\omega }^T{m}_2{)}^2\\ & =({\omega }^T{m}_1-{\omega }^T{m}_2)({\omega }^T{m}_1-{\omega }^T{m}_2{)}^T\\ & =({\omega }^T{m}_1-{\omega }^T{m}_2)(m_1^T\omega -m_2^T\omega )\\ & ={\omega }^T(m_1-m_2)(m_1-m_2{)}^T\omega ={\omega }^T{S}_b\omega \end{array}$$
再来考察$J_F(\omega )$的分母与$\omega$的关系：
$$\begin{array}{rl}{\tilde{S}}_i^2& =\sum _{y\in {\Gamma }_i^{\prime }}(y-{\tilde{m}}_i{)}^2\\ & =\sum _{x\in {\Gamma }_i}({\omega }^{T}x-{\omega }^T{m}_i{)}^2\\ & ={\omega }^T\left[\sum _{x\in {\Gamma }_i}(x-m_i)(x-m_i{)}^T\right]\omega \\ & ={\omega }^T{S}_i\omega \end{array}$$
因此：
$${\tilde{S}}_1^2+{\tilde{S}}_2^2={\omega }^T(S_1+S_2)\omega ={\omega }^T{S}_{\omega }\omega$$
带到$J_F(\omega )$
$$J_F(\omega )=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_{\omega }\omega }$$

最佳变换向量${\omega }^{\ast }$的求取

首先使分母为非零常数：
$${\omega }^T{S}_{\omega }\omega =c\ne 0$$
定义拉格朗日函数为：
$$L(\omega ,\lambda )={\omega }^T{S}_b\omega -\lambda ({\omega }^T{S}_{\omega }\omega )$$
上式对$\omega$求偏导数：
$$\frac{\partial L(\omega ,\lambda )}{\partial \omega }=2(S_b\omega -\lambda S_{\omega }\omega )$$
令偏导数为0：
$$S_b{\omega }^{\ast }-\lambda S_{\omega }{\omega }^{\ast }=0$$
也就是：
$$S_b{\omega }^{\ast }=\lambda S_{\omega }{\omega }^{\ast }$$
因为$S_{\omega }$非奇异，将上式两边左乘$S_{\omega }^{-1}$:
$$S_{\omega }^{-1}{S}_b{\omega }^{\ast }=\lambda {\omega }^{\ast }$$
上式为求一般矩阵$S_{\omega }^{-1}{S}_b$的特征值问题，$S_b=(m_1-m_2)(m_1-m_2{)}^T$
$$S_b{\omega }^{\ast }=(m_1-m_2)(m_1-m_2{)}^T{\omega }^{\ast }=(m_1-m_2)R$$
其中$R=(m_1-m_2{)}^T{\omega }^{\ast }$是一个标量，所以$S_b{\omega }^{\ast }$总是在向量$(m_1-m_2)$的方向上，因此：
$$\lambda {\omega }^{\ast }=S_{\omega }^{-1}(S_b{\omega }^{\ast })=S_{\omega }^{-1}(m_1-m_2)R$$
得到：
$${\omega }^{\ast }=\frac{R}{\lambda }{S}_{\omega }^{-1}(m_1-m_2)$$
省略比例因子$\frac{R}{\lambda }$有：
$${\omega }^{\ast }=S_{\omega }^{-1}(m_1-m_2)$$