最方误差判别准则函数

对于上一节提出的不等式组：

在线性不可分的情况下，不等式组不可能同时满足。一种直观的想法就是，希望求一个a*使被错分的样本尽可能少。这种方法通过求解线性不等式组来最小化错分样本数目，通常采用搜索算法求解。

为了避免求解不等式组，通常转化为方程组：

矩阵形式为：。方程组的误差为：，可以求解方程组的最方误差求解，即：

Js(a) 即为最方误差（Minimum Squared-Error，MSE）的准则函数：

准则函数最小化方法

准则函数最小化通常有两种方法：违逆法，梯度下降法。

伪逆法

Js(a) 在极值出对a的梯度为零，即：

于是，得到，其中是矩阵Y的伪逆。

一个具体的求解示例如下：

梯度下降法

梯度下降法在每次迭代时按照梯度下降方向更新权向量：

直到满足或者时停止迭代，ξ是事先确定的误差灵敏度。

参照感知器算法中的单步修正法，对MSE也可以采用单样本修正法来调整权向量：

这种算法即Widrow-Hoff算法，也称作最小均方根算法或LMS（Least-mean-square algorithm）算法。

（转载请注明作者和出处：http://blog.csdn.net/xiaowei_cqu未经允许请勿用于商业用途）