线性判别分析（LDA）原理

  在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。

  在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自然语言处理领域， LDA是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），他是一种处理文档的主题模型。我们本文只讨论线性判别分析，因此后面所有的LDA均指线性判别分析。

1. LDA的思想

  LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。
  可能还是有点抽象，我们先看看最简单的情况。假设我们有两类数据 分别为红色和蓝色，如下图所示，这些数据特征是二维的，我们希望将这些数据投影到一维的一条直线，让每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。

LDA1

  上图中国提供了两种投影方式，哪一种能更好的满足我们的标准呢？从直观上可以看出，右图要比左图的投影效果好，因为右图的黑色数据和蓝色数据各个较为集中，且类别之间的距离明显。左图则在边界处数据混杂。以上就是LDA的主要思想了，当然在实际应用中，我们的数据是多个类别的，我们的原始数据一般也是超过二维的，投影后的也一般不是直线，而是一个低维的超平面。
  在我们将上面直观的内容转化为可以度量的问题之前，我们先了解些必要的数学基础知识，这些在后面讲解具体LDA原理时会用到。

2. 瑞利商（Rayleigh quotient）与广义瑞利商（generalized Rayleigh quotient）

  我们首先来看看瑞利商的定义。瑞利商是指这样的函数R(A,x)R(A,x)<script type="math/tex" id="MathJax-Element-119">R(A,x)</script>:

R(A,x)=xHAxxHxR(A,x)=xHAxxHx
<script type="math/tex; mode=display" id="MathJax-Element-120"> R(A,x) = \frac{x^HAx}{x^Hx} </script>
  其中xx<script type="math/tex" id="MathJax-Element-121">x</script>为非零向量，而 A <script type="math/tex" id="MathJax-Element-122">A</script>为n×nn×n<script type="math/tex" id="MathJax-Element-123">n \times n</script>的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵，即AH=AAH=A<script type="math/tex" id="MathJax-Element-124">A^H=A</script>。如果我们的矩阵A是实矩阵，则满足AT=AAT=A<script type="math/tex" id="MathJax-Element-125">A^T=A</script>的矩阵即为Hermitan矩阵。

  瑞利商R(A,x)R(A,x)<script type="math/tex" id="MathJax-Element-126">R(A,x)</script>有一个非常重要的性质，即它的最大值等于矩阵AA<script type="math/tex" id="MathJax-Element-127">A</script>最大的特征值，而最小值等于矩阵 A <script type="math/tex" id="MathJax-Element-128">A</script>的最小的特征值，也就是满足：

λmin≤xHAxxHx≤λmaxλmin≤xHAxxHx≤λmax
<script type="math/tex; mode=display" id="MathJax-Element-129"> \lambda_{min} \leq \frac{x^HAx}{x^Hx} \leq \lambda_{max} </script>
  具体的证明这里就不给出了。当向量xx<script type="math/tex" id="MathJax-Element-130">x</script>是标准正交基时，即满足 x H x = 1 <script type="math/tex" id="MathJax-Element-131">x^Hx=1</script>时，瑞利商退化为：R(A,x)=xHAxR(A,x)=xHAx<script type="math/tex" id="MathJax-Element-132">R(A,x) = x^HAx</script>，这个形式在谱聚类和PCA中都有出现。
  以上就是瑞利商的内容，现在我们再看看广义瑞利商。广义瑞利商是指这样的函数R(A,B,x)R(A,B,x)<script type="math/tex" id="MathJax-Element-133">R(A,B,x)</script>:
R(A,x)=xHAxxHBxR(A,x)=xHAxxHBx
<script type="math/tex; mode=display" id="MathJax-Element-134"> R(A,x) = \frac{x^HAx}{x^HBx} </script>
  其中xx<script type="math/tex" id="MathJax-Element-135">x</script>为非零向量，而 A , B <script type="math/tex" id="MathJax-Element-136">A,B</script>为n×nn×n<script type="math/tex" id="MathJax-Element-137">n \times n</script>的Hermitan矩阵。BB<script type="math/tex" id="MathJax-Element-138">B</script>为正定矩阵。它的最大值和最小值是什么呢？其实我们只要通过将其通过标准化就可以转化为瑞利商的格式。我们令 x ′ = B − 1 / 2 x <script type="math/tex" id="MathJax-Element-139">x'=B^{-1/2}x</script>,则分母转化为：
xHBx=x′H(B−1/2)HBB−1/2x′=x′HB−1/2BB−1/2x′=x′Hx′xHBx=x′H(B−1/2)HBB−1/2x′=x′HB−1/2BB−1/2x′=x′Hx′
<script type="math/tex; mode=display" id="MathJax-Element-140"> x^HBx = x'^H(B^{-1/2})^HBB^{-1/2}x' =x'^HB^{-1/2}BB^{-1/2}x' =x'^Hx' </script>
  而分子转化为：
xHAx=x′HB−1/2AB−1/2x′xHAx=x′HB−1/2AB−1/2x′
<script type="math/tex; mode=display" id="MathJax-Element-141">x^HAx = x'^HB^{-1/2}AB^{-1/2}x'</script>
  此时我们的R(A,B,x)​R(A,B,x)​<script type="math/tex" id="MathJax-Element-142">R(A,B,x)​</script>转化为R(A,B,x′)​R(A,B,x′)​<script type="math/tex" id="MathJax-Element-143">R(A,B,x')​</script>:
R(A,B,x′)=x′HB−1/2AB−1/2x′x′Hx′R(A,B,x′)=x′HB−1/2AB−1/2x′x′Hx′
<script type="math/tex; mode=display" id="MathJax-Element-144"> R(A,B,x') = \frac{x'^HB^{-1/2}AB^{-1/2}x'}{x'^Hx'} </script>
  利用前面的瑞利商的性质，我们可以很快的知道，R(A,B,x)R(A,B,x)<script type="math/tex" id="MathJax-Element-145">R(A,B,x)</script>的最大值为矩阵B−1/2AB−1/2B−1/2AB−1/2<script type="math/tex" id="MathJax-Element-146">B^{-1/2}AB^{-1/2}</script>的最大特征值，或者说矩阵B−1AB−1A<script type="math/tex" id="MathJax-Element-147">B^{-1}A</script>的最大特征值，而最小值为矩阵B−1AB−1A<script type="math/tex" id="MathJax-Element-148">B^{-1}A</script>的最小特征值。

3. 二类LDA原理

  现在我们回到LDA的原理上，我们在第一节说讲到了LDA希望投影后希望同一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大，但是这只是一个感官的度量。现在我们首先从比较简单的二类LDA入手，严谨的分析LDA的原理。

  假设我们的数据集D={(x1,y1),(x2,y2),...,((xm,ym))}D={(x1,y1),(x2,y2),...,((xm,ym))}<script type="math/tex" id="MathJax-Element-149">D=\{(x_1,y_1), (x_2,y_2), ...,((x_m,y_m))\}</script>,其中任意样本xixi<script type="math/tex" id="MathJax-Element-150">x_i</script>为n维向量，yi∈{0,1}yi∈{0,1}<script type="math/tex" id="MathJax-Element-151">y_i \in \{0,1\}</script>。我们定义Nj(j=0,1)Nj(j=0,1)<script type="math/tex" id="MathJax-Element-152">N_j(j=0,1)</script>为第j类样本的个数，Xj(j=0,1)Xj(j=0,1)<script type="math/tex" id="MathJax-Element-153">X_j(j=0,1)</script>为第j类样本的集合，而μj(j=0,1)μj(j=0,1)<script type="math/tex" id="MathJax-Element-154">\mu_j(j=0,1)</script>为第j类样本的均值向量，定义Σj(j=0,1)Σj(j=0,1)<script type="math/tex" id="MathJax-Element-155">\Sigma_j(j=0,1)</script>为第j类样本的协方差矩阵（严格说是缺少分母部分的协方差矩阵）。
  μjμj<script type="math/tex" id="MathJax-Element-156">\mu_j</script>的表达式为：

μj=1Nj∑x∈Xjx(j=0,1)μj=1Nj∑x∈Xjx(j=0,1)
<script type="math/tex; mode=display" id="MathJax-Element-157">\mu_j = \frac{1}{N_j}\sum\limits_{x \in X_j}x\;\;(j=0,1)</script>
  ΣjΣj<script type="math/tex" id="MathJax-Element-158">\Sigma_j</script>的表达式为：
Σj=∑x∈Xj(x−μj)(x−μj)T(j=0,1)Σj=∑x∈Xj(x−μj)(x−μj)T(j=0,1)
<script type="math/tex; mode=display" id="MathJax-Element-159">\Sigma_j = \sum\limits_{x \in X_j}(x-\mu_j)(x-\mu_j)^T\;\;(j=0,1)</script>

  由于是两类数据，因此我们只需要将数据投影到一条直线上即可。假设我们的投影直线是向量ww<script type="math/tex" id="MathJax-Element-160">w</script>,则对任意一个样本本 x i <script type="math/tex" id="MathJax-Element-161">x_i</script>,它在直线ww<script type="math/tex" id="MathJax-Element-162">w</script>的投影为 w T x i <script type="math/tex" id="MathJax-Element-163">w^Tx_i</script>,对于我们的两个类别的中心点μ0,μ1μ0,μ1<script type="math/tex" id="MathJax-Element-164">\mu_0,\mu_1</script>,在在直线ww<script type="math/tex" id="MathJax-Element-165">w</script>的投影为 w T μ 0 <script type="math/tex" id="MathJax-Element-166">w^T\mu_0</script>和wTμ1wTμ1<script type="math/tex" id="MathJax-Element-167">w^T\mu_1</script>。由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是我们要最大化||wTμ0−wTμ1||22||wTμ0−wTμ1||22<script type="math/tex" id="MathJax-Element-168">||w^T\mu_0-w^T\mu_1||_2^2</script>,同时我们希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差wTΣ0wwTΣ0w<script type="math/tex" id="MathJax-Element-169">w^T\Sigma_0w</script>和wTΣ1wwTΣ1w<script type="math/tex" id="MathJax-Element-170">w^T\Sigma_1w</script>尽可能的小，即最小化wTΣ0w+wTΣ1wwTΣ0w+wTΣ1w<script type="math/tex" id="MathJax-Element-171">w^T\Sigma_0w+w^T\Sigma_1w</script>。综上所述，我们的优化目标为：

argmaxwJ(w)=||wTμ0−wTμ1||22wTΣ0w+wTΣ1w=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)wargmax⏟wJ(w)=||wTμ0−wTμ1||22wTΣ0w+wTΣ1w=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)w
<script type="math/tex; mode=display" id="MathJax-Element-172"> \underbrace{arg\;max}_w\;\;J(w) = \frac{||w^T\mu_0-w^T\mu_1||_2^2}{w^T\Sigma_0w+w^T\Sigma_1w} = \frac{w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw}{w^T(\Sigma_0+\Sigma_1)w} </script>

  我们一般定义类内散度矩阵SwSw<script type="math/tex" id="MathJax-Element-173">S_w</script>为：

Sw=Σ0+Σ1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)TSw=Σ0+Σ1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)T
<script type="math/tex; mode=display" id="MathJax-Element-174">S_w = \Sigma_0 + \Sigma_1 = \sum\limits_{x \in X_0}(x-\mu_0)(x-\mu_0)^T +\sum\limits_{x \in X_1}(x-\mu_1)(x-\mu_1)^T</script>
  同时定义类间散度矩阵SbSb<script type="math/tex" id="MathJax-Element-175">S_b</script>为：
Sb=(μ0−μ1)(μ0−μ1)TSb=(μ0−μ1)(μ0−μ1)T
<script type="math/tex; mode=display" id="MathJax-Element-176">S_b = (\mu_0-\mu_1)(\mu_0-\mu_1)^T</script>
  这样我们的优化目标重写为：
argmaxwJ(w)=wTSbwwTSwwargmax⏟wJ(w)=wTSbwwTSww
<script type="math/tex; mode=display" id="MathJax-Element-177">\underbrace{arg\;max}_w\;\;J(w) = \frac{w^TS_bw}{w^TS_ww} </script>
  仔细一看上式，这不就是我们的广义瑞利商嘛！这就简单了，利用我们第二节讲到的广义瑞利商的性质，我们知道我们的J(w)J(w)<script type="math/tex" id="MathJax-Element-178">J(w)</script>最大值为矩阵S−1wSbSw−1Sb<script type="math/tex" id="MathJax-Element-179">S_w^{-1}S_b</script>的最大特征值，而对应的ww<script type="math/tex" id="MathJax-Element-180">w</script>为 S w − 1 S b <script type="math/tex" id="MathJax-Element-181">S_w^{-1}S_b</script>的最大特征值对应的特征向量!
  注意到对于二类的时候，SbwSbw<script type="math/tex" id="MathJax-Element-182">S_bw</script>的方向恒为μ0−μ1μ0−μ1<script type="math/tex" id="MathJax-Element-183">\mu_0-\mu_1</script>,不妨令Sbw=λ(μ0−μ1)Sbw=λ(μ0−μ1)<script type="math/tex" id="MathJax-Element-184">S_bw=\lambda(\mu_0-\mu_1)</script>，将其带入：(S−1wSb)w=λw(Sw−1Sb)w=λw<script type="math/tex" id="MathJax-Element-185">(S_w^{-1}S_b)w=\lambda w</script>，可以得到w=S−1w(μ0−μ1)w=Sw−1(μ0−μ1)<script type="math/tex" id="MathJax-Element-186">w=S_w^{-1}(\mu_0-\mu_1)</script>， 也就是说我们只要求出原始二类样本的均值和方差就可以确定最佳的投影方向ww<script type="math/tex" id="MathJax-Element-187">w</script>了。

4. 多类LDA原理

  有了二类LDA的基础，我们再来看看多类别LDA的原理。
  假设我们的数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( ( x m , y m ) ) } <script type="math/tex" id="MathJax-Element-188">D=\{(x_1,y_1), (x_2,y_2), ...,((x_m,y_m))\}</script>,其中任意样本xixi<script type="math/tex" id="MathJax-Element-189">x_i</script>为n维向量，yi∈{C1,C2,...,Ck}yi∈{C1,C2,...,Ck}<script type="math/tex" id="MathJax-Element-190">y_i \in \{C_1,C_2,...,C_k\}</script>。我们定义Nj(j=1,2...k)Nj(j=1,2...k)<script type="math/tex" id="MathJax-Element-191">N_j(j=1,2...k)</script>为第j类样本的个数，Xj(j=1,2...k)Xj(j=1,2...k)<script type="math/tex" id="MathJax-Element-192">X_j(j=1,2...k)</script>为第j类样本的集合，而μj(j=1,2...k)μj(j=1,2...k)<script type="math/tex" id="MathJax-Element-193">\mu_j(j=1,2...k)</script>为第j类样本的均值向量，定义Σj(j=1,2...k)Σj(j=1,2...k)<script type="math/tex" id="MathJax-Element-194">\Sigma_j(j=1,2...k)</script>为第j类样本的协方差矩阵。在二类LDA里面定义的公式可以很容易的类推到多类LDA。

  由于我们是多类向低维投影，则此时投影到的低维空间就不是一条直线，而是一个超平面了。假设我们投影到的低维空间的维度为d，对应的基向量为(w1,w2,...wd)(w1,w2,...wd)<script type="math/tex" id="MathJax-Element-195">(w_1,w_2,...w_d)</script>，基向量组成的矩阵为WW<script type="math/tex" id="MathJax-Element-196">W</script>, 它是一个 n × d <script type="math/tex" id="MathJax-Element-197">n \times d</script>的矩阵。
  此时我们的优化目标应该可以变成为:

WTSbWWTSwWWTSbWWTSwW
<script type="math/tex; mode=display" id="MathJax-Element-198">\frac{W^TS_bW}{W^TS_wW}</script>
  其中Sb=∑j=1kNj(μj−μ)(μj−μ)TSb=∑j=1kNj(μj−μ)(μj−μ)T<script type="math/tex" id="MathJax-Element-199">S_b = \sum\limits_{j=1}^{k}N_j(\mu_j-\mu)(\mu_j-\mu)^T</script>,μμ<script type="math/tex" id="MathJax-Element-200">\mu</script>为所有样本均值向量。Sw=∑j=1kSwj=∑j=1k∑x∈Xj(x−μj)(x−μj)TSw=∑j=1kSwj=∑j=1k∑x∈Xj(x−μj)(x−μj)T<script type="math/tex" id="MathJax-Element-201">S_w = \sum\limits_{j=1}^{k}S_{wj} = \sum\limits_{j=1}^{k}\sum\limits_{x \in X_j}(x-\mu_j)(x-\mu_j)^T</script>
  但是有一个问题，就是WTSbWWTSbW<script type="math/tex" id="MathJax-Element-202">W^TS_bW</script>和WTSwWWTSwW<script type="math/tex" id="MathJax-Element-203">W^TS_wW</script>都是矩阵，不是标量，无法作为一个标量函数来优化！也就是说，我们无法直接用二类LDA的优化方法，怎么办呢？一般来说，我们可以用其他的一些替代优化目标来实现。
  常见的一个LDA多类优化目标函数定义为：
argmaxWJ(W)=∏diagWTSbW∏diagWTSwWargmax⏟WJ(W)=∏diagWTSbW∏diagWTSwW
<script type="math/tex; mode=display" id="MathJax-Element-204">\underbrace{arg\;max}_W\;\;J(W) = \frac{\prod\limits_{diag}W^TS_bW}{\prod\limits_{diag}W^TS_wW}</script>
  其中∏diagA∏diagA<script type="math/tex" id="MathJax-Element-205">\prod\limits_{diag}A</script>为AA<script type="math/tex" id="MathJax-Element-206">A</script>的主对角线元素的乘积， W <script type="math/tex" id="MathJax-Element-207">W</script>为n×dn×d<script type="math/tex" id="MathJax-Element-208">n \times d</script>的矩阵。
  J(W)J(W)<script type="math/tex" id="MathJax-Element-209">J(W)</script>的优化过程可以转化为：
J(W)=∏i=1dwTiSbwi∏i=1dwTiSwwi=∏i=1dwTiSbwiwTiSwwiJ(W)=∏i=1dwiTSbwi∏i=1dwiTSwwi=∏i=1dwiTSbwiwiTSwwi
<script type="math/tex; mode=display" id="MathJax-Element-210"> J(W) =\frac{\prod\limits_{i=1}^dw_i^TS_bw_i}{\prod\limits_{i=1}^dw_i^TS_ww_i} = \prod\limits_{i=1}^d\frac{w_i^TS_bw_i}{w_i^TS_ww_i} </script>
  仔细观察上式最右边，这不就是广义瑞利商嘛！最大值是矩阵S−1wSbSw−1Sb<script type="math/tex" id="MathJax-Element-211">S_w^{-1}S_b</script>的最大特征值,最大的d个值的乘积就是矩阵S−1wSbSw−1Sb<script type="math/tex" id="MathJax-Element-212">S_w^{-1}S_b</script>的最大的d个特征值的乘积,此时对应的矩阵WW<script type="math/tex" id="MathJax-Element-213">W</script>为这最大的d个特征值对应的特征向量张成的矩阵。

  由于 W <script type="math/tex" id="MathJax-Element-214">W</script>是一个利用了样本的类别得到的投影矩阵，因此它的降维到的维度d最大值为k-1。为什么最大维度不是类别数k呢？因为SbSb<script type="math/tex" id="MathJax-Element-215">S_b</script>中每个μj−μμj−μ<script type="math/tex" id="MathJax-Element-216">\mu_j-\mu</script>的秩为1，因此协方差矩阵相加后最大的秩为k(矩阵的秩小于等于各个相加矩阵的秩的和)，但是由于如果我们知道前k-1个μjμj<script type="math/tex" id="MathJax-Element-217">\mu_j</script>后，最后一个μkμk<script type="math/tex" id="MathJax-Element-218">\mu_k</script>可以由前k-1个μjμj<script type="math/tex" id="MathJax-Element-219">\mu_j</script>线性表示，因此SbSb<script type="math/tex" id="MathJax-Element-220">S_b</script>的秩最大为k-1，即特征向量最多有k-1个。

5. LDA算法流程

  在第三节和第四节我们讲述了LDA的原理，现在我们对LDA降维的流程做一个总结。
  输入：数据集D={(x1,y1),(x2,y2),...,((xm,ym))}D={(x1,y1),(x2,y2),...,((xm,ym))}<script type="math/tex" id="MathJax-Element-221">D=\{(x_1,y_1), (x_2,y_2), ...,((x_m,y_m))\}</script>,其中任意样本xixi<script type="math/tex" id="MathJax-Element-222">x_i</script>为n维向量，yi∈{C1,C2,...,Ck}yi∈{C1,C2,...,Ck}<script type="math/tex" id="MathJax-Element-223">y_i \in \{C_1,C_2,...,C_k\}</script>，降维到的维度d。输出：降维后的样本集D′D′<script type="math/tex" id="MathJax-Element-224">D^′</script>

  • 算法流程：

    1. 计算类内散度矩阵SwSw<script type="math/tex" id="MathJax-Element-225">S_w</script>
    2. 计算类间散度矩阵SbSb<script type="math/tex" id="MathJax-Element-226">S_b</script>
    3. 计算矩阵S−1wSbSw−1Sb<script type="math/tex" id="MathJax-Element-227">S_w^{-1}S_b</script>
    4. 计算S−1wSbSw−1Sb<script type="math/tex" id="MathJax-Element-228">S_w^{-1}S_b</script>的最大的d个特征值和对应的d个特征向量(w1,w2,...wd)(w1,w2,...wd)<script type="math/tex" id="MathJax-Element-229">(w_1,w_2,...w_d)</script>,得到投影矩阵WW<script type="math/tex" id="MathJax-Element-230">W</script>
    5. 对样本集中的每一个样本特征 x i <script type="math/tex" id="MathJax-Element-231">x_i</script>,转化为新的样本zi=WTxizi=WTxi<script type="math/tex" id="MathJax-Element-232">z_i=W^Tx_i</script>
    6. 得到输出样本集D′={(z1,y1),(z2,y2),...,((zm,ym))}D′={(z1,y1),(z2,y2),...,((zm,ym))}<script type="math/tex" id="MathJax-Element-233">D'=\{(z_1,y_1), (z_2,y_2), ...,((z_m,y_m))\}</script>

     以上就是使用LDA进行降维的算法流程。实际上LDA除了可以用于降维以外，还可以用于分类。一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。
     由于LDA应用于分类现在似乎也不是那么流行，至少我们公司里没有用过，这里我就不多讲了。

6. LDA vs PCA

  LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。

  • 首先我们看看相同点：

    1. 两者均可以对数据进行降维。
    2. 两者在降维时均使用了矩阵特征分解的思想。
    3. 两者都假设数据符合高斯分布。

  • 我们接着看看不同点：

    1. LDA是有监督的降维方法，而PCA是无监督的降维方法
    2. LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。
    3. LDA除了可以用于降维，还可以用于分类。
    4. LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

  • 这点可以从下图形象的看出，在某些数据分布下LDA比PCA降维较优。

    LDAvsPCA

  • 当然，某些某些数据分布下PCA比LDA降维较优，如下图所示：

    LDAvsPCA1

7. LDA算法小结

  LDA算法既可以用来降维，又可以用来分类，但是目前来说，主要还是用于降维。在我们进行图像识别图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。

  • LDA算法的主要优点有：

    1. 在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。
    2. LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。

  • LDA算法的主要缺点有：

    1. LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。
    2. LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题。
    3. LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。
    4. LDA可能过度拟合数据。
Logo
CSDN学习社区

CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！

更多推荐

cover

Kaldi之父，IEEE Fellow，小米首席语音科学家Daniel Povey将出席2024全球机器学习技术大会并发表演讲！

avatar CSDN学习社区
cover

探索神经网络在商品销售和图像识别中的应用

avatar CSDN学习社区
cover

基于stm32F103的座面声控台灯

avatar CSDN学习社区