导读：
　　
　　只是覆盖了很小的范围，但总结的不错。
　　1. 数学方面
　　1) 矩阵的各种分解. 比如, LU, QR, Cholesky, SVD, Polar.
　　2) 广义逆与子空间
　　3) 最小二乘法, 特别齐性方程Ax=b的各种解法及其几何意义
　　4) 凸分析与凸优化的基本知识及其几何意义
　　5) 常用的几种优化方法.
　　其实以上在某种意义下是相通的.
　　6) 微分几何、黎曼几何的基本概念和知识
　　7) 李群与李代数的基本知识
　　8) 图和谱图的基本知识
　　以上知识，我认为，是作为一个做算法的研究者都应该了解或是掌握的数学知识
　　9) 模糊数学10) 时间序列分析的主要方法和最近新方法.
　　11) 分形和混沌
　　12) 常用微分方程的基本类型和解法
　　2．算法
　　1）PCA, FA, MDS
　　这3个事最典型的降维方法，也是最古典的。但是他们已经出现很多变种，应用在计
　　算机的各个领域。拿PCA做例子，比如Local PCA, Sparse PCA, Probabilistic PCA, Non negative PCA.
　　2) ICA ( Independent Component Analysis )
　　独立元分析是降维分析中又一经典方法，其有很多种形式。在语音识别，人脸识别等
　　分类领域中广泛应用。最近又有Nonnegative ICA 出现。特别地李群与李代数（Toral子代数）的引入为这个经典的方法有注入了新鲜的活力。
　　3）NMF ( Nonnegative Matrix Factorization)
　　非负矩阵因子是99年发表在Nature上的一片经典论文。它是继PCA and ICA之后的又一产生广泛影响的降维方法。非负矩阵因子有着明显的几何意义，使其潜力无限，但又非常难以发掘。Nonnegative PCA and Nonnegative ICA 就是基于NMF 的思想提出的方法。
　　4）LLE ( Locally Linear Embedding ) and LE ( Laplacian Eigenmaps)
　　局部线性嵌入和拉普拉斯特征映射分别发表在Science (2000) 和 Neural Computation (2003)上，是非线性降维的里程碑。他们在计算机应用领域产生深远影响是大势所趋。特别LE的线性形式LPP (Locality Preserving Projections) 在人脸识别领域已大显身手，继Fisherfaces又一著名方法Laplacianfaces就是基于LPP. 另外基于谱聚类的方法也可以很容易的从LE中导出，它正是图像分割领域研究的热点。
　　5）HMM (Hidden Markov Model)
　　6) Wavelet
　　7) RBFNN (Radial Base Function Neural Network) and SOM (Self-organizing map)
　　径向基神经网络和自组织映射是神经网络中最常用的2种方法。随着几何优化的方法
　　引入神经网络，这些方法又焕发出新的生机和用途。
　　8）SVM （Support Vector Machine）
　　支持向量机是数据挖掘中的一朵奇葩，已经广泛应用于各种任务中。随着几何方法
　　和Clifford 代数的引入，SVM必将更加充满生机。
　　9）EM (Expectation Maximum)
　　EM算法是参数估计中最经典、最有效、而且最常用的方法。常用于 Bayesian Model or GMM中
　　10）Guassian Mixture Model
　　GMM是信号处理和模式识别中最经典的方法，也是最广泛应用的方法，比如，语音识
　　别、人脸识别、目标监测、图像分割
　　11）Bayesian Model or Bayesian Network
　　贝叶斯模型或是贝叶斯网络的广泛应用就不用多言语了吧。
　　其中 9）、10）、11）经常是成三成双的出现
　　12）Kernel Methods
　　基于核的方法正是现在国际领域中研究的热点，基本上大多数经典方法都已核化，
　　比如Kernel PCA, Kernel FA, Kernel LDA, Kernel-based MDS, LLE, LE, ……

本文转自
http://blog.edu.cn/user3/aimit/archives/2008/2158291.shtml