1: 没有免费的午餐: 对特定问题的先验认识的条件下, 没有最优的分类器.
2: 丑小鸭定理: 对特定问题的先验认识的条件下,没有最优的特征表达.
3: occam' razor: 杀鸡焉用牛刀? 小的剃须刀就可以了,干吗用电锯??? keep it simple,stupid. 简单就是美.
    爱因斯坦:描述一个问题,解决一个问题,要尽可能的简单,但不要更简单.
    杜达:长期的进化过程, 使我们自身的"模式识别仪器"面临强大的自然选择的压力---要求执行更简单的计算,需要更少的神经元,花费更短的时间,等等,导致我们的分类器趋向简单的方案.
    沃伦.巴菲特:盖茨的成功不在于他做了什么,而在于他没做什么.
            一个人要专注做一件事情,理想太多了, 变得没有理想了.
    总之,我们的分类器要尽可能保持简单,因为,简单的通常是最有效的.这是经验!
4: 回归中的偏差和方差关系
    4.1)
    偏差小: 准确度高
    方差小: 推广性好.
    4.2)
    曲线拟合的均方误差 = 偏差^2 + 方差. 与两者都有关系
5: 刀切法 和 自助法
     由于现实中,获取样本往往是比较困难的,怎么充分的利用好手里的现有的样本???
     刀切法: 降低样本中噪声的影响.每次统计模型的参数信息的时候, 去掉一部分样本.
     自助法: 把样本分为多个独立的自助集.相当于多次重复里利用手里的样本.
6: bagging & boosting & 基于查询的学习
     略去.
7:单个分割平面的能力
   也就是说 线性分类面的能力???
   一般位置: d维空间的点, 没有d+1个点落在d-1维子空间时,我们称这些点处于一般位置.
   eg: d=1,一维空间的点. 如果没有2两个点落在0维子空间(也就是处在同一个点上.)
   eg: d=2,2维空间的点. 如果没有3两个点落在1维子空间(也就是处在同一个线上.)
   正是由于线性分类器的弱点,
    ---我们引入了非线性分类器 BP --- 改变分类面的线性关系为非线性
    ---我们引入了SVM --- 改变样本点的空间位置使之可以使用线性分类器.
 

http://www.blogjava.net/dongwq/archive/2009/11/28/304046.html