1.概率密度函数的估计方法

• 参数估计：已知概率密度函数形式，用样本估计参数->最大似然估计+贝叶斯估计 在指定的一类函数中选择一个函数作为对位置函数的估计
• 非参数估计：未知密度函数形式或不符合分布模型，用样本把函数数值化估计 用样本估计整个函数，无法得到封闭函数形式；从所有可能的函数中进行的一个选择

2.概率密度估计的非参数方法

• 方法：将样本空间X=[x1,x2,...xn]分隔为若干个bin。 落入某个小窗内的样本比例≈密度估计，
  N是样本总量，V是x围绕的体积，k是V中样本数量
• bin体积选择：过大->密度函数估计粗糙；过小->样本分布不均则函数不连续
• 收敛条件：N越大，V越小，V内样本足够多，V内样本占总样本比例小
  ,
  ,
• 改进方法：bin从固定宽度->根据样本分布调整体积 = 更好的估计
• 实现途径：固定V->用样本确定k->核函数parzen窗，选择
  ,
  ,对
  和
  限制 固定k->用样本确定V->KNN，选择
  ,
  ,
  为正好包含
  的
  个近邻

3.非参数估计 - Parzen窗方法

计算

• 小舱的体积
  ,
  为棱长，
  为维度
• 小舱内是否落入样本：
  ,某个样本
  是否在x为中心，h为棱长的小舱内
• 落入立方体的样本数：
• x处的密度估计：

窗函数的形式

满足条件：

窗口宽度的影响

• 较大：x和xi距离大小的影响变弱，p(x)平滑，分辨率较差
• 较小：x和xi距离大小的影响变强，p(x)尖锐，分辨率较好

4.非参数估计 - KNN方法

计算

• 固定样本数
  ,在x附近选取与之最近的
  个样本，计算该
  个样本分布的最小体积