一、数据挖掘的概念

数据中的知识发现(KDD),也可以把数据挖掘视为知识发现过程的一个基本步骤。
步骤序列:
(1)数据清理
(2)数据集成
(3)数据选择
(4)数据变换
(5)数据挖掘
(6)模式评估
(7)知识表示

二、数据挖掘的功能

数据挖掘功能分为描述性的和预测性的。
描述数据:刻画目标数据中数据的一般性质。
预测数据:预测其他变量。
聚类,关联分析,数据总结,偏差检测是描述性任务。
分类和预测是预测性任务。
在这里插入图片描述

三、数据挖掘运用到的技术

数据挖掘吸纳了统计学,机器学习,模式识别,数据库和数据仓库,信息检索,可视化,算法分析,高性能计算等许多领域的大量技术。

四、数据分析过程中五个原则

天下没有免费的午餐定理:同一个算法只能解决某一个问题,不能解决所有问题。
丑小鸭定理:同样的数据,在不同的人眼中,针对不同的问题,要选取不同的特征
奥卡姆剃刀定理:在实际运用过程中,选择最简单的模型。
大数定理:当样本数目足够大时,事件A的频率可以近似的当成其概率
布弗朗尼原则:如果将某些属性作为数据的重要特征,而这些属性在很多随机数据中出现,那么这些属性其实不可依赖。应该选择几乎不可能在随机数据中出现的属性来作为重要特征。

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐