---

什么是数据挖掘

数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。

1. 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识
2. 挖掘的不仅仅是数据（所以“数据挖掘”并非一个精确的用词）
3. 从数据中发现知识

---

并非所有东西是数据挖掘

基于数据仓库的OLAP系统

OLAP系统专注于数据的汇总，而数据挖掘系统可以对数据进行多种复杂的处理。

机器学习系统，数据统计分析系统

这些系统所处理的数据容量往往很有限。

信息系统

专注于数据的查询处理。

---

数据挖掘的步骤

1. 数据清理: (这个可能要占全过程60％的工作量)
2. 数据集成
3. 数据选择
4. 数据变换
5. 数据挖掘（选择适当的算法来找到感兴趣的模式）
6. 模式评估
7. 知识表示

---

在何种数据上进行数据挖掘

关系数据库

数据仓库

事务数据库

高级数据库系统和信息库

空间数据库

空间数据库是指在关系型数据库（DBMS）内部对地理信息进行物理存储。空间数据库中存储的海量数据包括对象的空间拓扑特征、非空间属性特征以及对象在时间上的状态变化。

常见的空间数据库数据类型
地理信息系统(GIS)
遥感图像数据
医学图像数据

时间数据库和时间序列数据库

时间数据库和时序数据库都存放与时间有关的数据。时间数据库通常存放包含时间相关属性的数据。时序数据库存放随时间变化的值序列。
对时间数据库和时序数据库的数据挖掘,可以通过研究事物发生发展的过程，有助于揭示事物发展的本质规律，可以发现数据对象的演变特征或对象变化趋势。

流数据

与传统的数据库技术中的静态数据不同，流数据是连续的、有序的、变化的、快速的、大量的数据输入的数据。

主要应用场合
网络监控
网页点击流
股票市场
流媒体…等等

多媒体数据库

多媒体数据库实现用计算机管理庞大复杂的多媒体数据，主要包括包括图形(graphics)、图象(image)、声音(audio)、视频(video)等等，现代数据库技术一般将这些多媒体数据以二进制大对象的形式进行存储。
对于多媒体数据库的数据挖掘，需要将存储和检索技术相结合。目前的主要方法包括构造多媒体数据立方体、多媒体数据库的多特征提取和基于相似性的模式匹配

面向对象数据库和对象-关系数据库

面向对象数据库是面向对象技术和数据库技术结合的产物，该技术对数据以对象的形式进行存储，并在这个基础上实现了传统数据库的功能，包括持久性、并发控制、可恢复性、一致性和查询数据库的能力等。
对象－关系数据库基于对象－关系模型构造，该模型通过处理复杂对象的丰富数据类型和对象定位等功能，扩充关系模型。
面向对象数据库和对象－关系数据库中的数据挖掘会涉及一些新的技术，比如处理复杂对象结构、复杂数据类型、类和子类层次结构、构造继承以及方法和过程等等。

异构数据库和历史(legacy)数据库

历史数据库是一系列的异构数据库系统的集合，包括不同种类的数据库系统，像关系数据库、网络数据库、文件系统等等。
有效利用历史数据库的关键在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。
对于异构数据库系统，实现数据共享应当达到两点：一是实现数据库转换；二是实现数据的透明访问。

文本数据库和万维网(WWW)

文本数据库存储的是对对象的文字性描述。

文本数据库的分类
无结构类型（大部分的文本资料和网页）
半结构类型（XML数据）
结构类型（图书馆数据）

万维网(WWW)可以被看成最大的文本数据库

数据挖掘内容
内容检索
WEB访问模式检索

---

数据挖掘的主要功能（可以挖掘哪些模式）

一般功能：
描述性的数据挖掘
预测性的数据挖掘

通常，用户并不知道在数据中能挖掘出什么东西，对此我们会在数据挖掘中应用一些常用的数据挖掘功能，挖掘出一些常用的模式，包括：
概念/类描述: 特性化和区分
关联分析
分类和预测
聚类分析
孤立点分析
趋势和演变分析

概念/类描述: 特性化和区分

概念描述：为数据的特征化和比较产生描述（当所描述的概念所指的是一类对象时，也称为类描述）
特征化：提供给定数据集的简洁汇总。
例：对AllElectronic公司的“大客户”（年消费额$1000以上）的特征化描述：40－50岁，有固定职业，信誉良好，等等
区分：提供两个或多个数据集的比较描述

关联分析

关联规则挖掘：从事务数据库，关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性。
广泛的用于购物篮或事务数据分析。

分类和预测

根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据（分类），用来预测类型标志未知的对象类（预测）。
比如：按气候将国家分类，按汽油消耗定额将汽车分类
导出模型的表示: 判定树、分类规则、神经网络
可以用来预报某些未知的或丢失的数字值

聚类分析

聚类分析：将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程。最大化类内的相似性和最小化类间的相似性
例：对WEB日志的数据进行聚类，以发现相同的用户访问模式

孤立点分析

孤立点:一些与数据的一般行为或模型不一致的孤立数据
通常孤立点被作为“噪音”或异常被丢弃，但在欺骗检测中却可以通过对罕见事件进行孤立点分析而得到结论。

应用
信用卡欺诈检测
移动电话欺诈检测
客户划分
医疗分析（异常）

趋势和演变分析

描述行为随时间变化的对象的发展规律或趋势（时序数据库）
趋势和偏差: 回归分析
序列模式匹配：周期性分析
基于类似性的分析

---