数据表示——数据清洗——数据统计——数据可视化——数据挖掘——人工智能

• 数据表示：采用合适方式用程序表达数据
• 数据清洗：数据归一化、数据转换、异常值处理
• 数据统计：数据的概要理解、数量、分布、中位数等
• 数据可视化：直观展示数据内涵的方式
• 数据挖掘：从数据分析获得知识，产生数据外的价值
• 人工智能：数据/语言/图像/视觉等方面深度分析与决策

python库之数据分析

Numpy：表达n维数据的最基础库

• python数据分析及科学计算的基础库，支持pandas
• 提供矩阵运算、广播函数、线性代数等
  
  Pandas：python数据分析的高层次库
• 简单易用的数据结构和数据分析工具
• 理解数据类型与索引的关系，操作索引即操作数据
  http://pandas.pydata.org

Series = 索引 + 一维数据
DataFrame = 行列索引 + 二维数据

  
  

  
  
1
2

SciPy：数学、科学和工程计算功能库

• 提供数学算法及工程数据运算功能
• 类似Matlab，可用于傅里叶变换、信号处理等
• 科学计算功能库
  http://www.scipy.org
  

python库之数据可视化

Matplotlib:高质量的二维数据可视化功能库

• 通过matplotlib.pyplot子库调用各可视化效果
  http://matplotlib.org
  
  Seaborn:统计类数据可视化功能库
• 主要展示数据间分布、分类和线性关系等内容
  http://seaborn.pydata.org
  
  Mayavi:三维科学数据可视化功能库
• 3D科学计算数据可视化展示效果
  http://docs.enthought.com/mayavi/mayavi
  

python之文本处理

PyPDF2:用来处理pdf文件的工具集

• 处理PDF文件的计算功能
• 支持获取信息、分割/整合文件、加密解密等
  http://mstamy2.github.io/PyPDF2

//合并两PDF
from PyPDF2 import PdfFileReader,PdfFileMerger
merger = PdfFileMerger()
input1 = open("xxx.pdf","rb")
input2 = open("xxx.pdf","rb")
merger.append(fileobj = input1,pages=(0,3))
merger.merge(position = 2, fileobj = input2, pages = (0,1))
output = open("xxx.pdf","wb")
merger.write(output)

  
  

  
  
1
2
3
4
5
6
7
8
9

NLTK:自然语言文本处理库**

• 简单易用
• 支持语言文本分类、标记、语法句法、语义分析等
  http://www.nltk.org

//自然语言文本变成数学结构，并分析逻辑关系
from nltk.corpus import treebank
t = treebank.parsed_sents('wsj_001.mrg')[0]
t.draw()

  
  

  
  
1
2
3
4

Python-docx:创建或更新word文件

• 创建或更新
• 增加并配置格式

from docx import Document
document = Document()
document.add_heading('Document Title',0)
p = document.add_paragraph('A plain paragraph having some')
document.add_page_break()
document.save('demo.docx')

  
  

  
  
1
2
3
4
5
6

python之机器学习

Scikit-learn:机器学习方法工具集

• 提供统一化的机器学习方法功能接口

• 提供聚类、分类、回归、强化学习等计算功能
  http://scikit-learn.org
  
  TensorFlow:机器学习计算框架

• 将数据流图作为基础，图节点代表运算，边代表张量

• 开源框架，调用即可
  https://www.tensorflow.org

import tensorflow as tf
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
res = sess.run(result)
print('result:',res)

  
  

  
  
1
2
3
4
5
6

MXNet:基于神经网络的深度学习计算框架

• 提供可扩展的神经网络及深度学习计算功能
• 可用于自动驾驶、机器翻译、语音识别等领域
  https://mxnet.incubator.apache.org

                                </div><div><div></div></div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-60ecaf1f42.css" rel="stylesheet">
                            </div>