关于机器学习的应用场景

• 推荐算法
• 网页推荐
• 数据挖掘
• 无人驾驶
• 人工智能
• 智能医疗
• …

机器学习的定义

计算机程序从经验E中学习任务T。 并用度量P来衡量性能。条件是它由P定义的关于T的性能随着经验E而提高。

机器学习分类

监督性学习

回归问题->连续型数据

线性回归分析

训练集
函数：$h(x)=\theta_0+\theta_1x$
代价函数$J{(\theta_0,\theta_1)=}{1\over 2m}\sum_{k=1}^m(h(x_i)-y_i)^2$

梯度下降法最小化代价函数值
$\theta_i:=\theta_i-\alpha*{\partial \over \partial\theta_i}J(\theta_i)$
$(\alpha为学习速率)$
越接近局部最小点变化越慢。
矩阵和向量
* 矩阵的维数等于矩阵的行数乘以矩阵的列数
* 向量可以被视为只有一列的矩阵

多个训练集的情况,即多元线性回归
多个训练集时，用向量标注。
$h(x)=\theta_0+\sum_{i=1}^m\theta_ix_i$（可以看做是$x_0$恒为1）

$x_j^{（i）}$表示第i个样本里头的第j个特征量

X=$\begin{pmatrix} x_0&x_1&x_2&…&x_n \end{pmatrix}$ $\theta = \begin{pmatrix} \theta_0&\theta_1&\theta_2&…&\theta_n \end{pmatrix}$

$h(x)=\theta^TX$

依次更新每一个$\theta$的值：$\theta_j:=\theta_j-\alpha{1\over m}(h_\theta(x^i)-y^i)x^i_j(j从0循环到n)$

梯度下降法中的技巧

特征缩放（feature scaling）

关键在于保证特征值的范围大小相近，最好是将$x_i$的范围大约约束到-1到1之间。（$x_0$恒为1所以已经在范围之内了）

均值统一化(mean normalization)

将$x_i$用$x_i-u_i\over{s_i}$代替使得特征值的平均值接近0，$x_0$不用处理

选择合适的特征值

可以通过已有特征值定义新的，更合适的特征值。

多项式回归分析

比如现在的特征值为s，$h(x)=\theta_0+\theta_1x1+\theta_2x_2=\theta_0+\theta_2s+\theta_3s^2$那么就可以使$x_1=s,x_2=s^2$将多项式回归转化成多元回归分析

标准方程法

$\theta={(X^TX)}^{-1}X^TY$（其中X为一个(n+1)*m维矩阵用来表示m个训练集，Y为m维向量用来表示m个结果）

分类问题->离散型数据