如果是连续的，则可以使用定积分和概率密度函数来表示。这里的 $x_i$ 是指整个样本空间的所有可能取值，所以，现在的目标就变成了： 在很多很多可能的函数中，去寻找一个 $f$，使得风险 $R(f)$ 最小 。然而，真实的风险是建立在对整个样本空间进行考量的，我们并不能获得整个样本空间，我们有的只是一个从我们要解决的任务的样本空间中使用独立同分布的方法随机采样得到的子集 $(X, Y)$，那么，在这个子集上，我们可以求出这个真实分布的近似值，比如说 经验风险 ：

其中 $(x_i, y_i)$ 是我们已有的数据集中的样本，所以，我们选择能够最小化经验风险的函数 $f$ 这样的一个策略就被称之为 经验风险最小化原则 。

很显然，当训练数据集足够大的时候，经验风险最小化这一策略能够保证很好的学习效果——这也就是我们当代深度神经网络取得很多方面的成功的一个重要原因。专业的说，我们把我们已有的数据集的大小称之为 样本容量 。不论是什么应用领域，规范的大数据集合，就意味着我们的机器学习任务已经成功了一半。

模型，过拟合，欠拟合

那么学习这个 $f$ 需要一个 载体 , 这个载体的作用就是，用它我们可以表述各种各样的函数 $f$ 这样我们就可以通过调整这个载体去选择一个最优的 $f$ ,这个最优的 $f$ 能够使经验风险最小化，这个载体我们专业地说，就是机器学习中的 模型（model） , 单纯地说模型的抽象概念可能让人难以理解，我们选取一种模型的实例来看。

我们以 人工神经网络（artificial neural network，ANN） 为例来讨论。首先，我们知道我们现在需要的是一个模型，这个模型具有能够描述各种各样的函数的能力，下图是一个神经网络：

它看起来很复杂，让人费解，那么我们把它简化，如下图：

我们把这个模型理解成一个黑箱，这个黑箱里有很多参数：$(w_1, w_2, w_3,...,w_n)$，我们用 $W$ 来描述这个黑箱中的参数，这些参数叫 模型参数，即使模型内部的结构不变，仅仅修改这些参数，模型也能表现出不同的 本领，具体来说：对于手写字识别任务，我们在手写字数据集上通过 一定的算法 调整神经网络的参数，使得神经网络拟合出一个函数 $f$ ，这个 $f$ 是经验风险最小化的函数，那么我们训练出来的这个“黑箱”就可以用于手写字识别了;另一方面，对于车辆识别来说，假设我们有车辆数据集，相同的思路，我们可以训练出一个黑箱来最做车辆识别。如下图所示：

在前文中我们知道，考量一个机器学习模型的关键在于其泛化能力，一个考量泛化能力的重要指标就是模型的训练误差和测试误差的情况：

• 训练误差：模型在训练集上的误差
• 测试误差：模型在从未“见过的”测试集上的误差

这两个误差，分别对应了机器学习任务中需要解决的两个问题： 欠拟合 和 过拟合 。当训练误差过高时，模型学到的函数并没有满足经验风险最小化 ,对手写字识别来说，模型即使在我们的训练集中识别的精度也很差，我们称这种情况为欠拟合。当训练误差低但是测试误差高，即训练误差和测试误差的差距过大时，我们称之为过拟合，此时模型学到了训练集上的一些“多余的规律”，表现为在训练数据集上识别精度很高，在测试数据集（未被用于训练，或者说未被用于调整模型参数的数据集合）上识别精度不高。

模型的 容量（capacity） 决定了模型是否倾向于过拟合还是欠拟合。模型的容量指的是模型拟合各种函数的能力，很显然，越复杂的模型就能够表述越复杂的函数（或者说规律，或者说模式）。那么对于一个特定的任务（比如说手写字识别），如何去选择合适的模型容量来拟合相应的函数呢？这里就引入了 奥卡姆剃刀原则 ：

奥卡姆剃刀原则:在同样能够解释已知观测现象的假设中,我们应该挑选”最简单”的那一个。

这可以理解为一个简约设计原则，在处理一个任务是，我们应当使用尽可能简单的模型结构。

“一定的算法”–>梯度下降算法

前面我们说到我们可以通过 一定的算法 调整神经网络的参数，这里我们就来介绍一下这个 定向（朝着经验风险最小化的方向）调整模型参数的算法——梯度下降算法 。

要最小化经验风险 $\bar R(f)$，等同于最小化损失函数，在机器学习中，损失函数可以写成每个样本的损失函数的总和：

其中 $\theta$ 表示模型中的所有参数，现在我们要最小化 $L(\theta)$，我们首先想到的是求解导数，我们把这个 $L$ 对 $\theta$ 的导数记作 $L'(\theta)$ 或者 $\frac{dL}{d \theta}$ , 导数 $L'(\theta)$ 就代表了函数 $L(\theta)$ 在 $\theta$ 处的斜率，我们可以把函数的输入输出关联性用斜率来描述：

其中， $\alpha$ 是一个变化量，利用这个公式，我们就可以利用导数来逐渐使 $L$ 变小，具体来说，我们只要让 $\alpha$ 的符号和导数的符号相反，即：

这样, $L(\theta + \alpha)$ 就会比原来的 $L(\theta)$ 更小：

这种通过向导数的反方向移动一小步来最小化目标函数（在我们机器学习中，也就是损失函数）的方法，我们称之为 梯度下降（gradient descent） 。对于神经网络这种复杂的模型来说，模型包含了很多参数，所以这里的 $\theta$ 就表示一个参数集合，或者说参数向量， 所以我们要求的导数就变成了包含所有参数的偏导数的向量 $\triangledown_{\theta}L(\theta)$。这里的 $\alpha$ 就可以理解为我们进行梯度下降的过程中的步长了，我们将学习的步长称为 学习率（learning rate） , 它描述了梯度下降的速度。

小结

在本节中，我们没有介绍任何一种具体的机器学习算法和模型，但是我们快速的了解了机器学习任务中的重要成分和结构，以下我们来进行一个小的总结：

1. 首先，机器学习是用来完成特定的 任务 的:比如说手写字识别，行人检测，房价预测等等。这个任务必须要有一定的 性能度量 ，比如说识别精度，预测误差等等。
2. 然后，为了处理这个 任务 ，我们需要设计 模型 ，这个模型能够从 数据 中基于一定的 策略 (比如说经验风险最小化原则) 和一定的 算法 (比如说梯度下降算法) 去 学习 一个 函数 。
3. 最后，这个 函数 要能够处理这个任务中的各种各样的情况（包括没有出现在训练集中的情况），这个模型要有很好的 泛化能力 ，这样，我们的机器学习任务就成功了。

之后的文章会介绍各种各样的任务，模型，算法，但是总的来说还是遵照这样的基本模式，机器学习尤其是深度学习在无人驾驶的研究中起着非常重要的作用，我们将逐步深入学习无人驾驶中的机器学习算法。