Table of Contents

• 前言
  • 关键组件
    • 数据
    • 模型
    • 目标函数
    • 优化算法
  • 各种机器学习问题
    • 监督学习
      • 回归
      • 分类
      • 标记问题
      • 搜索
      • 推荐系统
      • 序列学习
        • 标记和解析
        • 自动语音识别
        • 文本到语音
        • 机器翻译
    • 无监督学习
      • 聚类（clustering）问题
      • 主成分分析（principal component analysis）问题
      • 因果关系（causality）和概率图模型（probabilistic graphical models）问题
      • 生成对抗性网络*（generative adversarial networks）
    • 与环境互动
      • 离线学习
      • 与环境互动
    • 强化学习
      • 强化学习的特点
      • 强化学习的分类
  • 小结

《动手学深度学习》的笔记
原文：https://zh-v2.d2l.ai/

前言

关键组件

数据

每个数据集由一个个样本（example, sample）组成。样本有时也叫做数据点（data point）或者数据实例（data instance），通常每个样本由一组称为特征（features，或协变量（covariates））的属性组成。在上面的监督学习问题中，要预测的是一个特殊的属性，它被称为标签（label，或目标*（target））。

模型

目标函数

在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，我们称之为*目标函数（objective function）。 我们通常定义一个目标函数，并希望优化它到最低点。 因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。 通常，损失函数是根据模型参数定义的，并取决于数据集。 在一个数据集上，我们通过最小化总损失来学习模型参数的最佳值。 该数据集由一些为训练而收集的样本组成，称为训练数据集*（training dataset，或称为*训练集（training set））。 然而，在训练数据上表现良好的模型，并不一定在“新数据集”上有同样的效能，这里的“新数据集”通常称为测试数据集*（test dataset，或称为*测试集*（test set））。 当一个模型在训练集上表现良好，但不能推广到测试集时，我们说这个模型是“过拟合”（overfitting）的。

优化算法

一旦我们获得了一些数据源及其表示、一个模型和一个合适的损失函数，我们接下来就需要一种算法，它能够搜索出最佳参数，以最小化损失函数。 深度学习中，大多流行的优化算法通常基于一种基本方法–梯度下降（gradient descent）。 简而言之，在每个步骤中，梯度下降法都会检查每个参数，看看如果你仅对该参数进行少量变动，训练集损失会朝哪个方向移动。 然后，它在可以减少损失的方向上优化参数。

各种机器学习问题

监督学习

监督学习（supervised learning）擅长在“给定输入特征”的情况下预测标签。** 每个“特征-标签”对都称为一个样本（example）。 有时，即使标签是未知的，样本也可以指代输入特征。 我们的目标是生成一个模型，能够将任何输入特征映射到标签，即预测。 综上所述，即使使用简单的描述“给定输入特征的预测标签”，监督学习也可以采取多种形式的模型，并且需要大量不同的建模决策，这取决于输入和输出的类型、大小和数量。 例如，我们使用不同的模型来处理“任意长度的序列”或“固定长度的序列”。 我们将在本书中深入探讨这些问题。

回归

本质上是输出决定的。 假设你在市场上寻找新房子，你可能需要估计一栋房子的公平市场价值。 销售价格，即标签，是一个数值。 当标签取任意数值时，我们称之为回归问题。

分类

在分类问题中，我们希望模型能够预测样本属于哪个类别（category，正式称为类（class））。 当我们有两个以上的类别时，我们把这个问题称为多元分类（multiclass classification）问题。 常见的例子包括手写字符识别 {0,1,2,…9,a,b,c,…}{0,1,2,…9,a,b,c,…}。 与解决回归问题不同，分类问题的常见损失函数被称为交叉熵（cross-entropy）

标记问题

学习预测不相互排斥的类别的问题称为*多标签分类*（multi-label classification）。

搜索

在信息检索领域，我们希望对一组项目进行排序。 以网络搜索为例，我们的目标不是简单的“查询（query）-网页（page）”分类，而是在海量搜索结果中找到用户最需要的那部分。

推荐系统

另一类与搜索和排名相关的问题是推荐系统（recommender system），它的目标是向特定用户进行“个性化”推荐

序列学习

以上大多数问题都具有***固定大小*的输入和产生固定大小的输出。在这些情况下，模型只会将输入作为生成输出的“原料”，而不会“记住”输入的具体内容。（如果输入的样本之间没有任何关系，以上模型可能完美无缺。） 但是如果输入是连续的，我们的模型可能就需要拥有“记忆”功能。
序列学习需要摄取输入序列或预测输出序列，或两者兼而有之。 具体来说，输入和输出都是可变长度的序列

标记和解析

这涉及到用属性注释文本序列。 换句话说，输入和输出的数量基本上是相同的。
例如，我们可能想知道动词和主语在哪里，或者，我们可能想知道哪些单词是命名实体。

自动语音识别

在语音识别中，输入序列是说话人的录音，输出序列是说话人所说内容的文本记录。 它的挑战在于，与文本相比，音频帧多得多（声音通常以8kHz或16kHz采样）。 这也是“序列到序列”的学习问题，其中输出比输入短得多。

文本到语音

输出比输入长得多

机器翻译

在语音识别中，输入和输出的出现顺序基本相同。 而在机器翻译中，颠倒输入和输出的顺序非常重要。 换句话说，虽然我们仍将一个序列转换成另一个序列，但是输入和输出的数量以及相应序列的顺序大都不会相同。

无监督学习

我们称这类数据中不含有“目标”的机器学习问题为无监督学习（unsupervised learning）

聚类（clustering）问题

• 没有标签的情况下，我们是否能给数据分类呢？

主成分分析（principal component analysis）问题

• 我们能否找到少量的参数来准确地捕捉数据的线性相关属性？比如，一个球的运动轨迹可以用球的速度、直径和质量来描述。

因果关系（causality）和概率图模型（probabilistic graphical models）问题

• 如果我们有关于房价、污染、犯罪、地理位置、教育和工资的人口统计数据，我们能否简单地根据经验数据发现它们之间的关系？

生成对抗性网络*（generative adversarial networks）

• 为我们提供一种合成数据的方法，甚至像图像和音频这样复杂的非结构化数据。潜在的统计机制是检查真实和虚假数据是否相同的测试

与环境互动

离线学习

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3NtSWjWw-1645978428940)(C:/Users/007/AppData/Roaming/Typora/typora-user-images/image-20220227234616577.png)]

不管是监督学习还是无监督学习，我们都会预先获取大量数据，然后启动模型，不再与环境交互。 这里所有学习都是在算法与环境断开后进行的，被称为*离线学习*（offline learning）。 好的一面是，我们可以孤立地进行模式识别，而不必分心于其他问题。 但缺点是，解决的问题相当有限。

与环境互动

你可能会期望人工智能不仅能够做出预测，而且能够与真实环境互动。 与预测不同，“与真实环境互动”实际上会影响环境。 强化学习问题，这是一类明确考虑与环境交互的问题。

强化学习

如果你对使用机器学习开发与环境交互并采取行动感兴趣，那么你最终可能会专注于强化学习（reinforcement learning）。 这可能包括应用到机器人、对话系统，甚至开发视频游戏的人工智能（AI）。 深度强化学习（deep reinforcement learning）将深度学习应用于强化学习的问题，是非常热门的研究领域。 突破性的深度Q网络（Q-network）。例如：AlphaGo 程序在棋盘游戏围棋中击败了世界冠军 在强化学习问题中，agent在一系列的时间步骤上与环境交互。 在每个特定时间点，agent从环境接收一些观察（observation），并且必须选择一个动作（action），然后通过某种机制（有时称为执行器）将其传输回环境，最后agent从环境中获得奖励（reward）。 此后新一轮循环开始，agent接收后续观察，并选择后续操作，依此类推。

强化学习的特点

• 强化学习框架的通用性十分强大

​ 例如，我们可以将任何监督学习问题转化为强化学习问题。 假设我们有一个分类问题，我们可以创建一个强化学习agent，每个分类对应一个“动作”。 然后，我们可以创建一个环境，该环境给予agent的奖励。 这个奖励与原始监督学习问题的损失函数是一致的。

• 强化学习还可以解决许多监督学习无法解决的问题

​ 例如，在监督学习中，我们总是希望输入与正确的标签相关联。 但在强化学习中，我们并不假设环境告诉agent每个观测的最优动作。 一般来说，agent只是得到一些奖励。 此外，环境甚至可能不会告诉我们是哪些行为导致了奖励。 因此，强化学习者必须处理学分分配（credit assignment）问题：决定哪些行为是值得奖励的，哪些行为是需要惩罚的。

• 强化学习可能还必须处理部分可观测性问题

​ 也就是说，当前的观察结果可能无法阐述有关当前状态的所有信息。 比方说，一个清洁机器人发现自己被困在一个许多相同的壁橱的房子里。 推断机器人的精确位置（从而推断其状态），需要在进入壁橱之前考虑它之前的观察结果。

• 强化学习agent可能知道一个好的策略，但可能有许多更好的策略从未尝试过的

​ 强化学习agent必须不断地做出选择：是应该利用当前最好的策略，还是探索新的策略空间（放弃一些短期回报来换取知识）。

强化学习的分类

当环境可被完全观察到时，我们将强化学习问题称为马尔可夫决策过程（markov decision process）。 当***状态不依赖于之前的操作*时，我们称该问题为上下文赌博机（contextual bandit problem）。 当***没有状态，只有一组最初未知回报的可用动作*时，这个问题就是经典的多臂赌博机（multi-armed bandit problem）。

小结

• 机器学习研究计算机系统如何利用经验（通常是数据）来提高特定任务的性能。它结合了统计学、数据挖掘和优化的思想。通常，它是被用作实现人工智能解决方案的一种手段。
• 表示学习作为机器学习的一类，其研究的重点是如何自动找到合适的数据表示方式。深度学习是通过学习多层次的转换来进行的多层次的表示学习。
• 深度学习不仅取代了传统机器学习的浅层模型，而且取代了劳动密集型的特征工程。
  *。它结合了统计学、数据挖掘和优化的思想。通常，它是被用作实现人工智能解决方案的一种手段。
• 表示学习作为机器学习的一类，其研究的重点是如何自动找到合适的数据表示方式。深度学习是通过学习多层次的转换来进行的多层次的表示学习。
• 深度学习不仅取代了传统机器学习的浅层模型，而且取代了劳动密集型的特征工程。
• 最近在深度学习方面取得的许多进展，大都是由廉价传感器和互联网规模应用所产生的大量数据，以及（通过GPU）算力的突破来触发的。 整个系统优化是获得高性能的关键环节。有效的深度学习框架的开源使得这一点的设计和实现变得非常容易。