1. RL介绍

强化学习（Reinforcement Learning，RL)，又称再励学习，评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体在于环境的交互过程中通过学习策略以达成回报最大化或实现特性目标的问题。

• 基本要素
  $$\begin{array}{rl}& A：动作空间（Actionspace)\\ & S：状态空间（Statespcae)\\ & R：奖励（Reward)\\ & P：状态转移概率矩阵（Transition）\end{array}$$

2.马尔科夫决策过程（Markov Decision Process, MDP ）

2.1 马尔科夫过程（Markov Process)

在一个随机过程$s_0,s_1,...,s_n$中，已知时刻$t_i$所处的状态$s_i$，如果在时刻$t_{i+1}$时的状态$s_{i+1}$至于状态$s_i$相关，耳语$t_i$时刻之前的状态无关，则称这个过程为马尔科夫过程。

具有马尔科夫性质的随机过程$s_0,s_1,...,s_n$成为马尔科夫链。

2.2 马尔科夫回报过程（Markov Reward Process)

状态s的期望奖励值表示为
$$V(s)=E[G_t|S_t=s],其中V表示奖励的期望$$
计算累计奖励的方式

• 计算从当前状态到结束状态的所有奖励之和,适合有限时界强库抗下的强化学习
  $$\begin{array}{rl}V(s)& =E[G_t|S_t=s]\\ & =E[r_{t+1}+r_{t+2}+...+r_{t+T}]\\ & =E[r_{t+1}+V(S_{t+1})|S_t=s]\\ & =\sum _{s^{\cdot }}P(s^{‘}|s)(R(s^{‘})+V(s^{‘}))\end{array}$$

• 增加折扣因子，适合无限时界
  $$\begin{array}{rl}V(s)& =E[G_t|S_t=s]\\ & =E[r_{t+1}+\gamma r_{t+1}+{\gamma }^2{r}_{t+3}+...]\\ & =E[r_{t+1}+\gamma V(S_{t+1})|S_t=s]\\ & =\sum _{s^{‘}}P(s^{‘}|s)(R(s^{‘})+\gamma V(s^{‘}))\end{array}$$

2.3 马尔科夫决策过程（Markov Decision Process，MDP）

将马尔科夫决策过程定义为一个五元组：
M = ( S , A , R , P , γ ) S : 状 态 空 间 ， 表 示 所 有 的 状 态 A ： 动 作 空 间 ， 表 示 每 个 状 态 下 可 执 行 的 动 作 R : S ∗ A → R , 奖 励 函 数 P : S ∗ A → S , 状 态 转 移 规 则 \begin{aligned} &M=(S,A,R,P,\gamma) \\ &S:状态空间，表示所有的状态 \\ &A：动作空间，表示每个状态下可执行的动作 \\ &R:S*A \rightarrow R,奖励函数 \\ &P:S*A \rightarrow S,状态转移规则 \end{aligned} ​M=(S,A,R,P,γ)S:状态空间，表示所有的状态A：动作空间，表示每个状态下可执行的动作R:S∗A→R,奖励函数P:S∗A→S,状态转移规则​
强化学习要解决的问题是：agent(智能体)需要学习一个策略（policy）$\pi$ ,这个策略$\pi$定义了从状态到动作的一个映射关系$\pi :S\to A$,也就是说，agent在任意状态$s_t$下所能执行的动作为：$a_t=\pi (s_t)$,并且有
$$\sum _{a_t\in A}\pi (a_t|s_t)=1$$

持续学习中…

附：CSDN博客中的公式显示问题

• 行内的公式不能有空格，如$公式$
• 段间的公式在有其他的语法应用时，也不能有空格，如$$\begin{aligned} 公式 \end{aligned},作用是将公式利用“&”进行对齐。