diff --git a/4.人工智能/4.6.9.3基本概念介绍.md b/4.人工智能/4.6.9.3基本概念介绍.md
index c43acdb..9daafb4 100644
--- a/4.人工智能/4.6.9.3基本概念介绍.md
+++ b/4.人工智能/4.6.9.3基本概念介绍.md
@@ -84,8 +84,8 @@ $U_{t}=R_{t}+\gamma R_{t+1}+\gamma^{2} R_{t+2}+\ldots \gamma^{n} R_{t+n}$
 
 *Fix:真的理所当然吗？*<br>
 让我们回顾一下，之前讲述"奖励"的定义时，我们得出过一个结论:每一个奖励 $R_{i}$，都与当时刻的状态 $S_{i}$ 与动作 $A_{i}$ 有关。我们又知道，状态 $S_{i}$ 与动作 $A_{i}$ 在某种意义上都是随机变量，不要忘了:<br>
-1.状态$S_{i}$是由状态转移函数，随机抽样得到的<br>
-2.动作$A_{i}$是由策略 $\pi$ ,以状态$S_{i}$作为输入后随机抽样输出的
+i.状态$S_{i}$是由状态转移函数，随机抽样得到的<br>
+ii.动作$A_{i}$是由策略 $\pi$ ,以状态$S_{i}$作为输入后随机抽样输出的
 
 因此，$U_{t}$ 就跟 $t$ 时刻开始未来所有的状态和动作都有关，$U_{t}$的随机性也因此和未来所有的状态和动作有关。
 
@@ -113,4 +113,37 @@ $Q^*\left(s_t, a_t\right)= \underset{\pi}{max} Q_\pi\left(s_t, a_t\right)$
 
 我们跨出了历史性的一步。
 
-如果有了 $Q^*$ 函数，意味着可以评价动作的好坏了。我们的价值函数不再和策略有关，在观测的状态 $s$ 下，$Q^*$函数成为指挥智能体动作的“指挥官”——哪个动作的分数最高，智能体就应该执行哪个动作。学习 $Q^*$ 函数也是强化学习的最终目标之一，我们可以维护一张 $Q$ 表
+如果有了 $Q^*$ 函数，意味着可以评价动作的好坏了。我们的价值函数不再和策略有关，在观测的状态 $s$ 下，$Q^*$函数成为指挥智能体动作的“指挥官”——哪个动作的分数最高，智能体就应该执行哪个动作。学习 $Q^*$ 函数也是强化学习的最终目标之一，我们可以维护一张价值表用于选择收益最大的动作。学习 $Q^*$ 函数的过程被称为**基于价值的学习**。
+
+4.状态价值函数(State-value function)
+
+在动作价值函数中，$Q^*$ 函数将未来的随机变量消去，留下 $s_{t}$ 和 $a_{t}$ 作为观测变量。如果把动作作为随机变量，然后对于动作求期望，求得的新函数将仅与策略 $\pi$ 和状态 $s$ 有关，这就得到了状态价值函数 $V_\pi\left(s_t\right)$ 。下面是状态价值函数的定义：
+
+<center>
+
+$\begin{aligned} & V_\pi\left(s_t\right)=E_A\left[Q_\pi\left(s_t, A\right)\right] \\ & A \sim \pi\left(\cdot \mid s_t\right)\end{aligned}$
+
+</center>
+
+状态价值函数消去了动作 $a$，留下了策略 $\pi$ 与状态 $s$。这就意味着，在策略$\pi$下，目前状态的好坏可以根据状态价值函数的值来判断。如果策略是固定的，那么 $V_\pi$ 的值越大代表当前形势越好、对自己越有利。同样，策略价值函数也能用于评价策略的好坏，策略越好，$V_\pi\left(s_t\right)$ 的平均值就会越大。
+
+## 强化学习的基本目标
+
+看完上述内容的你，心里想必有十万个为什么:我是谁？我在哪？我要做什么？
+
+明明最初说好的要训练智能体打游戏，我才耐着性子看下去的！看了这么久了，我光学到了一大堆似是而非的概念，推导并尝试理解了一大堆可能之前都没有接触到过的数学公式，抑或是翻开了尘封已久的《概率论与数理统计》才勉强跟上公式推导及其步骤，却连强化学习怎么训练智能体都不知道！这是诈骗！~~日内瓦，退钱！~~ 
+
+这也是我在学习过程中的心路历程。理解/半懂不懂的带过了一堆概念，却连强化学习最基本的任务都不明白。我要干什么，才能训练智能体打游戏？
+
+还记得我们前面提到过的**基于价值的学习**和**基于策略的学习**吗？没错，强化学习的最终目标就是通过两者完成的，下面将给出具体阐述。
+
+1.**基于价值的学习**。说人话，就是学习 $Q^*$ 函数。我们之前已经推导过 $Q^*$ 函数在学习过程中的重要性了，它就好像一个"指挥官"，智能体只需要按照它输出的动作照着执行就够了。试想:在现实世界里如果有这样一位人，他一直在指导你炒股，并且证明了他的选择永远是收益最高的，你还管什么原理，跟着大哥梭哈就完事了！在基于价值的学习中，我们通过使用最优值函数来选择最优的动作以最大化长期奖励的方式来间接地学习最优策略。基于价值的学习使用值函数来指导行为，直接体现就是维护了一个价值表格或价值函数，并通过这个价值表格或价值函数来选取价值最大的动作。
+
+2.**基于策略的学习**。说人话，就是学习 $\pi$ 函数。我们复习一下策略 $\pi$ 的定义，是指智能体采取动作的规则。试想:在现实世界里，由于少年你骨骼清朗，兼有大机缘大智慧大定力，捡到了一本炒股秘籍。这本秘籍想必是心思慎密的高人前辈所留，无论是在何种状态下都有规则匹配当前状态告诉你应该怎么操作——并且你操作之后收益永远是最大化的，这本指导手册就是策略。基于策略的学习在每个状态下选择最优的动作，以最大化长期奖励。这种方法的目标是直接优化策略本身，因此它通常需要在策略空间中进行搜索，并且在每个策略上评估其长期累积奖励。
+
+通常情况下，学到 $Q^*$ 函数和 $\pi$ 函数之一，就可以操控智能体打游戏了。但是也有方法结合了价值学习和策略学习，这就是演员-批评家网络(Actor-Critic)。不必太过担心，我们会在后续章节详细阐述该框架。
+
+## 总结与展望
+在本章节里，我们了解了强化学习的基本过程、组成要素、基本概念以及最终目标，无论你是否真正搞懂每一个知识点，想必已经对强化学习有一个初步的了解了。接下来，我拟从 Q-learning、SARSA 算法等传统强化学习算法开始，推到结合了深度学习的 Deep Q-learning(DQN) ,以及其改进版本Double DQN(DDQN)、Dueling DQN 等算法，以完成基于价值学习侧的算法介绍。然后，我将从 Reinforce 这一最基础的强化学习算法引入基于策略学习侧的基本理念，然后介绍结合基于策略学习和基于价值学习的演员-批评家网络(Actor-Critic)架构，并且引出PPO、DDPG等算法。
+
+为了不让你的大脑继续过载，下一章节将讲述强化学习基本环境的搭建。
\ No newline at end of file