这本书是针对计算机科学专业大学生和软件工程师的。本课程旨在介绍深度强化学习,无需事先了解相关主题。但是,我们假设读者对机器学习和深度学习有基本的了解,并且对Python编程有中级的了解。一些使用PyTorch的经验也是有用的,但不是必需的。

第1章 强化学习简介 1 1.1 强化学习 1 1.2 强化学习中的MDP 6 1.3 强化学习中的学习函数 9 1.4 深度强化学习算法 11 1.4.1 基于策略的算法 12 1.4.2 基于值的算法 13 1.4.3 基于模型的算法 13 1.4.4 组合方法 15 1.4.5 本书中的算法 15 1.4.6 同策略和异策略算法 16 1.4.7 小结 16 1.5 强化学习中的深度学习 17 1.6 强化学习与监督学习 19 1.6.1 缺乏先知 19 1.6.2 反馈稀疏性 20 1.6.3 数据生成 20 1.7 总结 21 **部分 基于策略的算法和基于值的算法 第2章 REINFORCE 25 2.1 策略 26 2.2 目标函数 26 2.3 策略梯度 27 2.3.1 策略梯度推导 28 2.4 蒙特卡罗采样 30 2.5 REINFORCE算法 31 2.5.1 改进的REINFORCE算法 32 2.6 实现REINFORCE 33 2.6.1 一种*小化REINFORCE的实现 33 2.6.2 用PyTorch构建策略 36 2.6.3 采样动作 38 2.6.4 计算策略损失 39 2.6.5 REINFORCE训练循环 40 2.6.6 同策略内存回放 41 2.7 训练REINFORCE智能体 44 2.8 实验结果 47 2.8.1 实验:评估折扣因子的影响 47 2.8.2 实验:评估基准线的影响 49 2.9 总结 51 2.10 扩展阅读 51 2.11 历史回顾 51 第3章 SARSA 53 3.1 Q函数和V函数 54 3.2 时序差分学习 56 3.2.1 时序差分学习示例 59 3.3 SARSA中的动作选择 65 3.3.1 探索和利用 66 3.4 SARSA算法 67 3.4.1 同策略算法 68 3.5 实现SARSA 69 3.5.1 动作函数:ε-贪婪 69 3.5.2 计算Q损失 70 3.5.3 SARSA训练循环 71 3.5.4 同策略批处理内存回放 72 3.6 训练SARSA智能体 74 3.7 实验结果 76 3.7.1 实验:评估学习率的影响 77 3.8 总结 78 3.9 扩展阅读 79 3.10 历史回顾 79 第4章 深度Q网络 81 4.1 学习DQN中的Q函数 82 4.2 DQN中的动作选择 83 4.2.1 Boltzmann策略 86 4.3 经验回放 88 4.4 DQN算法 89 4.5 实现DQN 91 4.5.1 计算Q损失 91 4.5.2 DQN训练循环 92 4.5.3 内存回放 93 4.6 训练DQN智能体 96 4.7 实验结果 99 4.7.1 实验:评估网络架构的影响 99 4.8 总结 101 4.9 扩展阅读 102 4.10 历史回顾 102 第5章 改进的深度Q网络 103 5.1 目标网络 104 5.2 双重DQN 106 5.3 优先级经验回放 109 5.3.1 重要性抽样 111 5.4 实现改进的DQN 112 5.4.1 网络初始化 113 5.4.2 计算Q损失 113 5.4.3 更新目标网络 115 5.4.4 包含目标网络的DQN 116 5.4.5 双重DQN 116 5.4.6 优先级经验回放 117 5.5 训练DQN智能体玩Atari游戏 123 5.6 实验结果 128 5.6.1 实验:评估双重DQN与PER的影响 128 5.7 总结 132 5.8 扩展阅读 132 第二部分 组合方法 第6章 优势演员–评论家算法 135 6.1 演员 136 6.2 评论家 136 6.2.1 优势函数 136 6.2.2 学习优势函数 140 6.3 A2C算法 141 6.4 实现A2C 143 6.4.1 优势估计 144 6.4.2 计算价值损失和策略损失 147 6.4.3 演员–评论家训练循环 147 6.5 网络架构 148 6.6 训练A2C智能体 150 6.6.1 在Pong上使用n步回报的A2C算法 150 6.6.2 在Pong上使用GAE的A2C算法 153 6.6.3 在BipedalWalker上使用n步回报的A2C算法 155 6.7 实验结果 157 6.7.1 实验:评估n步回报的影响 158 6.7.2 实验:评估GAE中的影响 159 6.8 总结 161 6.9 扩展阅读 162 6.10 历史回顾 162 第7章 近端策略优化算法 165 7.1 替代目标函数 165 7.1.1 性能突然下降 166 7.1.2 修改目标函数 168 7.2 近端策略优化 174 7.3 PPO算法 177 7.4 实现PPO 179 7.4.1 计算PPO的策略损失 179 7.4.2 PPO训练循环 180 7.5 训练PPO智能体 182 7.5.1 在Pong上使用PPO算法 182 7.5.2 在BipedalWalker上使用PPO算法 185 7.6 实验结果 188 7.6.1 实验:评估GAE中的影响 188 7.6.2 实验:评估裁剪变量的影响 190 7.7 总结 192 7.8 扩展阅读 192 第8章 并行方法 195 8.1 同步并行 196 8.2 异步并行 197 8.2.1 Hogwild!算法 198 8.3 训练A3C智能体 200 8.4 总结 203 8.5 扩展阅读 204 第9章 算法总结 205 第三部分 实践细节 第10章 深度强化学习工程实践 209 10.1 软件工程实践 209 10.1.1 单元测试 210 10.1.2 代码质量 215 10.1.3 Git工作流 216 10.2 调试技巧 218 10.2.1 生命迹象 219 10.2.2 策略梯度诊断 219 10.2.3 数据诊断 220 10.2.4 预处理器 222 10.2.5 内存 222 10.2.6 算法函数 2