前言
数学符号
第一篇　深度强化学习
第1章　深度强化学习基础 2
1.1　强化学习 2
1.1.1　强化学习的发展历史 2
1.1.2　强化学习简介 4
1.1.3　深度强化学习简介 6
1.2　马尔可夫属性和决策过程 9
1.2.1　马尔可夫属性 9
1.2.2　马尔可夫决策过程 11
1.3　强化学习核心概念 12
1.3.1　值函数 12
1.3.2　动态规划 14
1.3.3　时间（序）差分 15
1.3.4　策略梯度 16
1.3.5　actor-critic方法 17
1.4　Q-learning 18
1.4.1　Q-learning简介 18
1.4.2　算法 19
1.4.3　相关变量及影响 20
1.4.4　实现方法 21
第2章　深度强化学习算法 22
2.1　基于值的深度强化学习算法 22
2.1.1　深度Q网络 22
2.1.2　深度双Q网络 27
2.1.3　竞争网络架构 31
2.1.4　平均值DQN 33
2.1.5　多DQN变种结合体：Rainbow 37
2.1.6　基于动作排除的DQN 42
2.2　基于策略的深度强化学习算法 46
2.2.1　循环确定性策略梯度 46
2.2.2　深度确定性策略梯度 55
2.2.3　信赖域策略优化 62
2.2.4　近端策略优化 68
2.3　基于模型的深度强化学习算法 73
2.3.1　基于模型加速的连续深度Q-learning 73
2.3.2　范例模型探索 80
2.3.3　基于模型集成的信赖域策略优化 88
2.3.4　时间差分模型 95
2.4　基于分层的深度强化学习算法 102
2.4.1　分层深度强化学习 102
2.4.2　基于封建网络的分层强化学习 109
2.4.3　基于随机神经网络的分层强化学习 116
第3章　分布式深度强化学习 123
3.1　分布式系统 123
3.1.1　分布式系统简介 123
3.1.2　分布式系统的发展历史 124
3.1.3　架构演进 125
3.1.4　主流分布式系统框架 128
3.2　分布式深度强化学习算法 129
3.2.1　分布式近端策略优化 129
3.2.2　分布式深度确定性策略梯度 138
3.3　分布式深度强化学习框架 145
3.3.1　重要性加权Actor-Learner架构 145
3.3.2　分布式优先经验复用池 153
第二篇　多智能体深度强化学习
第4章　多智能体深度强化学习基础 162
4.1　多智能体强化学习 162
4.1.1　多智能体强化学习发展历史 162
4.1.2　多智能体强化学习简介 164
4.1.3　优势和挑战 166
4.2　部分可见马尔可夫决策过程 166
4.2.1　POMDP模型 166
4.2.2　POMDP相关研究 169
4.2.3　POMDP应用领域 170
第5章　多智能体深度强化学习算法 171
5.1　基于值函数的多智能体深度强化学习 171
5.1.1　基于DQN的多智能体网络 171
5.1.2　增强智能体间学习 174
5.1.3　协同多智能体学习的价值分解网络 178
5.1.4　多智能体深度强化学习的稳定经验复用池 182
5.1.5　单调值函数分解 187
5.1.6　深度强化学习中的对立智能体建模 190
5.1.7　平均场多智能体强化学习 193
5.2　基于策略的多智能体深度强化学习 197
5.2.1　基于自身策略的其他智能体行为预测 197
5.2.2　双重平均方案 201
5.2.3　多智能体深度强化学习的统一博弈论方法 208
5.3　基于AC框架的多智能体深度强化学习 212
5.3.1　多智能体深度确定性策略梯度 212
5.3.2　多智能体集中规划的价值函数策略梯度 220
5.3.3　多智能体系统的策略表示学习 227
5.3.4　部分可观察环境下的多智能体策略优化 231
5.3.5　基于联网智能体的完全去中心化MARL 236
第三篇　多任务深度强化学习
第6章　多任务深度强化学习基础 244
6.1　简介 244
6.1.1　理论概述 244
6.1.2　面临的挑战 247
6.2　策略蒸馏法 248
第7章　多任务深度强化学习算法 253
7.1　无监督强化与辅助学习 253
7.1.1　算法介绍 253
7.1.2　算法分析 255
7.1.3　使用场景与优势分析 261
7.2　使用渐进式神经网络解决任务的复杂序列 262
7.2.1　算法介绍 262
7.2.2　算法分析 262
7.2.3　使用场景与优势分析 266
7.3　基于单智能体的多任务共享模型 267
7.3.1　算法介绍 267
7.3.2　算法分析 268
7.3.3　使用场景与优势分析 272
7.4　使用PopArt归一化多任务更新幅度 273
7.4.1　算法介绍 273
7.4.2　算法分析 274
7.4.3　使用场景与优势分析 276
第四篇　深度强化学习的应用
第8章　游戏 278
8.1　Gym Retro游戏平台 278
8.1.1　平台简介 278
8.1.2　安装Gym Retro平台 281
8.1.3　安装Retro UI 282
8.1.4　Gym Retro主要函数说明 283
8.2　相关应用 285
8.2.1　Pong游戏 285
8.2.2　CartPole 291
8.2.3　Flappy Bird 298
8.2.4　Gradius 302
第9章　机器人控制 312
9.1　机器人导航 312
9.1.1　无地图导航 312
9.1.2　社会感知机器人导航 316
9.2　路径规划 321
9.3　机器人视觉 324
第10章　计算机视觉 327
10.1　图像 327
10.1.1　图像字幕 327
10.1.2　图像恢复 332
10.2　视频 337
10.2.1　视频字幕 337
10.2.2　视频快进 345
10.2.3　视觉跟踪 348
第11章　自然语言处理 354
11.1　与知识库交互的多轮对话智能体 354
11.1.1　概率KB查找 355
11.1.2　端到端KB-InfoBot 356
11.1.3　总结 359
11.2　鲁棒远程监督关系提取 359
11.2.1　问题表述 360
11.2.2　使用基于策略的智能体重新分配训练数据集 363
11.2.3　总结 363
11.3　非成对情感–情感翻译 363
11.3.1　问题表述 363
11.3.2　训练算法 366
11.3.3　总结 367
缩写参照表 368
常用词中英文对照 371
参考文献 374