第一部分 混沌工程入门
第1章　混沌工程精粹 3
1.1　混沌工程的定义 3
1.1.1　混沌工程涉及整个社会技术系统 5
1.1.2　暗债何处寻 6
1.2　混沌工程的流程 7
1.3　混沌工程的实践 7
1.4　混沌工程和可观察性 9
1.5　有所谓的“混沌工程师”吗 9
1.6　小结 9
第2章　构建假说待办集 11
2.1　先做实验？ 12
2.2　收集假说 12
2.2.1　事故分析 13
2.2.2　描述系统 13
2.2.3　找到“可能出错的地方” 14
2.3　引入可能性和影响 15
2.3.1　绘制可能性与影响关系图 15
2.3.2　添加关注点 17
2.4　构建假说待办集 19
2.5　小结 20
第3章　规划并手动开展游戏日 21
3.1　何谓游戏日 22
3.2　规划游戏日 22
3.2.1　选择一个假说 22
3.2.2　选择游戏日风格 23
3.2.3　决定谁做参与者，谁做观察者 24
3.2.4　确定开展游戏日的位置 24
3.2.5　确定游戏日开始及持续的时间 25
3.2.6　描述游戏日实验 25
3.2.7　获得批准 27
3.3　开展游戏日 27
3.4　小结 29
第二部分　混沌工程自动化
第4章　为自动化混沌工程准备工具 33
4.1　安装Python 3 34
4.2　安装Chaos Toolkit的命令行界面 34
4.3　小结 36
第5章　编写并运行自动化混沌工程实验 37
5.1　建立示例目标系统 37
5.2　探索并发现缺陷的迹象 40
5.2.1　开展实验 42
5.2.2　chaos run的内在机制 43
5.2.3　稳态偏差可能表示“有改进空间” 44
5.3　改进系统 46
5.4　验证改进 47
5.5　小结 49
第6章　混沌工程全流程 51
6.1　目标系统 51
6.1.1　平台：三节点Kubernetes集群 52
6.1.2　应用程序：单一服务，复制三次 52
6.1.3　人员：集群管理团队和应用程序团队 54
6.2　寻找缺陷 55
6.2.1　命名实验 56
6.2.2　定义稳态假说 56
6.2.3　引入实验操作方法中的混乱条件 58
6.2.4　在操作方法中使用Kubernetes驱动程序 58
6.3　成为会还原的好公民 60
6.4　整合所有步骤并运行实验 61
6.5　小结 63
第7章　合作的混沌工程 65
7.1　共享实验定义 65
7.1.1　将配置值移入配置块 67
7.1.2　将配置属性指定为环境变量 68
7.1.3　将密钥移到外部 69
7.1.4　划定密钥范围 70
7.2　指定作用模型 72
7.3　创建并共享具有可读性的混沌工程实验报告 73
7.3.1　生成实验的单次运行报告 73
7.3.2　生成并共享实验的多次运行报告 74
7.4　小结 74
第8章　创建混沌工程实验驱动程序 75
8.1　无须额外代码即创建自定义驱动程序 76
8.1.1　用HTTP调用实现probe和action 76
8.1.2　用进程调用实现probe和action 78
8.2　用Python创建自定义混沌工程驱动程序 79
8.2.1　为Chaos Toolkit扩展项目新建Python模块 80
8.2.2　添加probe 81
8.3　小结 86
第三部分　混沌工程操作
第9章　混沌与操作 89
9.1　实验中的操控 90
9.2　启用control 92
9.2.1　在实验代码中启用control 93
9.2.2　全局启用control 93
9.3　小结 93
第10章　实现混沌工程的可观察性 95
10.1　为混沌工程实验加入日志 96
10.2　追踪混沌工程实验 98
10.2.1　引入OpenTracing 98
10.2.2　应用OpenTracing control 98
10.3　小结 100
第11章　人为干预自动化混沌工程实验 101
11.1　为control新建Chaos Toolkit扩展模块 102
11.2　加入非常简单的人机交互控制 102
11.3　跳过或执行实验中的activity 109
11.4　小结 111
第12章　持续混沌 113
12.1　何谓持续混沌 114
12.2　使用cron安排持续混沌 115
12.2.1　创建脚本执行混沌测试 115
12.2.2　将混沌测试脚本添加到cron 117
12.3　用Jenkins调度持续混沌 117
12.3.1　下载Jenkins 117
12.3.2　将混沌测试添加到Jenkins构建中 118
12.3.3　使用构建触发器调度Jenkins中的混沌测试 121
12.4　小结 122
附录A　混沌工程工具包Chaos Toolkit 123
附录B　Chaos Toolkit社区游乐场 129
关于作者 131
关于封面 131