==第1篇 准备
∣
=第1章 认识大数据和Spark /2
1.1 大数据的介绍 /2
1.2 Apache Spark能做什么 /3
1.3 其他分布式数据处理框架 /4
1.4 如何使用本书 /4
∣1.4.1 需要提前具备的基础 /4
∣1.4.2 准备相关开发环境 /4
∣1.4.3 如何学习本书 /5
=
第2章 安装与配置Spark集群 /6
2.1 下载Spark安装包 /6
2.2 检查与准备集群环境 /7
2.3 了解目前集群中已经部署的框架服务 /11
2.4 部署Spark集群 /12
∣2.4.1 实例1：基于Standalone模式部署Spark集群 /12
∣2.4.2 实例2：部署Spark的历史服务——Spark History Server /16
∣2.4.3 实例3：基于Standalone模式部署高可用的Master服务 /18
∣2.4.4 实例4：基于YARN模式部署Spark集群 /20
∣2.4.5 Standalone模式与YARN模式的特点 /22
2.5 本章小结 /23
=
第3章 第1个Spark程序 /24
3.1 运行第1个Spark程序 /24
∣3.1.1 实例5：基于Standalone模式运行第1个Spark程序 /24
∣3.1.2 实例6：基于YARN模式运行第1个Spark程序 /27
∣3.1.3 提交Spark程序时的参数规范 /30
3.2 使用spark-shell编写并运行WordCount程序 /30
∣3.2.1 实例7：启动spark-shell /31
∣3.2.2 实例8：在spark-shell中编写WordCount程序 /32
3.3 使用IDEA编写并运行WordCount程序 /34
∣3.3.1 实例9：准备开发环境，并构建代码工程 /34
∣3.3.2 实例10：使用IDEA编写WordCount程序 /41
∣3.3.3 实例11：在IDEA中本地运行WordCount程序 /44
∣3.3.4 实例12：在IDEA中远程运行WordCount程序 /46
∣3.3.5 实例13：打包程序并提交至集群运行 /48
3.4 本章小结 /49
∣
==第2篇 入门
∣
第4章 读写分布式数据——基于Spark Core /52
4.1 RDD的诞生 /52
4.2 进一步理解RDD /53
∣4.2.1 数据存储 /53
∣4.2.2 数据分析 /55
∣4.2.3 程序调度 /56
4.3 读取数据并生成RDD /57
∣4.3.1 实例14：读取普通文本数据 /58
∣4.3.2 实例15：读取JSON格式的数据 /59
∣4.3.3 实例16：读取CSV、TSV格式的数据 /61
∣4.3.4 实例17：读取SequenceFile格式的数据 /62
∣4.3.5 实例18：读取Object格式的数据 /64
∣4.3.6 实例19：读取HDFS中的数据——显式调用Hadoop API /66
∣4.3.7 实例20：读取MySQL数据库中的数据 /68
4.4 保存RDD中的数据到外部存储系统 /70
∣4.4.1 实例21：保存成普通文本文件 /70
∣4.4.2 实例22：保存成JSON文件 /71
∣4.4.3 实例23：保存成CSV、TSV文件 /73
∣4.4.4 实例24：保存成SequenceFile文件 /74
∣4.4.5 实例25：保存成Object文件 /75
∣4.4.6 实例26：保存成HDFS文件——显式调用Hadoop API的方式 /76
∣4.4.7 实例27：写入MySQL数据库 /78
4.5 本章小结 /80
=
第5章 处理分布式数据——基于Spark Core /81
5.1 RDD的转换（transformations）操作——转换数据形态 /81
∣5.1.1 实例28：基础转换操作 /81
∣5.1.2 实例29：键值对转换操作 /103
5.2 RDD的行动（actions）操作——触发执行任务计划 /115
∣5.2.1 实例30：基础行动操作 /116
∣5.2.2 实例31：键值对行动操作 /125
∣5.2.3 实例32：数值行动操作 /127
5.3 本章小结 /128
∣
==第3篇 进阶
∣
第6章 RDD的高级操作 /130
6.1 缓存RDD /130
∣6.1.1 缓存RDD的基础知识 /130
∣6.1.2 实例33：缓存与释放RDD /133
6.2 RDD的检查点（Checkpoint）机制 /139
∣6.2.1 了解Checkpoint机制 /139
∣6.2.2 实例34：使用Checkpoint机制 /141
∣6.2.3 Checkpoint机制的工作流程 /144
6.3 RDD的依赖关系 /145
∣6.3.1 窄依赖（narrow dependencies） /145
∣6.3.2 宽依赖（wide/shuffle dependencies） /148
∣6.3.3 实例35：让子RDD混合依赖多个父RDD /151
∣6.3.4 实例36：词频统计——总结运算过程中涉及的概念 /153
6.4 累加器（Accumulator） /155
∣6.4.1 认识累加器 /155
∣6.4.2 实例37：使用系统累加器1——长整数、双精度浮点数累加器 /156
∣6.4.3 实例38：使用系统累加器2——集合累加器 /159
∣6.4.4 实例39：自定义累加器 /160
6.5 广播（Broadcast）——将数据块缓存到所有节点 /164
∣6.5.1 认识广播 /165
∣6.5.2 实例40：使用广播补全数据 /165
6.6 本章小结 /168
=
第7章 用SQL语法分析结构化数据——基于Spark SQL /169
7.1 为什么会产生Spark SQL /169
7.2 认识DataFrame与Dataset数据类型 /170
∣7.2.1 认识DataFrame /170
∣7.2.2 认识Dataset /171
7.3 实例41：通过Dataset、DataFrame分析用户数据 /172
∣7.3.1 用spark-shell编写程序 /172
∣7.3.2 用IDEA编写程序 /175
7.4 不同Spark版本的操作差异 /177
∣7.4.1 认识SQLContext与HiveContext /178
∣7.4.2 认识SparkSession /178
7.5 DataFrame、Dataset的基本操作 /179
∣7.5.1 DSL与SQL的语法风格 /179
∣7.5.2 使用临时视图的注意事项 /181
∣7.5.3 实例42：读取JSON、CSV格式的数据 /183
∣7.5.4 实例43：读取Parquet格式的数据 /185
∣7.5.5 实例44：读取代码中动态生成的数据 /185
∣7.5.6 实例45：读取关系型数据库中的数据 /188
∣7.5.7 实例46：输出Dataset、DataFrame中的数据 /189
∣7.5.8 实例47：RDD、DataFrame、Dataset之间的相互转换 /192
7.6 用户自定义函数 /195
∣7.6.1 实例48：实现“一进一出”的UDF /195
∣7.6.2 实例49：实现“多进一出”的UDAF /198
∣7.6.3 实例50：实现“一进多出”的UDTF /208
7.7 集成Spark SQL与Hive /211
∣7.7.1 已经部署Hive框架 /211
∣7.7.2 尚未部署Hive框架 /215
7.8 本章小结 /215
=
第8章 实时处理流式数据——基于Spark Streaming /216
8.1 为什么会产生Spark Streaming /216
8.2 第1个Spark Streaming程序 /216
∣8.2.1 实例51：用spark-shell编写程序 /216
∣8.2.2 实例52：用IDEA编写程序 /221
8.3 什么是DStream /222
∣8.3.1 认识DStream /222
∣8.3.2 认识DStreamGraph /223
8.4 读取数据到DStream中 /227
∣8.4.1 实例53：读取HDFS文件夹中的数据 /227
∣8.4.2 实例54：读取RDD组成的数据队列 /229
∣8.4.3 实例55：实时读取Flume中的数据 /230
∣8.4.4 实例56：用高阶API实时读取Kafka中的数据 /235
∣8.4.5 实例57：用低阶API实时读取Kafka中的数据 /242
8.5 Spark Streaming中的几个时间概念 /251
∣8.5.1 批处理间隔 /251
∣8.5.2 窗口时间宽度与滑动时间宽度 /252
∣8.5.3 实例58：使用窗口操作，每两秒统计10秒内的平均温度 /254
8.6 DStream的操作总结 /259
∣8.6.1 DStream的操作说明 /259
∣8.6.2 实例59：直接面向DStream中的RDD进行数据分析 /261
∣8.6.3 实例60：将DStream中的数据实时输出至外部存储系统 /263
∣8.6.4 实例61：对Dstream进行join操作 /267
8.7 DStream中的转换分类 /269
∣8.7.1 无状态转换 /269
∣8.7.2 有状态转换 /270
∣8.7.3 实例62：用有状态转换做全局词频统计 /270
8.8 在Spark Streaming中的缓存与Checkpoint /272
∣8.8.1 认识Spark Streaming中的Checkpoint /273
∣8.8.2 实例63：使用Spark Streaming中的Checkpoint /273
8.9 Spark Streaming中的累加器与广播变量 /276
∣8.9.1 认识累加器与广播变量 /276
∣8.9.2 实例64：自定义累加器，并结合无状态转换，实现实时的全局词频统计 /276
8.10 关闭Spark Streaming程序 /280
∣8.10.1 关闭程序的方案 /281
∣8.10.2 合理关闭一个运行中的Spark Streaming程序 /281
8.11 本章小结 /284
==
第4篇 高阶
=
第9章 实时处理流式数据——基于Structured Streaming /286
9.1 为什么会产生Structured Streaming /286
9.2 第1个Structured Streaming程序 /287
∣9.2.1 实例65：用spark-shell编写程序 /287
∣9.2.2 实例66：用IDEA编写程序 /289
9.3 Structured Streaming的编程模型 /291
9.4 输入数据——生成Streaming Dataset、Streaming DataFrame /292
∣9.4.1 实例67：根据文件生成工作流 /292
∣9.4.2 实例68：根据文件、文件夹生成自动分区的工作流 /295
∣9.4.3 实例69：根据Kafka以Streaming模式生成工作流 /297
∣9.4.4 实例70：以Kafka为数据源，通过Batch模式生成工作流 /300
∣9.4.5 实例71：根据指定速率生成工作流 /304
9.5 基于事件时间的窗口操作 /305
∣9.5.1 事件时间窗口的工作方式 /305
∣9.5.2 实例72：事件时间窗口的生成规则 /307
∣9.5.3 实例73：基于事件时间窗口实现词频统计 /311
9.6 基于Watermark处理延迟数据 /314
∣9.6.1 Watermark的作用 /314
∣9.6.2 实例74：基于Update模式实现词频统计，并结合Watermark处理延迟数据 /314
∣9.6.3 实例75：基于Append模式实现词频统计，并结合Watermark处理延迟数据 /320
∣9.6.4 Watermark的底层工作原理 /322
∣9.6.5 总结：Watermark机制与输出模式 /329
9.7 实例76：在处理流式数据时去除重复数据 /330
9.8 Structured Streaming中的join操作 /332
∣9.8.1 实例77：在Stream-Static模式下的inner join操作 /333
∣9.8.2 实例78：在Stream-Stream模式下的inner join操作 /335
∣9.8.3 总结：已经支持的join操作 /340
9.9 在Structured Streaming中实现数据分组，并手动维护分组状态 /341
∣9.9.1 实例79：通过mapGroupsWithState实现数据分组，并手动维护分组状态 /341
∣9.9.2 实例80：通过flatMapGroupsWithState实现数据分组，并手动维护分组状态 /347
∣9.9.3 总结：手动维护状态与Watermark的使用技巧 /352
9.10 输出分析结果 /353
∣9.10.1 输出模式（Output Mode）的使用场景 /353
∣9.10.2 实例81：基于File Sink输出数据 /354
∣9.10.3 实例82：基于Kafka Sink，以Streaming方式输出数据 /356
∣9.10.4 实例83：基于Kafka Sink，以Batch方式输出数据 /358
∣9.10.5 实例84：基于Console Sink输出数据 /360
∣9.10.6 实例85：基于Memory Sink输出数据 /360
∣9.10.7 实例86：基于Foreach Sink输出数据 /362
∣9.10.8 实例87：基于ForeachBatch Sink输出数据 /367
∣9.10.9 总结：不同Sink所适用的输出模式 /369
9.11 Trigger触发器的分类 /370
9.12 管理与监控工作流 /370
∣9.12.1 管理工作流 /370
∣9.12.2 监控工作流 /372
9.13 Structured Streaming中的Checkpoint机制 /372
9.14 连续处理模式——Continuous Processing /373
9.15 本章小结 /374
=
第10章 Spark的相关优化 /375
10.1 优化Spark程序 /375
∣10.1.1 实例88：尽可能减少或避免出现Shuffle过程 /375
∣10.1.2 实例89：使用Kryo作为序列化方案 /377
∣10.1.3 尽可能批量操作数据 /381
∣10.1.4 合理设置分区数 /381
∣10.1.5 合理设置批处理间隔 /381
10.2 优化数据 /382
∣10.2.1 关于数据倾斜 /382
∣10.2.2 实例90：使用自定义Partitioner缓解数据倾斜 /383
∣10.2.3 关于数据补全 /387
10.3 调优资源 /388
10.4 本章小结 /390
=
第5篇 商业项目实战
=
第11章 实战：学生学习情况分析系统 /392
11.1 项目概述 /392
∣11.1.1 业务背景 /392
∣11.1.2 划分业务模块 /392
11.2 开发环境说明 /393
11.3 项目实现 /394
∣11.3.1 构建工程 /394
∣11.3.2 模拟数据 /395
∣11.3.3 实时发送数据到Kafka /399
∣11.3.4 实时分析平台答题数据 /402
∣11.3.5 构建推荐模型 /405
∣11.3.6 实时推荐题目 /411
∣11.3.7 离线分析学习情况 /415
11.4 本章小结 /422