第一部分　大数据概述
第1章　大数据的时代背景及应用落地 2
1.1　大数据与“云大物区智”的关联 2
1.2　大数据平台的应用优势 4
1.3　大数据平台的技术架构选型和产品对比 4
第2章　大数据系统的安装及配置 7
2.1　服务器及操作系统的准备 7
2.2　JDK、Python和Scala 8
2.3　Hadoop 12
2.3.1 安装环境的确认及文件准备 16
2.3.2 配置环境变量及无密码传输 16
2.3.3 配置Hadoop的对应参数 18
2.3.4 启动并验证Hadoop 20
2.4　Sqoop 20
2.4.1 Sqoop安装文件的准备 22
2.4.2 Sqoop的安装及配置 23
2.4.3 Sqoop运行验证 24
2.5　Hive 25
2.5.1 安装文件的准备 26
2.5.2 配置环境变量和安装MySQL 26
2.5.3 配置Hive参数 26
2.5.4 验证Hive的相关服务 29
2.6　ZooKeeper和HBase 29
2.6.1 ZooKeeper安装文件的准备 30
2.6.2 ZooKeeper的安装及配置 30
2.6.3 ZooKeeper运行验证 31
2.6.4 HBase安装文件的准备 31
2.6.5 HBase的安装及配置 31
2.6.6 HBase运行验证 32
2.7　Flume 33
2.8　Kafka 35
2.9　Spark 37
2.9.1 Spark安装文件的准备 38
2.9.2 Spark的安装及配置 38
2.9.3 Spark运行验证 39
2.10　Flink 39
2.11　开源大数据系统各组件的组合 40
2.12　CDH 41
2.13　FusionInsight 42
2.14　小结 44
第二部分　离线大数据处理
第3章 使用Python爬虫获取数据 47
3.1　Python爬虫模块的安装 47
3.1.1　requests模块的安装及验证 47
3.1.2 Beautiful Soup模块的安装及验证 47
3.2　抓取并解析JSON数据 49
3.2.1　利用Fiddler找出所抓取的网址 49
3.2.2 解析JSON对象 51
3.3 抓取并解析HTML中的数据 52
3.3.1 使用Beautiful Soup提取网页内容 52
3.3.2 保存抓取内容 53
3.3.3 不同爬虫模块所适用的场景 55
3.4 使用Python提取文章的关键字 55
3.4.1 中文分词和关键字的提取 55
3.4.2 Python的中文分词模块jieba 56
3.4.3 使用自定义词典和停用词 57
3.4.4 提取文章的关键字 58
3.5 小结 60
第4章 Hive在大数据中的角色 61
4.1 Hive的核心概念及配置使用 61
4.1.1 Hive在大数据生态系统中的作用 61
4.1.2 Hive的几种使用方法 62
4.1.3 使用Tez引擎替代MapReduce 65
4.2 概要设计和物理模型的创建 68
4.2.1 使用Hive要解决哪些问题 68
4.2.2 数据库的概要设计 68
4.2.3 物理模型的定义及创建表 73
4.3 加载爬虫数据 79
4.4 数据的合并、去重和转换 80
4.4.1 数据的合并 80
4.4.2 利用临时表去掉重复的数据 81
4.4.3 使用Hive内置函数转换数据 83
4.5 使用UDF实现数据的转换 84
4.5.1 用户自定义函数的实现原理 84
4.5.2 利用Python实现UDF 84
4.5.3 数据进入rpt表 87
4.6 使用Python操作Hive 89
4.6.1 安装impyla模块 89
4.6.2 使用Python读取数据示例 89
4.7 ETL数据调度和数据治理 90
4.7.1 数据处理的自动化 90
4.7.2 数据治理 95
4.8 小结 96
第5章 使用HBase实现大数据存储 97
5.1 非关系型数据库及HBase 97
5.2 HBase的几个核心概念 98
5.3 HBase数据操作命令 99
5.3.1 HBase客户端 99
5.3.2 创建表及插入数据 100
5.3.3 按照行键值检索 102
5.3.4 扫描检索 102
5.3.5 删除表和数据 104
5.4 使用Python操作HBase 107
5.4.1 启动HBase Thrift Server 107
5.4.2 安装happybase模块 107
5.4.3 插入数据及删除数据 107
5.4.4 组合查询代码示例 109
5.5 把Hive数据导入HBase 110
5.6 用Hive外部表读取HBase数据 111
5.7 小结 112
第6章 Spark数据分析引擎 113
6.1 Spark简介 113
6.2 Spark集群的配置及启动 114
6.2.1 Spark集群的安装与配置 115
6.2.2 作业提交方式 116
6.2.3 操作界面的启动类型 117
6.2.4 三类Web监控界面 119
6.3 调用Hive数据 121
6.3.1 使用beeline客户端 121
6.3.2 使用HiveContext对象 122
6.3.3 使用Spark SQL 123
6.3.4 使用JDBC 123
6.4 调用HBase数据 123
6.4.1 设定环境变量 123
6.4.2 读数据示例 124
6.5 使用PySpark进行数据分析 126
6.5.1 将RDD转换为DataFrame 127
6.5.2 Spark SQL等值连接 129
6.5.3 使用matplotlib绘制直方图 129
6.6 小结 130
第7章 使用Flask实现数据展示 131
7.1 Flask框架简介及站点搭建流程 131
7.2 Flask微框架的特性 132
7.3 使用MVC模式搭建项目框架 133
7.3.1 访问地址 133
7.3.2 MVC模式简介 133
7.3.3 项目目录结构 134
7.4 检索及加载新闻数据 135
7.4.1 模型层的开发 135
7.4.2 模型层的单元测试 136
7.4.3 控制器层的开发 138
7.4.4 控制器层的单元测试 139
7.4.5 视图层的开发 140
7.5 小结 141
第二部分技术点总结 141
第三部分 流式大数据处理
第8章 使用Flume获取网站访问日志 145
8.1 Flume的安装及数据流模型 145
8.1.1 Flume简介及安装 145
8.1.2 Flume的数据流模型 146
8.2 核心组件的配合使用 146
8.2.1 6种核心组件 146
8.2.2 配置文件 147
8.2.3 flume-ng命令 148
8.3 各种数据组合的流动方式 150
8.3.1 将日志收集至文件 150
8.3.2 Sink的多路复用 152
8.3.3 使用Avro作为数据源 154
8.3.4 Channel的多路复用 155
8.4 Apache服务器的日志格式 158
8.5 合并两个网站的日志 160
8.6 小结 162
第9章 Kafka的安装、配置及其与Flume的整合 163
9.1 Kafka的特性及安装、配置 163
9.1.1 Kafka的特性和适用场合 163
9.1.2 安装、配置Kafka 164
9.2 几种术语 166
9.3 Broker的使用方法 167
9.3.1 单节点单Broker 168
9.3.2 单节点多Broker 169
9.3.3 分布式Broker 172
9.3.4 分区及偏移量 174
9.3.5 分区选择策略 176
9.4 分布式生产者/消费者 176
9.4.1 两个生产者 176
9.4.2 消费者组 177
9.5 Kafka Connector 180
9.5.1 File Source 181
9.5.2 File Sink 182
9.6 Kafka和Flume的整合 183
9.6.1 给Flume提供数据 183
9.6.2 从Flume中获取数据 184
9.7 使用Python连接Kafka 186
9.8 小结 187
第10章 Redis数据库简介 188
10.1 Redis的特点及适用场景 188
10.2 Redis的安装及命令行使用方法 188
10.2.1 Redis的安装及启动 188
10.2.2 命令行客户端 189
10.2.3 5种数据类型 190
10.2.4 字符串命令 191
10.3 使用Python操作Redis 193
10.4 使用Java操作Redis 194
10.5 小结 195
第11章 Flink简介及其与Kafka的整合 196
11.1 Flink概述及其与Spark的区别 196
11.2 Flink的架构、特性及工作流程 196
11.3 Flink的安装 199
11.3.1 单节点的安装 199
11.3.2 集群的安装 201
11.3.3 利用ZooKeeper实现Flink的高可用性 203
11.4 Flink的作业提交方式 205
11.4.1 以Standalone方式运行 205
11.4.2 利用YARN Session运行 207
11.4.3 利用Python调用Flink服务 212
11.4.4 使用REST API查看状态 213
11.5 Flink-Kafka Connector 214
11.5.1 Flink为Kafka提供数据 215
11.5.2 Flink从Kafka接收数据 219
11.6 使用Flink统计PageView 221
11.6.1 Flink开发的一般步骤 221
11.6.2 Flink DataStream API 221
11.6.3 将数据落地至Redis和HBase 227
11.7 小结 235
第12章 网站页面访问量的动态展示 236
12.1 百度的ECharts图表功能简介 236
12.2 页面访问量的动态统计 238
12.2.1 模型层的开发 239
12.2.2 控制器层的开发 242
12.2.3 视图层的开发 242
12.3 生成词云图和占比饼图 245
12.3.1 词云图模型层的开发 245
12.3.2 词云图控制器层的开发 248
12.3.3 词云图视图层的开发 249
12.3.4 关键字饼图的模型层开发 249
12.3.5 关键字饼图的控制器层开发 250
12.3.6 关键字饼图的视图层开发 251
12.4 访问日志检索 252
12.5 小结 253
第三部分技术点总结 253
第四部分 云平台搭建
第13章　搭建基于云平台的容器级数据系统 256
13.1　云平台 256
13.1.1　云平台架构 256
13.1.2　云平台的搭建及部署 259
13.1.3 云平台的高级配置 303
13.2 基于云平台的容器集群 309
13.2.1 Magnum 309
13.2.2 Docker Swarm 311
13.2.3 Mesos和Marathon的结合 316
13.2.4 Kubernetes 323
13.3 基于容器的大数据系统 331
13.4　小结 339