注重体验与质量的电子书资源下载网站
分类于: 设计 人工智能
简介
Storm实时数据处理 豆 4.5分
资源最后更新于 2020-11-10 06:43:01
作者:(澳)Quinton Anderson
译者:卢誉声
出版社:机械工业出版社
出版日期:2014-01
ISBN:9787111466635
文件格式: pdf
标签: storm 分布式 计算机 实时计算 数据 bigdata 软件开发 计算机科学
简介· · · · · ·
【编辑推荐】
从多个角度全面讲解Storm实时数据处理技术和最佳实践,为快速掌握并灵活应用Storm提供实用指南;
从实际问题出发,系统介绍Storm的基本应用、多语言特性、完整业务系统实现和产品交付的最佳实践方法;从产品持续交付角度,分析并实践集成、测试和交付的所有步骤。
【内容简介】
在大数据领域,Hadoop无疑是最炙手可热的技术。作为分布式系统架构,Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本的优点。然而随着数据体积越来越大,实时处理能力成为了许多机构需要面对的首要挑战。Hadoop是一个批处理系统,在实时计算处理方面显得十分乏力。Storm是一个类似于Hadoop的实时数据处理框架,也是一个非常有效的开源实时计算工具,通常被比作“实时的Hadoop”。
本书通过丰富的实例,系统讲解Storm的基础知识和实时数据处理的最佳实践...
目录
第1章 搭建开发环境 / 1
1.1 简介 / 1
1.2 搭建开发环境 / 1
1.3 分布式版本控制 / 3
1.4 创建“Hello World”Topology / 6
1.5 创建Storm集群——配置机器 / 12
1.6 创建Storm集群——配置Storm / 18
1.7 获取基本的点击率统计信息 / 23
1.8 对Bolt进行单元测试 / 31
1.9 实现集成测试 / 34
1.10 将产品部署到集群 / 37
第2章 日志流处理 / 38
2.1 简介 / 38
2.2 创建日志代理 / 38
2.3 创建日志Spout / 40
2.4 基于规则的日志流分析 / 45
2.5 索引与持久化日志数据 / 49
2.6 统计与持久化日志统计信息 / 53
2.7 为日志流集群创建集成测试 / 55
2.8 创建日志分析面板 / 59
第3章 使用Trident计算单词重要度 / 71
3.1 简介 / 71
3.2 使用Twitter过滤器创建URL流 / 71
3.3 从文件中获取整洁的词流 / 76
3.4 计算每个单词的相对重要度 / 81
第4章 分布式远程过程调用 / 85
4.1 简介 / 85
4.2 通过DPRC实现所需处理流程 / 85
4.3 对Trident Topology进行集成测试 / 90
4.4 实现滚动窗口Topology / 95
4.5 在集成测试中模拟时间 / 98
第5章 在不同语言中实现Topology / 100
5.1 简介 / 100
5.2 在Qt中实现多语言协议 / 100
5.3 在Qt中实现SplitSentence Bolt / 105
5.4 在Ruby中实现计数 Bolt / 108
5.5 在Clojure中实现单词计数Topology / 109
第6章 Storm与Hadoop集成 / 113
6.1 简介 / 113
6.2 在Hadoop中实现TF-IDF算法 / 115
6.3 持久化来自Storm的文件 / 121
6.4 集成批处理与实时视图 / 122
第7章 实时机器学习 / 127
7.1 简介 / 127
7.2 实现事务性Topology / 129
7.3 在R中创建随机森林分类模型 / 134
7.4 基于随机森林的事务流业务分类 / 143
7.5 在R中创建关联规则模型 / 149
7.6 创建推荐引擎 / 152
7.7 实时在线机器学习 / 157
第8章 持续交付 / 162
8.1 简介 / 162
8.2 搭建CI服务器 / 162
8.3 搭建系统环境 / 164
8.4 定义交付流水线 / 166
8.5 实现自动化验收测试 / 170
第9章 在AWS上部署Storm / 177
9.1 简介 / 177
9.2 使用Pallet在AWS上部署Storm / 177
9.3 搭建虚拟私有云 / 181
9.4 使用Vagrant在虚拟私有云上部署Storm / 189
1.1 简介 / 1
1.2 搭建开发环境 / 1
1.3 分布式版本控制 / 3
1.4 创建“Hello World”Topology / 6
1.5 创建Storm集群——配置机器 / 12
1.6 创建Storm集群——配置Storm / 18
1.7 获取基本的点击率统计信息 / 23
1.8 对Bolt进行单元测试 / 31
1.9 实现集成测试 / 34
1.10 将产品部署到集群 / 37
第2章 日志流处理 / 38
2.1 简介 / 38
2.2 创建日志代理 / 38
2.3 创建日志Spout / 40
2.4 基于规则的日志流分析 / 45
2.5 索引与持久化日志数据 / 49
2.6 统计与持久化日志统计信息 / 53
2.7 为日志流集群创建集成测试 / 55
2.8 创建日志分析面板 / 59
第3章 使用Trident计算单词重要度 / 71
3.1 简介 / 71
3.2 使用Twitter过滤器创建URL流 / 71
3.3 从文件中获取整洁的词流 / 76
3.4 计算每个单词的相对重要度 / 81
第4章 分布式远程过程调用 / 85
4.1 简介 / 85
4.2 通过DPRC实现所需处理流程 / 85
4.3 对Trident Topology进行集成测试 / 90
4.4 实现滚动窗口Topology / 95
4.5 在集成测试中模拟时间 / 98
第5章 在不同语言中实现Topology / 100
5.1 简介 / 100
5.2 在Qt中实现多语言协议 / 100
5.3 在Qt中实现SplitSentence Bolt / 105
5.4 在Ruby中实现计数 Bolt / 108
5.5 在Clojure中实现单词计数Topology / 109
第6章 Storm与Hadoop集成 / 113
6.1 简介 / 113
6.2 在Hadoop中实现TF-IDF算法 / 115
6.3 持久化来自Storm的文件 / 121
6.4 集成批处理与实时视图 / 122
第7章 实时机器学习 / 127
7.1 简介 / 127
7.2 实现事务性Topology / 129
7.3 在R中创建随机森林分类模型 / 134
7.4 基于随机森林的事务流业务分类 / 143
7.5 在R中创建关联规则模型 / 149
7.6 创建推荐引擎 / 152
7.7 实时在线机器学习 / 157
第8章 持续交付 / 162
8.1 简介 / 162
8.2 搭建CI服务器 / 162
8.3 搭建系统环境 / 164
8.4 定义交付流水线 / 166
8.5 实现自动化验收测试 / 170
第9章 在AWS上部署Storm / 177
9.1 简介 / 177
9.2 使用Pallet在AWS上部署Storm / 177
9.3 搭建虚拟私有云 / 181
9.4 使用Vagrant在虚拟私有云上部署Storm / 189