我爱电子书-《深入理解Spark: 核心思想与源码分析》| pdf + epub + mobi + awz3, 高清版, 带目录，Kindle版, 多看精排版下载

注重体验与质量的电子书资源下载网站

分类于: 互联网云计算&大数据人工智能

简介

深入理解Spark: 核心思想与源码分析豆 7.2分

资源最后更新于 2020-03-29 04:46:10

作者：耿嘉安

出版社：出版社机械工业出版社

出版日期：2016-01

ISBN：9787111522348

文件格式： pdf

标签：互联网数据挖掘数据分析

简介· · · · · ·

本书结合大量图和示例，对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。《深入理解SPARK：核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。耿嘉安，10年IT行业相关经验。就职于阿里巴巴商家业务事业部，任资深Java工程师，专注于开源和大数据领域，目前与小伙伴们基于ODPS构建阿里的大数据商业解决方案——御膳房。在大量的工作实践中，对J2EE、JVM、Tomcat、Spring、Hadoop、Spark、MySQL、Redis都有深入研究，尤其喜欢剖析开源项目的源码实现。早期从事J2EE企业级应用开发，对Java相关技术有独到见解。业余时间喜欢研究中国古代历史，古诗词，旅游，足球等。

直接下载

简介

深入理解Spark: 核心思想与源码分析 豆 7.2分

简介· · · · · ·

目录

前言

准备篇

第1章 环境准备

1.1 运行环境准备

1.2 Spark初体验

1.3 阅读环境准备

1.4 Spark源码编译与调试

1.5 小结

第2章 Spark设计理念与基本架构

2.1 初识Spark

2.2 Spark基础知识

2.3 Spark基本设计思想

2.4 Spark基本架构

2.5 小结

核心设计篇

第3章 SparkContext的初始化

3.1 SparkContext概述

3.2 创建执行环境SparkEnv

3.3 创建metadataCleaner

3.4 SparkUI详解

3.5 Hadoop相关配置及Executor环境变量

3.6 创建任务调度器TaskScheduler

3.7 创建和启动DAGScheduler

3.8 TaskScheduler的启动

3.9 启动测量系统MetricsSystem

3.10 创建和启动ExecutorAllocationManager

3.11 ContextCleaner的创建与启动

3.12 Spark环境更新

3.13 创建DAGSchedulerSource和BlockManagerSource

3.14 将SparkContext标记为激活

3.15 小结

第4章 存储体系

4.1 存储体系概述

4.2 shuffle服务与客户端

4.3 BlockManagerMaster对BlockManager的管理

4.4 磁盘块管理器DiskBlockManager

4.5 磁盘存储DiskStore

4.6 内存存储MemoryStore

4.7 Tachyon存储TachyonStore

4.8 块管理器BlockManager

4.9 metadataCleaner和broadcastCleaner

4.10 缓存管理器CacheManager

4.11 压缩算法

4.12 磁盘写入实现DiskBlockObjectWriter

4.13 块索引shuffle管理器IndexShuffleBlockManager

4.14 shuffle内存管理器ShuffleMemoryManager

4.15 小结

第5章 任务提交与执行

5.1 任务概述

5.2 广播Hadoop的配置信息

5.3 RDD转换及DAG构建

5.4 任务提交

5.5 执行任务

5.6 任务执行后续处理

5.7 小结

第6章 计算引擎

6.1 迭代计算

6.2 什么是shuffle

6.3 map端计算结果缓存处理

6.4 map端计算结果持久化

6.5 reduce端读取中间计算结果

6.6 reduce端计算

6.7 map端与reduce端组合分析

6.8 小结

第7章 部署模式

7.1 local部署模式

7.2 local-cluster部署模式

7.3 Standalone部署模式

7.4 容错机制

7.5 其他部署方案

7.6 小结

扩展篇

第8章 Spark SQL

8.1 Spark SQL总体设计

8.2 字典表Catalog

8.3 Tree和TreeNode

深入理解Spark: 核心思想与源码分析豆 7.2分

第1章　环境准备

1.1　运行环境准备

1.2　Spark初体验

1.3　阅读环境准备

1.4　Spark源码编译与调试

1.5　小结

第2章　Spark设计理念与基本架构

2.1　初识Spark

2.2　Spark基础知识

2.3　Spark基本设计思想

2.4　Spark基本架构

2.5　小结

第3章　SparkContext的初始化

3.1　SparkContext概述

3.2　创建执行环境SparkEnv

3.3　创建metadataCleaner

3.4　SparkUI详解

3.5　Hadoop相关配置及Executor环境变量

3.6　创建任务调度器TaskScheduler

3.7　创建和启动DAGScheduler

3.8　TaskScheduler的启动

3.9　启动测量系统MetricsSystem

3.10　创建和启动ExecutorAllocationManager

3.11　ContextCleaner的创建与启动

3.12　Spark环境更新

3.13　创建DAGSchedulerSource和BlockManagerSource

3.14　将SparkContext标记为激活

3.15　小结

第4章　存储体系

4.1　存储体系概述

4.2　shuffle服务与客户端

4.3　BlockManagerMaster对BlockManager的管理

4.4　磁盘块管理器DiskBlockManager

4.5　磁盘存储DiskStore

4.6　内存存储MemoryStore

4.7　Tachyon存储TachyonStore

4.8　块管理器BlockManager

4.9　metadataCleaner和broadcastCleaner

4.10　缓存管理器CacheManager

4.11　压缩算法

4.12　磁盘写入实现DiskBlockObjectWriter

4.13　块索引shuffle管理器IndexShuffleBlockManager

4.14　shuffle内存管理器ShuffleMemoryManager

4.15　小结

第5章　任务提交与执行

5.1　任务概述

5.2　广播Hadoop的配置信息

5.3　RDD转换及DAG构建

5.4　任务提交

5.5　执行任务

5.6　任务执行后续处理

5.7　小结

第6章　计算引擎

6.1　迭代计算

6.2　什么是shuffle

6.3　map端计算结果缓存处理

6.4　map端计算结果持久化

6.5　reduce端读取中间计算结果

6.6　reduce端计算

6.7　map端与reduce端组合分析

6.8　小结

第7章　部署模式

7.1　local部署模式

7.2　local-cluster部署模式

7.3　Standalone部署模式

7.4　容错机制

7.5　其他部署方案

7.6　小结

第8章　Spark SQL

8.1　Spark SQL总体设计

8.2　字典表Catalog

8.3　Tree和TreeNode

8.4　词法解析器Parser的设计与实现

8.5　Rule和RuleExecutor

8.6　Analyzer与Optimizer的设计与实现

8.7　生成物理执行计划

8.8　执行物理执行计划

8.9　Hive

8.10　应用举例：JavaSparkSQL