第1 章 Python 基础 1
1.1 安装Python 环境 1
1.1.1 Python 3.6.2 安装与配置 1
1.1.2 使用IDE 工具——PyCharm 4
1.1.3 使用IDE 工具——Anaconda 4
1.2 Python 操作入门 6
1.2.1 编写第一个Python 代码 6
1.2.2 Python 基本操作 9
1.2.3 变量 10
1.3 Python 数据类型 10
1.3.1 数字 10
1.3.2 字符串 11
1.3.3 列表 13
1.3.4 元组 14
1.3.5 集合 15
1.3.6 字典 15
1.4 Python 语句与函数 16
1.4.1 条件语句 16
1.4.2 循环语句 16
1.4.3 函数 17
第2 章 写一个简单的爬虫 18
2.1 关于爬虫的合法性 18
2.2 了解网页 20
2.2.1 认识网页结构 21
2.2.2 写一个简单的HTML 21
2.3 使用requests 库请求网站 23
2.3.1 安装requests 库 23
2.3.2 爬虫的基本原理 25
2.3.3 使用GET 方式抓取数据 26
2.3.4 使用POST 方式抓取数据 27
2.4 使用Beautiful Soup 解析网页 30
2.5 清洗和组织数据 34
2.6 爬虫攻防战 35
第3 章 用API 爬取天气预报数据 38
3.1 注册免费API 和阅读技术文档 38
3.2 获取API 数据 40
3.3 存储数据到MongoDB 45
3.3.1 下载并安装MongoDB 45
3.3.2 在PyCharm 中安装Mongo Plugin 46
3.3.3 将数据存入MongoDB 49
3.4 MongoDB 数据库查询 52
第4 章 大型爬虫案例：抓取某电商网站的商品数据 55
4.1 观察页面特征和解析数据 55
4.2 工作流程分析 64
4.3 构建类目树 65
4.4 获取产品列表 68
4.5 代码优化 70
4.6 爬虫效率优化 74
4.7 容错处理 77
第5 章 Scrapy 爬虫 78
5.1 Scrapy 简介 78
5.2 Scrapy 安装 79
5.3 案例：用Scrapy 抓取股票行情 80
第6 章 Selenium爬虫 88
6.1 Selenium 简介 88
6.2 案例：用Selenium 抓取电商网站数据 90
第7 章 数据库连接和查询 100
7.1 使用PyMySQL 100
7.1.1 连接数据库 100
7.1.2 案例：某电商网站女装行业TOP100 销量数据 102
7.2 使用SQLAlchemy 104
7.2.1 SQLAlchemy 基本介绍 104
7.2.2 SQLAlchemy 基本语法 105
7.3 MongoDB 107
7.3.1 MongoDB 基本语法 107
7.3.2 案例：在某电商网站搜索“连衣裙”的商品数据 107
第8 章 NumPy 109
8.1 NumPy 简介 109
8.2 一维数组 110
8.2.1 数组与列表的异同 110
8.2.2 数组的创建 111
8.3 多维数组 111
8.3.1 多维数组的高效性能 112
8.3.2 多维数组的索引与切片 113
8.3.3 多维数组的属性 113
8.4 数组的运算 115
第9 章 pandas 数据清洗 117
9.1 数据读写、选择、整理和描述 117
9.1.1 从CSV 中读取数据 119
9.1.2 向CSV 写入数据 120
9.1.3 数据选择 120
9.1.4 数据整理 122
9.1.5 数据描述 123
9.2 数据分组、分割、合并和变形 124
9.2.1 数据分组 124
9.2.2 数据分割 127
9.2.3 数据合并 128
9.2.4 数据变形 134
9.2.5 案例：旅游数据的分析与变形 136
9.3 缺失值、异常值和重复值处理 140
9.3.1 缺失值处理 140
9.3.2 检测和过滤异常值 144
9.3.3 移除重复数据 147
9.3.4 案例：旅游数据的值检查与处理 149
9.4 时序数据处理 152
9.4.1 日期/时间数据转换 152
9.4.2 时序数据基础操作 153
9.4.3 案例：天气数据分析与处理 155
9.5 数据类型转换 158
9.6 正则表达式 160
9.6.1 元字符与限定符 161
9.6.2 案例：用正则表达式提取网页文本信息 162
第10 章 综合应用实例 164
10.1 按性价比给用户推荐旅游产品 164
10.1.1 数据采集 165
10.1.2 数据清洗、建模 169
10.2 通过热力图分析为用户提供出行建议 172
10.2.1 某旅游网站热门景点爬虫代码（qunaer_sights.py） 175
10.2.2 提取CSV 文件中经纬度和销量信息 178
10.2.3 创建景点门票销量热力地图HTML 文件 179
第11 章 数据可视化 182
11.1 matplotlib 183
11.1.1 画出各省份平均价格、各省份平均成交量柱状图 183
11.1.2 画出各省份平均成交量折线图、柱状图、箱形图和饼图 184
11.1.3 画出价格与成交量的散点图 185
11.2 pyecharts 186
11.2.1 Echarts 简介 186
11.2.2 pyecharts 简介 187
11.2.3 初识pyecharts，玫瑰相送 187
11.2.4 pyecharts 基本语法 188
11.2.5 基于商业分析的pyecharts 图表绘制 190
11.2.6 使用pyecharts 绘制其他图表 199
11.2.7 pyecharts 和Jupyter 203