前言
第1章　Python和数据化运营1
1.1　用Python做数据化运营1
1.1.1　Python是什么1
1.1.2　数据化运营是什么2
1.1.3　Python用于数据化运营5
1.2　数据化运营所需的Python相关工具和组件5
1.2.1　Python程序6
1.2.2　Python交互环境Jupyter7
1.2.3　Python第三方库23
1.2.4　数据库和客户端29
1.2.5　SSH远程客户端30
1.3　内容延伸：Python的OCR和tensorflow31
1.3.1　OCR工具：Tesseract-ocr31
1.3.2　机器学习框架：TensorFlow31
1.4　第1个用Python实现的数据化运营分析实例、销售预测32
1.4.1　案例概述32
1.4.2　案例过程32
1.4.3　案例小结36
1.5　本章小结37
第2章　数据化运营的数据来源40
2.1　数据化运营的数据来源类型40
2.1.1　数据文件40
2.1.2　数据库41
2.1.3　API42
2.1.4　流式数据43
2.1.5　外部公开数据43
2.1.6　其他来源44
2.2　使用Python获取运营数据44
2.2.1　从文本文件读取运营数据44
2.2.2　从Excel获取运营数据55
2.2.3　从关系型数据库MySQL读取运营数据57
2.2.4　从非关系型数据库MongoDB读取运营数据64
2.2.5　从API获取运营数据68
2.3　内容延伸：读取非结构化网页、文本、图像、视频、语音72
2.3.1　从网页中获取运营数据72
2.3.2　读取非结构化文本数据73
2.3.3　读取图像数据74
2.3.4　读取视频数据78
2.3.5　读取语音数据81
2.4　本章小结85
第3章　10条数据化运营不得不知道的数据预处理经验87
3.1　数据清洗：缺失值、异常值和重复值的处理87
3.1.1　数据列缺失的4种处理方法87
3.1.2　不要轻易抛弃异常数据89
3.1.3　数据重复就需要去重吗90
3.1.4　代码实操：Python数据清洗92
3.2　将分类数据和顺序数据转换为标志变量100
3.2.1　分类数据和顺序数据是什么100
3.2.2　运用标志方法处理分类和顺序变量101
3.2.3　代码实操：Python标志转换101
3.3　大数据时代的数据降维104
3.3.1　需要数据降维的情况104
3.3.2　基于特征选择的降维105
3.3.3　基于特征转换的降维106
3.3.4　基于特征组合的降维112
3.3.5　代码实操：Python数据降维114
3.4　解决样本类别分布不均衡的问题123
3.4.1　哪些运营场景中容易出现样本不均衡124
3.4.2　通过过抽样和欠抽样解决样本不均衡124
3.4.3　通过正负样本的惩罚权重解决样本不均衡124
3.4.4　通过组合/集成方法解决样本不均衡125
3.4.5　通过特征选择解决样本不均衡125
3.4.6　代码实操：Python处理样本不均衡125
3.5　数据化运营要抽样还是全量数据128
3.5.1　什么时候需要抽样128
3.5.2　如何进行抽样129
3.5.3　抽样需要注意的几个问题130
3.5.4　代码实操：Python数据抽样131
3.6　解决运营数据的共线性问题135
3.6.1　如何检验共线性135
3.6.2　解决共线性的5种常用方法136
3.6.3　代码实操：Python处理共线性问题137
3.7　有关相关性分析的混沌139
3.7.1　相关和因果是一回事吗139
3.7.2　相关系数低就是不相关吗139
3.7.3　代码实操：Python相关性分析140
3.8　标准化，让运营数据落入相同的范围141
3.8.1　实现中心化和正态分布的Z-Score141
3.8.2　实现归一化的Max-Min142
3.8.3　用于稀疏数据的MaxAbs142
3.8.4　针对离群点的RobustScaler142
3.8.5　代码实操：Python数据标准化处理142
3.9　离散化，对运营数据做逻辑分层145
3.9.1　针对时间数据的离散化145
3.9.2　针对多值离散数据的离散化146
3.9.3　针对连续数据的离散化146
3.9.4　针对连续数据的二值化147
3.9.5　代码实操：Python数据离散化处理147
3.10　内容延伸：非结构化数据的预处理151
3.10.1　网页数据解析151
3.10.2　网络用户日志解析159
3.10.3　图像的基本预处理164
3.10.4　自然语言文本预处理169
3.11　本章小结172
第4章　跳过运营数据分析和挖掘的“大坑”174
4.1　聚类分析174
4.1.1　当心数据异常对聚类结果的影响175
4.1.2　超大数据量时应该放弃K均值算法175
4.1.3　聚类不仅是建模的终点，更是重要的中间预处理过程177
4.1.4　高维数据上无法应用聚类吗178
4.1.5　如何选择聚类分析算法179
4.1.6　案例：客户特征的聚类与探索性分析179
4.2　回归分析196
4.2.1　注意回归自变量之间的共线性问题197
4.2.2　相关系数、判定系数和回归系数之间是什么关系197
4.2.3　判定系数是否意味着相应的因果联系197
4.2.4　注意应用回归模型时研究自变量是否产生变化198
4.2.5　如何选择回归分析算法198
4.2.6　案例：大型促销活动前的销售预测199
4.3　分类分析206
4.3.1　防止分类模型的过拟合问题207
4.3.2　使用关联算法做分类分析207
4.3.3　用分类分析来提炼规则、提取变量、处理缺失值208
4.3.4　类别划分：分类算法和聚类算法都是好手209
4.3.5　如何选择分类分析算法210
4.3.6　案例：用户流失预测分析与应用210
4.4　关联分析221
4.4.1　频繁规则不一定是有效规则221
4.4.2　不要被啤酒尿布的故事禁锢你的思维222
4.4.3　被忽略的“负相关”模式真的毫无用武之地吗223
4.4.4　频繁规则只能打包组合应用吗224
4.4.5　关联规则的序列模式224
4.4.6　使用Python和R分别实现商品交叉销售分析225
4.5　异常检测分析240
4.5.1　异常检测中的“新奇检测”模式241
4.5.2　将数据异常与业务异常相分离241
4.5.3　面临维度灾难时，异常检测可能会失效241
4.5.4　异常检测的结果能说明异常吗241
4.5.5　案例：网站广告流量的异常识别与检测242
4.6　时间序列分析253
4.6.1　如果有自变量，为什么还要用时间序列253
4.6.2　时间序列不适合商业环境复杂的企业254
4.6.3　时间序列预测的整合、横向和纵向模式255
4.6.4　案例：未来10天的整体销售预测255
4.7　路径、漏斗、归因和热力图分析267
4.7.1　不要轻易相信用户的页面访问路径269
4.7.2　如何将路径应用于更多用户行为模式的挖掘270
4.7.3　为什么很多数据都显示了多渠道路径的价值很小271
4.7.4　点击热力图真的反映了用户的点击喜好吗271
4.7.5　为什么归因分析主要存在于线上的转化行为272
4.7.6　漏斗分析和路径分析有什么区别273
4.8　其他数据分析和挖掘的忠告274
4.8.1　不要忘记数据质量的验证274
4.8.2　不要忽视数据的落地性274
4.8.3　不要把数据陈列当作数据结论275
4.8.4　数据结论不要产生于单一指标276
4.8.5　数据分析不要预设价值立场276
4.8.6　不要忽视数据与业务的需求冲突问题277
4.9　内容延伸1：非结构化数据的分析与挖掘278
4.9.1　词频统计278
4.9.2　词性标注281
4.9.3　关键字提取284
4.9.4　文本聚类286
4.10　内容延伸2：AutoML—自动化数据挖掘与机器学习289
4.10.1　自动化数据挖掘与机器学习概述289
4.10.2　TPOT自动化学习简介290
4.10.3　使用TPOT做自动化学习292
4.11　本章小结298
第5章　会员数据化运营300
5.1　会员数据化运营概述300
5.2　会员数据化运营关键指标301
5.2.1　会员整体指标301
5.2.2　会员营销指标301
5.2.3　会员活跃度指标303
5.2.4　会员价值度指标305
5.2.5　会员终生价值指标305
5.2.6　会员异动指标306
5.3　会员数据化运营应用场景307
5.3.1　会员营销307
5.3.2　会员关怀307
5.4　会员数据化运营分析模型307
5.4.1　会员细分模型307
5.4.2　会员活跃度模型309
5.4.3　会员价值度模型309
5.4.4　会员流失预测模型310
5.4.5　会员特征分析模型311
5.4.6　营销响应预测模型312
5.5　会员数据化运营分析小技巧313
5.5.1　使用留存分析做新用户质量分析313
5.5.2　使用AARRR做App用户生命周期分析314
5.5.3　借助动态数据流关注会员状态的轮转315
5.5.4　使用协同过滤算法为新会员分析推送个性化信息316
5.6　会员数据化运营分析的“大实话”318
5.6.1　企业“不差钱”，还有必要做会员精准营销吗318
5.6.2　用户满意度取决于期望和给予的匹配程度319
5.6.3　用户不购买就是流失了吗319
5.6.4　来自调研问卷的用户信息可信吗320
5.6.5　不要盲目相信二八法则321
5.7　案例：基于RFM的精细化用户管理322
5.7.1　案例背景322
5.7.2　案例主要应用技术322
5.7.3　案例数据323
5.7.4　案例过程323
5.7.5　案例数据结论337
5.7.6　案例应用和部署341
5.7.7　案例注意点341
5.7.8　案例引申思考342
5.8　案例：基于嵌套Pipeline和Fea-tureUnion复合数据工作流的营销响应预测342
5.8.1　案例背景342
5.8.2　案例主要应用技术343
5.8.3　案例数据343
5.8.4　案例过程344
5.8.5　案例数据结论353
5.8.6　案例应用和部署353
5.8.7　案例注意点354
5.8.8　案例引申思考355
5.9　本章小结355
第6章　商品数据化运营357
6.1　商品数据化运营概述357
6.2　商品数据化运营关键指标357
6.2.1　销售指标357
6.2.2　促销活动指标360
6.2.3　供应链指标361
6.3　商品数据化运营应用场景363
6.3.1　销售预测363
6.3.2　库存分析363
6.3.3　市场分析363
6.3.4　促销分析364
6.4　商品数据化运营分析模型364
6.4.1　商品价格敏感度模型364
6.4.2　新产品市场定位模型365
6.4.3　销售预测模型366
6.4.4　商品关联销售模型367
6.4.5　异常订单检测368
6.4.6　商品规划的最优组合368
6.5　商品数据化运营分析小技巧370
6.5.1　使用层次分析法将定量与定性分析结合370
6.5.2　通过假设检验做促销拉动分析373
6.5.3　使用BCG矩阵做商品结构分析374
6.5.4　巧用4P分析建立完善的商品运营分析结构376
6.6　商品数据化运营分析的“大实话”376
6.6.1　为什么很多企业会以低于进价的价格大量销售商品376
6.6.2　促销活动真的是在促进商品销售吗378
6.6.3　用户关注的商品就是要买的商品吗379
6.6.4　提供的选择过多其实不利于商品销售380
6.7　案例：基于Gradient Boosting的自动超参数优化的销售预测381
6.7.1　案例背景381
6.7.2　案例主要应用技术381
6.7.3　案例数据381
6.7.4　案例过程382
6.7.5　案例数据结论389
6.7.6　案例应用和部署389
6.7.7　案例注意点389
6.7.8　案例引申思考389
6.8　案例：基于集成算法GBDT和RandomForest的投票组合模型的异常检测390
6.8.1　案例背景390
6.8.2　案例主要应用技术390
6.8.3　案例数据391
6.8.4　案例过程391
6.8.5　案例数据结论397
6.8.6　案例应用和部署398
6.8.7　案例注意点398
6.8.8　案例引申思考399
6.9　本章小结400
第7章　流量数据化运营402
7.1　流量数据化运营概述402
7.2　八大流量分析工具402
7.2.1　Adobe Analytics403
7.2.2　Webtrekk Suite403
7.2.3　Webtrends403
7.2.4　Google Analytics404
7.2.5　IBM Coremetrics404
7.2.6　百度统计404
7.2.7　Flurry404
7.2.8　友盟405
7.2.9　如何选择第三方流量分析工具405
7.3　流量采集分析系统的工作机制408
7.3.1　流量数据采集409
7.3.2　流量数据处理411
7.3.3　流量数据应用412
7.4　流量数据与企业数据的整合413
7.4.1　流量数据整合的意义413
7.4.2　流量数据整合的范畴414
7.4.3　流量数据整合的方法414
7.5　流量数据化运营指标415
7.5.1　站外营销推广指标415
7.5.2　网站流量数量指标417
7.5.3　网站流量质量指标418
7.6　流量数据化运营应用场景421
7.6.1　流量采购421
7.6.2　流量分发423
7.7　流量数据化运营分析模型423
7.7.1　流量波动检测423
7.7.2　渠道特征聚类425
7.7.3　广告整合传播模型425
7.7.4　流量预测模型428
7.8　流量数据化运营分析小技巧429
7.8.1　给老板提供一页纸的流量dashboard429
7.8.2　关注趋势、重要事件和潜在因素是日常报告的核心431
7.8.3　使用从细分到多层下钻数据分析431
7.8.4　通过跨屏追踪解决用户跨设备和浏览器的访问行为432
7.8.5　基于时间序列的用户群体过滤434
7.9　流量数据化运营分析的“大实话”436
7.9.1　流量数据分析的价值其实没那么大436
7.9.2　如何将流量的实时分析价值最大化437
7.9.3　营销流量的质量评估是难点工作438
7.9.4　个性化的媒体投放仍然面临很多问题438
7.9.5　传统的网站分析方法到底缺少了什么439
7.10　案例：基于自动节点树的数据异常原因下探分析444
7.10.1　案例背景444
7.10.2　案例主要应用技术444
7.10.3　案例数据445
7.10.4　案例过程446
7.10.5　案例数据结论459
7.10.6　案例应用和部署460
7.10.7　案例注意点460
7.10.8　案例引申思考461
7.11　案例：基于自动K值的KMeans广告效果聚类分析461
7.11.1　案例背景461
7.11.2　案例主要应用技术462
7.11.3　案例数据462
7.11.4　案例过程463
7.11.5　案例数据结论474
7.11.6　案例应用和部署475
7.11.7　案例注意点476
7.11.8　案例引申思考477
7.12　本章小结477
第8章　内容数据化运营480
8.1　内容数据化运营概述480
8.2　内容数据化运营指标481
8.2.1　内容质量指标481
8.2.2　SEO类指标481
8.2.3　内容流量指标482
8.2.4　内容互动指标482
8.2.5　目标转化指标483
8.3　内容数据化运营应用场景484
8.3.1　内容采集484
8.3.2　内容创作484
8.3.3　内容分发485
8.3.4　内容管理485
8.4　内容数据化运营分析模型485
8.4.1　情感分析模型485
8.4.2　搜索优化模型 486
8.4.3　文章关键字模型486
8.4.4　主题模型487
8.4.5　垃圾信息检测模型488
8.5　内容数据化运营分析小技巧488
8.5.1　通过AB测试和多变量测试找到最佳内容版本488
8.5.2　通过屏幕浏览占比了解用户到底看了页面多少内容490
8.5.3　通过数据分析系统与CMS打通实现个性化内容运营491
8.5.4　将个性化推荐从网站应用到App端494
8.6　内容数据化运营分析的“大实话”495
8.6.1　个性化内容运营不仅是整合CMS和数据系统495
8.6.2　用户在着陆页上不只有跳出和继续两种状态495
8.6.3　“人工组合”的内容运营价值最大化并非不能实现496
8.6.4　影响内容点击率的因素不仅有位置497
8.7　案例：基于潜在狄利克雷分配的内容主题挖掘498
8.7.1　案例背景498
8.7.2　案例主要应用技术498
8.7.3　案例数据498
8.7.4　案例过程498
8.7.5　案例数据结论506
8.7.6　案例应用和部署507
8.7.7　案例注意点507
8.7.8　案例引申思考508
8.8　案例：基于多项式贝叶斯的增量学习的文本分类508
8.8.1　案例背景508
8.8.2　案例主要应用技术508
8.8.3　案例数据509
8.8.4　案例过程509
8.8.5　案例数据结论517
8.8.6　案例应用和部署517
8.8.7　案例注意点517
8.8.8　案例引申思考517
8.9　本章小结518
第9章　数据化运营分析的终极秘籍520
9.1　撰写出彩的数据分析报告的5个建议520
9.1.1　完整的报告结构520
9.1.2　精致的页面版式521
9.1.3　漂亮的可视化图形523
9.1.4　突出报告的关键信息524
9.1.5　用报告对象习惯的方式撰写报告525
9.2　数据化运营支持的4种扩展方式526
9.2.1　数据API526
9.2.2　数据模型526
9.2.3　数据产品527
9.2.4　运营产品527
9.3　提升数据化运营价值度的5种途径528
9.3.1　数据源：不只有结构化的数据528
9.3.2　自动化：建立自动工作机制529
9.3.3　未卜先知：建立智能预警模型529
9.3.4　智能化：向BI-AI的方向走530
9.3.5　场景化：将数据嵌入运营环节之中531
9.4　本章小结531
附录533
附录A　公开数据集533
附录B　Python数据工具箱540