第 1 章 机器学习是什么——机器学习定义 .. 1
引言.. 2
1.1 数据. 5
1.1.1 结构型与非结构型数据 5
1.1.2 原始数据与加工.. 7
1.1.3 样本内数据与样本外数据 . 9
1.2 机器学习类别 9
1.2.1 有监督学习 10
1.2.2 无监督学习 10
1.2.3 半监督学习. 11
1.2.4 增强学习 11
1.2.5 深度学习 11
1.2.6 迁移学习.. 12
1.3 性能度量. 12
1.3.1 误差函数.. 13
1.3.2 回归度量.. 14
1.3.3 分类度量.. 15
1.4 总结.. 19
参考资料.. 20
第 2 章 机器学习可行吗——计算学习理论 22
引言 23
2.1 基础知识. 25
2.1.1 二分类. 25
2.1.2 对分 26
2.1.3 增长函数.. 29
2.1.4 突破点. 30
2.2 核心推导. 31
2.2.1 机器学习可行条件 . 31
2.2.2 从已知推未知. 33
2.2.3 从民意调查到机器学习 35
2.2.4 从单一到有限. 36
2.2.5 从有限到无限. 37
2.2.6 从无限到有限. 38
2.3 结论应用. 39
2.3.1 VC 不等式 39
2.3.2 VC 维度 .. 40
2.3.3 模型复杂度 40
2.3.4 样本复杂度 41
2.4 总结.. 42
参考资料.. 43
技术附录.. 43
第 3 章 机器学习怎么学——模型评估选择 47
引言 48
3.1 模型评估. 52
3.2 训练误差和测试误差. 52
3.2.1 训练误差.. 52
3.2.2 真实误差.. 54
3.2.3 测试误差.. 57
3.2.4 学习理论.. 57
3.3 验证误差和交叉验证误差. 60
3.3.1 验证误差.. 60
3.3.2 交叉验证误差. 61
3.3.3 学习理论.. 62
3.4 误差剖析. 64
3.4.1 误差来源.. 64
3.4.2 偏差—方差权衡 66
3.5 模型选择. 67
3.6 总结.. 70
参考资料.. 71
技术附录.. 71
第 4 章 线性回归 73
引言 74
4.1 基础知识. 75
4.1.1 标量微积分 75
4.1.2 向量微积分 76
4.2 模型介绍. 77
4.2.1 核心问题.. 77
4.2.2 通用线性回归模型 . 83
4.2.3 特征缩放.. 84
4.2.4 学习率设定 86
4.2.5 数值算法比较. 87
4.2.6 代码实现.. 89
4.3 总结.. 90
参考资料.. 90
第 5 章 对率回归 92
引言 93
5.1 基础内容. 94
5.1.1 联系函数.. 94
5.1.2 函数绘图.. 95
5.2 模型介绍. 96
5.2.1 核心问题.. 96
5.2.2 查准和查全. 102
5.2.3 类别不平衡. 104
5.2.4 线性不可分. 105
5.2.5 多分类问题. 106
5.2.6 代码实现 109
5.3 总结. 110
参考资料. 111
第 6 章 正则化回归 . 112
引言. 113
6.1 基础知识 114
6.1.1 等值线图. 114
6.1.2 坐标下降. 116
6.2 模型介绍 116
6.2.1 核心问题. 116
6.2.2 模型对比 122
6.2.3 最佳模型 125
6.2.4 代码实现 126
6.3 总结 126
参考资料 127
第 7 章 支持向量机 . 128
引言 129
7.1 基础知识.. 133
7.1.1 向量初体验. 133
7.1.2 拉格朗日量. 136
7.1.3 原始和对偶. 137
7.2 模型介绍.. 138
7.2.1 硬间隔 SVM 原始问题. 138
7.2.2 硬间隔 SVM 对偶问题. 144
7.2.3 软间隔 SVM 原始问题. 148
7.2.4 软间隔 SVM 对偶问题. 150
7.2.5 空间转换 151
7.2.6 核技巧. 155
7.2.7 核 SVM . 158
7.2.8 SMO 算法 .. 159
7.2.9 模型选择 161
7.3 总结 162
参考资料 164
技术附录 164
第 8 章 朴素贝叶斯 . 170
引言 171
8.1 基础知识.. 174
8.1.1 两种概率学派.. 174
8.1.2 两种独立类别.. 174
8.1.3 两种学习算法.. 175
8.1.4 两种估计方法.. 176
8.1.5 两类概率分布.. 177
8.2 模型介绍.. 179
8.2.1 问题剖析 179
8.2.2 朴素贝叶斯算法 182
8.2.3 多元伯努利模型 183
8.2.4 多项事件模型.. 184
8.2.5 高斯判别分析模型 . 184
8.2.6 多分类问题. 186
8.2.7 拉普拉斯校正.. 187
8.2.8 最大似然估计和最大后验估计 . 188
8.3 总结 190
参考资料 191
技术附录 191
第 9 章 决策树 . 195
引言 196
9.1 基础知识.. 198
9.1.1 多数规则 198
9.1.2 熵和条件熵. 198
9.1.3 信息增益和信息增益比 . 200
9.1.4 基尼指数 201
9.2 模型介绍.. 201
9.2.1 二分类决策树.. 201
9.2.2 多分类决策树.. 209
9.2.3 连续值分裂. 210
9.2.4 欠拟合和过拟合. 211
9.2.5 预修剪和后修剪 212
9.2.6 数据缺失 215
9.2.7 代码实现 218
9.3 总结 219
参考资料 219
第 10 章 人工神经网络 220
引言 221
10.1 基本知识 223
10.1.1 转换函数 223
10.1.2 单输入单层单输出神经网络 . 224
10.1.3 多输入单层单输出神经网络 . 224
10.1.4 多输入单层多输出神经网络 . 225
10.1.5 多输入多层多输出神经网络 . 225
10.2 模型应用 227
10.2.1 创建神经网络模型 .. 227
10.2.2 回归应用 230
10.2.3 分类应用 238
第 11 章 正向/反向传播 246
引言 247
11.1 基础知识 250
11.1.1 神经网络元素 250
11.1.2 链式法则 254
11.2 算法介绍 254
11.2.1 正向传播 254
11.2.2 梯度下降 257
11.2.3 反向传播 258
11.2.4 代码实现 262
11.3 总结 268
参考资料 268
技术附录 269
第 12 章 集成学习. 272
引言 273
12.1 结合假设 277
12.1.1 语文和数学. 277
12.1.2 准确和多样. 278
12.1.3 独裁和民主. 279
12.1.4 学习并结合. 279
12.2 装袋法. 280
12.2.1 基本概念 280
12.2.2 自助采样 280
12.2.3 结合假设 281
12.3 提升法. 282
12.3.1 基本概念 282
12.3.2 最优加权 283
12.3.3 结合假设 285
12.4 集成方式 286
12.4.1 同质学习器. 286
12.4.2 异质学习器. 286
12.5 总结 288
参考资料 288
第 13 章 随机森林和提升树 . 289
引言 290
13.1 基础知识 293
13.1.1 分类回归树. 293
13.1.2 前向分布算法 294
13.1.3 置换检验 295
13.2 模型介绍 296
13.2.1 随机森林 296
13.2.2 提升树.. 302
13.2.3 代码实现 306
13.3 总结 307
参考资料 307
第 14 章 极度梯度提升 309
引言 310
14.1 基础知识. 311
14.1.1 树的重定义 311
14.1.2 树的复杂度. 313
14.2 模型介绍 313
14.2.1 XGB 简介. 313
14.2.2 XGB 的泛化度 314
14.2.3 XGB 的精确度 315
14.2.4 XGB 的速度.. 318
14.2.5 代码实现 324
14.3 总结 325
参考资料 326
第 15 章 本书总结. 327
15.1 正交策略 328
15.2 单值评估指标.. 330
15.3 偏差和方差. 332
15.3.1 理论定义 332
15.3.2 实用定义 334
15.3.3 最优误差 335
15.3.4 两者权衡 336
15.3.5 学习曲线 336
结语 339