Introduction to Machine Learning,Second Edition
出版者的话
中文版序
译者序
前言
致谢
关于第2版
符号表
第1章　绪论1
1.1　什么是机器学习1
1.2　机器学习的应用实例3
1.2.1　学习关联性3
1.2.2　分类3
1.2.3　回归6
1.2.4　非监督学习7
1.2.5　增强学习8
1.3　注释8
1.4　相关资源10
1.5　习题11
1.6　参考文献12
第2章　监督学习13
2.1　由实例学习类13
2.2　VC维15
2.3　概率逼近正确学习16
2.4　噪声17
2.5　学习多类18
2.6　回归19
2.7　模型选择与泛化21
2.8　监督机器学习算法的维23
2.9　注释24
2.10　习题25
2.11　参考文献25
第3章　贝叶斯决策定理27
3.1　引言27
3.2　分类28
3.3　损失与风险29
3.4　判别式函数31
3.5　效用理论31
3.6　关联规则32
3.7　注释33
3.8　习题33
3.9　参考文献34
第4章　参数方法35
4.1　引言35
4.2　最大似然估计35
4.2.1　伯努利密度36
4.2.2　多项密度36
4.2.3　高斯(正态)密度37
4.3　评价估计：偏倚和方差37
4.4　贝叶斯估计38
4.5　参数分类40
4.6　回归43
4.7　调整模型的复杂度：偏倚/方差两难选择45
4.8　模型选择过程47
4.9　注释50
4.10　习题50
4.11　参考文献51
第5章　多元方法52
5.1　多元数据52
5.2　参数估计52
5.3　缺失值估计53
5.4　多元正态分布54
5.5　多元分类56
5.6　调整复杂度59
5.7　离散特征61
5.8　多元回归62
5.9　注释63
5.10　习题63
5.11　参考文献64
第6章　维度归约65
6.1　引言65
6.2　子集选择65
6.3　主成分分析67
6.4　因子分析71
6.5　多维定标75
6.6　线性判别分析77
6.7　等距特征映射80
6.8　局部线性嵌入81
6.9　注释83
6.10　习题84
6.11　参考文献85
第7章　聚类86
7.1　引言86
7.2　混合密度86
7.3　k-均值聚类87
7.4　期望最大化算法90
7.5　潜在变量混合模型93
7.6　聚类后的监督学习94
7.7　层次聚类95
7.8　选择簇个数96
7.9　注释96
7.10　习题97
7.11　参考文献97
第8章　非参数方法99
8.1　引言99
8.2　非参数密度估计99
8.2.1　直方图估计100
8.2.2　核估计101
8.2.3　k最近邻估计102
8.3　到多元数据的推广103
8.4　非参数分类104
8.5　精简的最近邻105
8.6　非参数回归：光滑模型106
8.6.1　移动均值光滑106
8.6.2　核光滑108
8.6.3　移动线光滑108
8.7　如何选择光滑参数109
8.8　注释110
8.9　习题111
8.10　参考文献112
第9章　决策树113
9.1　引言113
9.2　单变量树114
9.2.1　分类树114
9.2.2　回归树118
9.3　剪枝119
9.4　由决策树提取规则120
9.5　由数据学习规则121
9.6　多变量树124
9.7　注释125
9.8　习题126
9.9　参考文献127
第10章　线性判别式129
10.1　引言129
10.2　推广线性模型130
10.3　线性判别式的几何意义131
10.3.1　两类问题131
10.3.2　多类问题132
10.4　逐对分离132
10.5　参数判别式的进一步讨论133
10.6　梯度下降135
10.7　逻辑斯谛判别式135
10.7.1　两类问题135
10.7.2　多类问题138
10.8　回归判别式141
10.9　注释142
10.10　习题143
10.11　参考文献143
第11章　多层感知器144
11.1　引言144
11.1.1　理解人脑144
11.1.2　神经网络作为并行处理的典范145
11.2　感知器146
11.3　训练感知器148
11.4　学习布尔函数150
11.5　多层感知器151
11.6　作为普适近似的MLP153
11.7　后向传播算法154
11.7.1　非线性回归154
11.7.2　两类判别式157
11.7.3　多类判别式158
11.7.4　多个隐藏层158
11.8　训练过程158
11.8.1　改善收敛性158
11.8.2　过分训练159
11.8.3　构造网络161
11.8.4　线索162
11.9　调整网络规模163
11.10　学习的贝叶斯观点164
11.11　维度归约165
11.12　学习时间167
11.12.1　时间延迟神经网络167
11.12.2　递归网络168
11.13　注释169
11.14　习题170
11.15　参考文献170
第12章　局部模型173
12.1　引言173
12.2　竞争学习173
12.2.1　在线k-均值173
12.2.2　自适应共鸣理论176
12.2.3　自组织映射177
12.3　径向基函数178
12.4　结合基于规则的知识182
12.5　规范化基函数182
12.6　竞争的基函数184
12.7　学习向量量化186
12.8　混合专家模型186
12.8.1　协同专家模型188
12.8.2　竞争专家模型188
12.9　层次混合专家模型189
12.10　注释189
12.11　习题190
12.12　参考文献190
第13章　核机器192
13.1　引言192
13.2　最佳分离超平面193
13.3　不可分情况：软边缘超平面195
13.4　v-SVM197
13.5　核技巧198
13.6　向量核199
13.7　定义核200
13.8　多核学习201
13.9　多类核机器202
13.10　用于回归的核机器203
13.11　一类核机器206
13.12　核维度归约208
13.13　注释209
13.14　习题209
13.15　参考文献210
第14章　贝叶斯估计212
14.1　引言212
14.2　分布参数的估计213
14.2.1　离散变量213
14.2.2　连续变量215
14.3　函数参数的贝叶斯估计216
14.3.1　回归216
14.3.2　基函数或核函数的使用218
14.3.3　贝叶斯分类219
14.4　高斯过程221
14.5　注释223
14.6　习题224
14.7　参考文献224
第15章　隐马尔可夫模型225
15.1　引言225
15.2　离散马尔可夫过程225
15.3　隐马尔可夫模型227
15.4　HMM的三个基本问题229
15.5　估值问题229
15.6　寻找状态序列231
15.7　学习模型参数233
15.8　连续观测235
15.9　带输入的HMM236
15.10　HMM中的模型选择236
15.11　注释237
15.12　习题238
15.13　参考文献239
第16章　图方法240
16.1　引言240
16.2　条件独立的典型情况241
16.3　图模型实例245
16.3.1　朴素贝叶斯分类245
16.3.2　隐马尔可夫模型246
16.3.3　线性回归248
16.4　d-分离248
16.5　信念传播249
16.5.1　链249
16.5.2　树250
16.5.3　多树251
16.5.4　结树252
16.6　无向图：马尔可夫随机场253
16.7　学习图模型的结构254
16.8　影响图255
16.9　注释255
16.10　习题256
16.11　参考文献256
第17章　组合多学习器258
17.1　基本原理258
17.2　产生有差异的学习器258
17.3　模型组合方案260
17.4　投票法261
17.5　纠错输出码263
17.6　装袋265
17.7　提升265
17.8　重温混合专家模型267
17.9　层叠泛化268
17.10　调整系综268
17.11　级联269
17.12　注释270
17.13　习题271
17.14　参考文献272
第18章　增强学习275
18.1　引言275
18.2　单状态情况：K臂赌博机问题276
18.3　增强学习基础277
18.4　基于模型的学习278
18.4.1　价值迭代279
18.4.2　策略迭代279
18.5　时间差分学习280
18.5.1　探索策略280
18.5.2　确定性奖励和动作280
18.5.3　非确定性奖励和动作282
18.5.4　资格迹283
18.6　推广285
18.7　部分可观测状态286
18.7.1　场景286
18.7.2　例子：老虎问题287
18.8　注释290
18.9　习题291
18.10　参考文献292
第19章　机器学习实验的设计与分析294
19.1　引言294
19.2　因素、响应和实验策略296
19.3　响应面设计297
19.4　随机化、重复和阻止298
19.5　机器学习实验指南298
19.6　交叉验证和再抽样方法300
19.6.1　K-折交叉验证300
19.6.2　5×2交叉验证301
19.6.3　自助法302
19.7　度量分类器的性能302
19.8　区间估计304
19.9　假设检验307
19.10　评估分类算法的性能308
19.10.1　二项检验308
19.10.2　近似正态检验309
19.10.3　t检验309
19.11　比较两个分类算法309
19.11.1　McNemar检验310
19.11.2　K-折交叉验证配对t检验310
19.11.3　5×2交叉验证配对t检验311
19.11.4　5×2交叉验证配对F检验311
19.12　比较多个算法：方差分析312
19.13　在多个数据集上比较315
19.13.1　比较两个算法315
19.13.2　比较多个算法317
19.14　注释317
19.15　习题318
19.16　参考文献319
附录A　概率论320
索引328