第1章 引言 1
第2章 数学基础 7
2.1 初等概率理论 7
2.1.1 基本概念 7
2.1.2 条件概率与独立 9
2.1.3 全概率公式与贝叶斯公式 10
2.1.4 随机变量 12
2.1.5 多维随机变量 13
2.1.6 数学期望与方差 15
2.1.7 常用分布 16
2.2 信息论基础 18
2.2.1 信息熵 18
2.2.2 联合熵和条件熵 20
2.2.3 互信息 20
2.2.4 相关熵 21
2.2.5 语言与熵 22
2.2.6 噪声信道模型 23
2.3 粗糙集 25
2.3.1 信息系统 25
2.3.2 不可分辨关系 25
2.3.3 集合近似 26
2.3.4 约简 27
2.3.5 属性依从 28
2.3.6 决策规则合成 29
2.4 小结 29
第3章 汉语自动分词技术 31
3.1 引言 31
3.2 分词规范 33
3.3 常用的分词方法 35
3.3.1 正向最大匹配分词 35
3.3.2 反向最大匹配分词 35
3.3.3 基于统计的词网格分词 36
3.4 歧义的分类和识别 36
3.4.1 歧义的分类 36
3.4.2 歧义的抽取和消歧 37
3.5 新词的识别 39
3.5.1 统计构词能力 40
3.5.2 汉字构词模式 40
3.5.3 未登录词识别算法 41
3.6 关于分词的若干统计结果 41
3.7 语言单位的统计分布规律 (Zipf定律) 42
3.8 小结 44
第4章 基于数学统计的语言模型 47
4.1 统计语言模型概述 47
4.2 现有的主要统计语言模型 48
4.2.1 上下文无关模型 48
4.2.2 N元文法模型 49
4.2.3 N\|POS模型 50
4.2.4 基于决策树的语言模型 51
4.2.5 动态、自适应、基于缓存的语言模型 51
4.3 数据平滑技术 52
4.3.1 数据平滑算法的评价标准 53
4.3.2 常见平滑方法 53
4.4 隐马尔科夫模型 57
4.4.1 随机过程 57
4.4.2 马尔科夫链和马尔科夫性 57
4.4.3 马尔科夫模型 58
4.4.4 隐马尔科夫模型 58
4.5 最大熵模型 62
4.5.1 模型介绍 62
4.5.2 模型评价 64
4.5.3 最大熵语言建模 64
4.6 小结 65
第5章 基于语言理解的处理方法 69
5.1 引言 69
5.2 常用的基于语言理解的分类标注体系 70
5.2.1 词性分类体系 70
5.2.2 词义分类体系 72
5.3 常用的基于语言理解的语法理论 74
5.3.1 常用的语法理论 75
5.3.2 浅层语法分析技术 82
5.4 语料库多级加工 84
5.4.1 语料库的多级加工 85
5.4.2 分词 86
5.4.3 词性标注 86
5.4.4 词性标注的HMM模型 88
5.4.5 Viterbi词性标注算法 89
5.4.6 语法分析 90
5.4.7 概率上下文无关文法 93
5.4.8 语料库的应用 95
5.5 小结 96
第6章 音字转换技术 99
6.1 引言 99
6.2 声音语句输入 100
6.2.1 声音语句输入的提出 100
6.2.2 声音语句的推理 101
6.2.3 声音语句输入的系统实现 102
6.3 汉字智能拼音键盘输入 103
6.4 拼音输入的多种表达形式 104
6.4.1 拼音助学和提示输入 104
6.4.2 简拼快速输入 105
6.4.3 用户自定义简拼 105
6.4.4 模糊拼音输入 105
6.4.5 面向数字键盘的数字拼音输入 105
6.5 拼音预处理 106
6.5.1 拼音流的切分 106
6.5.2 拼音纠错 108
6.6 音字转换的实现方法 109
6.6.1 基于理解的方法 109
6.6.2 基于语用统计的方法 109
6.6.3 基于模板匹配的方法 110
6.6.4 基于上下文关联的音字转换 110
6.7 小结 111
第7章 自动文摘技术 113
7.1 引言 113
7.2 文本的内部表示方法 115
7.3 基于浅层分析的文摘技术 116
7.3.1 建立特征库 117
7.3.2 文摘句抽取 119
7.4 基于实体分析的文摘技术 120
7.4.1 特征提取 120
7.4.2 文摘抽取 122
7.5 基于话语结构的文摘技术 122
7.5.1 基于词汇衔接的文摘方法 123
7.5.2 基于话语树的文摘方法 124
7.6 文摘系统评测方法 126
7.7 关键词自动抽取 127
7.8 小结 129
第8章 信息检索技术 131
8.1 信息检索综述 131
8.1.1 信息检索的定义与术语 131
8.1.2 信息检索系统 132
8.1.3 信息检索系统的评价 134
8.1.4 信息检索简史 136
8.2 信息检索的统计模型 137
8.2.1 基于统计的信息检索模型 137
8.2.2 布尔模型 138
8.2.3 向量空间模型 139
8.2.4 概率模型 142
8.3 信息检索中的自然语言处理方法 143
8.4 文本自动分类技术 146
8.4.1 问题的提出 146
8.4.2 分类预处理 146
8.4.3 向量空间简化方法 147
8.4.4 分类方法 149
8.5 小结 154
第9章 文字识别技术 157
9.1 引言 157
9.2 联机手写体汉字识别的国内外研究概况 158
9.2.1 国外研究概况 158
9.2.2 国内研究概况 159
9.3 联机手写体汉字识别方法综述 160
9.3.1 基于统计的识别方法 160
9.3.2 基于结构的识别方法 161
9.3.3 基于神经元网络的识别方法 162
9.3.4 基于机器学习的识别方法 162
9.4 典型联机手写体汉字识别系统 163
9.4.1 汉王中文手写体汉字识别系统 163
9.4.2 豪文中文手写体汉字识别系统 163
9.5 联机手写体汉字识别后处理系统 164
9.5.1 手写体汉字识别模型 164
9.5.2 P(I|S)估计 165
9.5.3 P(S)估计 166
9.5.4 基于词网格的手写体汉字识别的语言学解码方法 166
9.5.5 联机手写体汉字识别后处理系统 167
9.6 小结 169