第1章字符串操作1
1.1切分1
1.1.1将文本切分为语句2
1.1.2其他语言文本的切分2
1.1.3将句子切分为单词3
1.1.4使用TreebankWordTokenizer执行切分4
1.1.5使用正则表达式实现切分5
1.2标准化8
1.2.1消除标点符号8
1.2.2文本的大小写转换9
1.2.3处理停止词9
1.2.4计算英语中的停止词10
1.3替换和校正标识符11
1.3.1使用正则表达式替换单词11
1.3.2用另一个文本替换文本的示例12
1.3.3在执行切分前先执行替换操作12
1.3.4处理重复字符13
1.3.5去除重复字符的示例13
1.3.6用单词的同义词替换14
1.3.7用单词的同义词替换的示例15
1.4在文本上应用Zipf定律15
1.5相似性度量16
1.5.1使用编辑距离算法执行相似性度量16
1.5.2使用Jaccard系数执行相似性度量18
1.5.3使用Smith Waterman距离算法执行相似性度量19
1.5.4其他字符串相似性度量19
1.6小结20
第2章统计语言建模21
2.1理解单词频率21
2.1.1为给定的文本开发MLE25
2.1.2隐马尔科夫模型估计32
2.2在MLE模型上应用平滑34
2.2.1加法平滑34
2.2.2Good Turing平滑35
2.2.3Kneser Ney平滑40
2.2.4Witten Bell平滑41
2.3为MLE开发一个回退机制41
2.4应用数据的插值以便获取混合搭配42
2.5通过复杂度来评估语言模型42
2.6在语言建模中应用Metropolis—Hastings算法43
2.7在语言处理中应用Gibbs采样法43
2.8小结46
第3章形态学：在实践中学习47
3.1形态学简介47
3.2理解词干提取器48
3.3理解词形还原51
3.4为非英文语言开发词干提取器52
3.5形态分析器54
3.6形态生成器56
3.7搜索引擎56
3.8小结61
第4章词性标注：单词识别62
4.1词性标注简介62
默认标注67
4.2创建词性标注语料库68
4.3选择一种机器学习算法70
4.4涉及n—gram的统计建模72
4.5使用词性标注语料库开发分块器78
4.6小结80
第5章语法解析：分析训练资料81
5.1语法解析简介81
5.2Treebank建设82
5.3从Treebank提取上下文无关文法规则87
5.4从CFG创建概率上下文无关文法93
5.5CYK线图解析算法94
5.6Earley线图解析算法96
5.7小结102
第6章语义分析：意义很重要103
6.1语义分析简介103
6.1.1NER简介107
6.1.2使用隐马尔科夫模型的NER系统111
6.1.3使用机器学习工具包训练NER117
6.1.4使用词性标注执行NER117
6.2使用Wordnet生成同义词集id119
6.3使用Wordnet进行词义消歧122
6.4小结127
第7章情感分析：我很快乐128
7.1情感分析简介128
7.1.1使用NER执行情感分析134
7.1.2使用机器学习执行情感分析134
7.1.3NER系统的评估141
7.2小结159
第8章信息检索：访问信息160
8.1信息检索简介160
8.1.1停止词删除161
8.1.2使用向量空间模型进行信息检索163
8.2向量空间评分及查询操作符关联170
8.3使用隐性语义索引开发IR系统173
8.4文本摘要174
8.5问答系统176
8.6小结177
第9章语篇分析：理解才是可信的178
9.1语篇分析简介178
9.1.1使用中心理论执行语篇分析183
9.1.2指代消解184
9.2小结188
第10章NLP系统评估：性能分析189
10.1NLP系统评估要点189
10.1.1NLP工具的评估（词性标注器、词干提取器及形态分析器）190
10.1.2使用黄金数据执行解析器评估200
10.2IR系统的评估201
10.3错误识别指标202
10.4基于词汇搭配的指标202
10.5基于句法匹配的指标207
10.6使用浅层语义匹配的指标207
10.7小结208