《大数据搜索与挖掘》以作者团队十余年在大数据搜索与挖掘领域所作的研究与应用工 作为内容，介绍大数据搜索与挖掘的研发成果，内容涵盖大数据处理概论、 中文自然语言处理、网络信息预处理、网络情报挖掘(包括网络语言分析、新 特征语言抽取、汉语词法分析、文本自动分类、自动聚类、自动摘要、关键词 抽取）、网络精准搜索(信息检索模型、句子搜索)、人物搜索等方面的研究成 果。从大数据这座金矿中挖掘有价值的信息，是《大数据搜索与挖掘》的目的所在。全书体 系完整，内容新颖，条理清晰，组织合理，理论与实践并重，突出原创的研究 成果与实际应用。

《信息科学技术学术著作丛书》序
序
前言
第1章绪论
1.1大数据
1.2云计算及Hadoop简介
1.3Web搜索、全文索引与Lucene简介
1.3.1Web搜索
1.3.2全文索引
1.3.3Lucene简介
1.4大数据挖掘
1.5本书主要内容及其知识点
1.6本章小结
参考文献
第2章大数据搜索挖掘综述
2.1常用的信息检索模型
2.1.1传统布尔检索与扩展布尔检索模型
2.1.2向量空间模型
2.1.3概率检索模型
2.1.4语言模型
2.2自然语言理解与处理概述
2.3中文词法分析中的分词处理
2.3.1基于词典和规则的汉字分词
2.3.2基于大规模语料库的统计学习的分词方法
2.3.3规则和统计方法相结合的汉字分词方法
2.4未登录词及其识别
2.4.1命名实体及其识别
2.4.2未登录词与新词识别
2.5有意义串及其识别
2.6词典组织与管理
2.6.1基于Trie索引树的词典管理
2.6.2基于哈希表的词典管理
2.7文本分类
2.8文本聚类
2.8.1文本表示
2.8.2相似度度量
2.8.3聚类算法体系
2.9话题识别与跟踪
2.10句子及其检索
2.10.1传统的文档检索方法
2.10.2信息过滤方法
2.10.3分类方法
2.10.4语义比较方法
2.10.5隐马尔可夫模型方法
2.10.6自动文摘方法
2.11句子级新信息检测
2.11.1词重叠度
2.11.2*大区间相关度
2.11.3余弦冗余度
2.11.4命名实体触发方法
2.11.5统计机器翻译模型
2.11.6LexRank方法
2.12本章小结
参考文献
第3章大数据检索与分词
3.1概述
3.2分词对中文信息检索的影响
3.3分词精度与检索性能的关系
3.4大数据应用环境下中文信息检索的分词算法及其特点
3.4.1分词算法的时间性能要求高
3.4.2分词正确率的提高并不一定带来检索性能的提高
3.4.3分词切分粒度需在查询扩展层面进行相关处理
3.4.4未登录词识别的准确率要比召回率更重要
3.5基于双数组Trie树优化算法的词典
3.5.1双数组Trie树算法介绍及其优化
3.5.2利用优化的双数组Trie树算法组织词典
3.5.3实验结果与分析
3.6本章小结
参考文献
第4章基于层次隐马尔可夫模型的浅层词法分析
4.1概述
4.2英文浅层分析的实现
4.2.1英文断句与词汇切分
4.2.2词性标注
4.2.3词干抽取与词形还原。
4.3停用词处理与特征词选择
4.3.1停用词处理
4.3.2特征词选择
4.4基于层次隐马尔可夫模型的汉语浅层分析及其应用
4.4.1层次隐马尔可夫模型
4.4.2基于类的隐马尔可夫分词算法
4.4.3N*短路径的切分排歧策略
4.4.4未登录词的隐马尔可夫识别方法
4.5汉语词法分析系统ICTCLAS性能实验与分析
4.5.1词法分析与层次隐马尔可夫模型
4.5.2ICTCLAS在973评测中的测试结果
4.5.3**届国际分词大赛的评测结果
4.6基于单字位置成词概率识别未登录词的算法
4.6.1字的位置成词概率
4.6.2局部二元串频统计
4.6.3有关未登录词识别的实验结果
4.7本章小结
参考文献
第5章大数据语言新特征发现
5.1概述
5.2基于上下文邻接分析和语言模型的有意义串提取
5.2.1上下文邻接分析
5.2.2语言模型分析
5.2.3重复串发现及处理流程
5.2.4实验设计及结果分析
5.3基于局部性原理的低频有意义串提取
5.3.1有意义串的局部性
5.3.2局部性度量
5.3.3算法流程
5.3.4实验结果与分析
5.4基于伪相关反馈模型的有意义串提取
5.4.1算法的基本思想
5.4.2相关度的定义
5.4.3位置成词概率PWP的更新
5.4.4算法流程
5.4.5实验结果及分析
5.5本章小结
参考文献
第6章大数据聚类与分类
6.1概述
6.2基于关键词提取的搜索结果聚类
6.2.1相关术语简介
6.2.2关键词提取
6.2.3基于关键词的检索结果聚类方法
6.2.4实验结果及分析
6.3基于K—means算法的有意义串主题聚类算法
6.4基于邻接串种类的有意义串语境聚类
6.5有意义串对分类的改进
6.6本章小结
参考文献
……
第7章大数据文本自动摘要
第8章JZSearch大数据精准搜索引擎
第9章面向大数据的句子检索与新颖性监测
第10章人物追踪中的数据预处理与属性抽取
第11章人物模型组织与基于事件的信息处理
附录AICTCLAS/NLPIR2014汉语分词系统介绍
附录BNLPIR大数据搜索与挖掘共享开发平台

第2章大数据搜索挖掘综述
本章将对大数据搜索与挖掘中的相关技术（特别是自然语言理解与处理中涉及的相关技术）进行综述，内容涵盖文本分析与挖掘、自然语言理解与处理、中文词法分析中的分词处理、未登录词及其识别、有意义串及其识别、词典组织与管理、文本分类、文本聚类、话题识别与跟踪、信息检索的基本原理、句子级检索与新信息检测等内容。
2.1常用的信息检索模型
当用户以一定的方式表示出其信息需求后，系统应根据用户的需求，在表示信息的数据（特别是非结构化的文本数据）中进行检索，获取与用户需求相关的结果集并按一定次序输出，对这个过程建模就产生了各种不同的信息检索模型。
一般地，一个信息检索模型要确定文档的表示方式、用户查询的表示方式及用户查询与文档间相关度的计算方法，包括文档表示、查询表示、匹配函数和结果输出等。其中，文档表示反映文档在系统中的存储形式，查询表示反映用户想要表达的信息需求，匹配函数用于把经过处理的文档表示和查询表示进行匹配计算并得到结果集，结果输出则是将检索结果集按照其和用户需求的相关性排序输出。信息检索模型是将文档、查询及其关系进行建模的框架，一般可由三元组F（D，Q，R（qi，dj））表示，其中D是文档逻辑视图，Q是用户信息需求的逻辑视图，R（qi，dj）是一个与查询qi∈Q和文档dj∈D有关的函数，以便决定结果集的输出顺序（孙建军等，2004；凌云，2003；徐宝文，2003；焦玉英等，2003；Baeza—Yatesetal.，1999）。
相关工作中，由Salton等提出的向量空间模型成功地应用于SMART系统中，Salton等（1983）在20世纪80年代末又提出了扩展布尔检索模型；Wong等（1985）建立的广义矢量模型考虑了词与词的相依性；Cooper和Bookstein利用集合论建立了信息检索的一般社会模型；Maron、Roberton和SparkJones于20世纪60～80年代先后建立了三个概率检索模型；Raedchi在模糊检索理论方面进行了研究。下面，对一些信息检索模型及常用的检索性能评价指标进行综述（高凯等，2010）。

《信息科学技术学术著作丛书:大数据搜索与挖掘》可为高校计算机专业、计算机语言学专业和人工智能专业等师生的教学和科研工作提供帮助，也可为从事大数据搜索与挖掘、中文自然语言处理、信息检索与搜索引擎技术研发的工程技术人员和希望了解上述技术的爱好者等提供参考。

张华平，1978年出生。工学博士，北京理工大学副教授。毕业于中国科学院计算技术研究所。汉语词法分析系统ICTCLAS创始人，ICTCLAS在**973评测和**届国际汉语分词大赛中综合得分均获得第1名。

主要从事大数据搜索与挖掘、自然语言处理、信息检索等方面的研究工作，主持或参与**自然科学基金、863、973、242等十余项课题。曾先后获得2010年度钱伟长中文信息处理科学技术奖一等奖，中国科学院院长**奖、中国科学院计算技术研究所所长特别奖，是中国科学院计算技术研究所“百星计划”首批入选者。