本书基于Python编程语言，以实战为导向，主要介绍中文自然语言处理的各种理论、方法及应用案例，帮助读者快速熟悉理论知识，理解相关技术原理，为读者选择自然语言处理相关的研究方向或从业领域提供参考。全书共分为三个部分：**部分（第1～3章）是“基础篇”，侧重介绍自然语言处理的基础知识，并在相应的知识板块中设置实验案例；第二部分（第4～12章）是“技术篇”，主要讲解自然语言处理核心技术的原理及实现方法，以及文本分类、特征提取、RNN等技术在自然语言处理中的应用；第三部分（第13章）是“应用篇”，主要介绍自然语言处理比较典型的应用场景。 本书适合作为人工智能相关课程的教材，也可作为人工智能的普及读物供广大读者自学或参考。

第 1章 自然语言处理初探1 1.1 什么是自然语言处理2 1.1.1 自然语言处理的概念2 1.1.2 自然语言处理的研究任务3 1.2 自然语言处理的发展历程5 1.3 自然语言处理相关知识的构成7 1.3.1 基础术语7 1.3.2 知识结构8 1.4 探讨自然语言处理的层面9 1.5 自然语言处理与人工智能10 1.5.1 智慧**11 1.5.2 智慧司法.11 1.5.3 智慧金融11 1.6 本章小结12 第 2章 使用Python进行自然语言基础处理13 2.1 正则表达式在自然语言处理中的基本应用14 2.1.1 匹配字符串14 2.1.2 使用转义符17 2.1.3 抽取文本中的数字18 2.2 NumPy使用详解 13.219 2.2.1 创建数组19 2.2.2 获取NumPy中数组的维度20 2.2.3 获取本地数据21 2.2.4 正确读取数据22 2.2.5 数组索引22 2.2.6 数组切片23 2.2.7 数组比较23 2.2.8 替代值24 2.2.9 数据类型转换25 2.2.10 NumPy的统计计算方法25 2.3 本章小结26 第3章 使用NLTK获取和构建语料库27 3.1 语料库基础28 3.2 NLTK29 3.2.1 NLTK简介29 3.2.2 安装NLTK30 3.2.3 使用NLTK31 3.2.4 在Python NLTK下使用Stanford NLP36 3.3 获取语料库40 3.3.1 通过语料库网站获取语料库40 3.3.2 通过编写程序获取语料库41 3.3.3 通过NLTK获取语料库42 3.4 综合案例：走进《红楼梦》44 3.4.1 数据采集和预处理44 3.4.2 构建本地语料库45 3.4.3 语料操作45 3.5 本章小结48 第4章 jieba中文分词49 4.1 中文分词简介50 4.2 规则分词50 4.2.1 正向*大匹配法51 4.2.2 逆向*大匹配法52 4.2.3 双向*大匹配法54 4.3 统计分词57 4.3.1 统计语言模型57 4.3.2 HMM58 4.3.3 其他统计分词算法65 4.4 混合分词65 4.5 Jieba高频词提取66 4.5.1 jieba的3种分词模式66 4.5.2 实战之高频词提取66 4.6 本章小结69 第5章 jieba词性标注71 5.1 词性标注简介72 5.2 词性标注规范72 5.3 jieba分词中的词性标注74 5.4 本章小结75 第6章 命名实体识别之日期识别和地名识别77 6.1 命名实体识别简介78 6.2 基于CRF的命名实体识别79 6.3 命名实体识别之日期识别82 6.4 命名实体识别之地名识别86 6.4.1 安装CRF 86 6.4.2 确定标签体系87 6.4.3 语料数据处理88 6.4.4 特征模板设计90 6.4.5 模型训练和测试91 6.4.6 模型使用93 6.5 本章小结94 第7章 提取文本关键词95 7.1 关键词提取算法96 7.2 TF-IDF算法96 7.3 TextRank算法97 7.4 LSA LSI LDA算法99 7.4.1 LSA LSI算法99 7.4.2 LDA算法100 7.5 提取文本关键词101 7.6 本章小结108 第8章 词向量算法109 8.1 word2vec词向量算法110 8.1.1 神经网络语言模型110 8.1.2 C&W模型112 8.1.3 CBOW模型和Skip-gram模型113 8.2 doc2vec str2vec文本向量化算法114 8.3 将网页文本向量化116 8.3.1 词向量的训练116 8.3.2 段落向量的训练119 8.3.3 利用word2vec词向量算法和doc2vec文本向量化算法计算网页相似度120 8.4 本章小结124 第9章 句法分析125 9.1 句法分析概述126 9.1.1 句法分析的基本概念126 9.1.2 句法分析的基本方法126 9.2 句法分析的数据集与评测方法127 9.2.1 句法分析的数据集127 9.2.2 句法分析的评测方法129 9.3 句法分析的常用方法130 9.3.1 基于PCFG的句法分析130 9.3.2 基于*大间隔马尔可夫网络的句法分析131 9.3.3 基于CRF的句法分析132 9.3.4 基于移进-归约的句法分析132 9.4 使用Standford Parser的PCFG进行句法分析134 9.4.1 Stanford Parser134 9.4.2 基于PCFG的中文句法分析实战135 9.5 本章小结136 第 10章 情感分析137 10.1 情感分析的应用138 10.2 情感分析的基本方法139 10.2.1 词法分析139 10.2.2 机器学习140 10.2.3 混合分析140 10.3 电影评论情感分析141 10.3.1 模型选择141 10.3.2 载入数据144 10.3.3 辅助函数146 10.3.4 模型设置147 10.3.5 调参配置148 10.3.6 训练过程149 10.4 本章小结149 第 11章 机器学习在自然语言处理的应用151 11.1 几种常用的机器学习方法152 11.1.1 文本分类152 11.1.2 特征提取152 11.1.3 标注153 11.1.4 搜索与排序154 11.1.5 **系统155 11.1.6 序列学习156 11.2 无监督学习的文本聚类156 11.3 文本分类实战-中文垃圾邮件分类158 11.4 文本聚类实战——用K均值聚类对豆瓣读书数据聚类164 11.5 本章小结168 第 12章 深度学习在自然语言中的应用169 12.1 RNN简介170 12.1.1 简单RNN170 12.1.2 LSTM172 12.1.3 Attention机制174 12.2 Seq2Seq问答机器人175 12.2.1 Seq2Seq模型175 12.2.2 实战Seq2Seq聊天机器人176 12.3 本章小结184 第 13章 自然语言处理典型的应用场景185 13.1 机器翻译与写作186 13.1.1 机器翻译186 13.1.2 机器写作195 13.2 智能问答与对话204 13.2.1 智能问答204 13.2.2 智能对话系统204 13.2.3 问答系统的主要组成206 13.2.4 不同类型的问答系统207 13.2.5 前景与挑战218 13.3 个性化**218 13.3.1 **系统的概念218 13.3.2 个性化**的基本问题219 13.3.3 **的可解释性222 13.3.4 前景与挑战223 13.4 本章小结226