本书内容包括自然语言处理概述、Python语言简述、Python数据类型、Python流程控制、Python函数、Python数据科学、Sklearn和NLTK、语料清洗、特征工程、中文分词、文本分类、文本聚类、评价指标、信息提取和情感分析。附录给出教学大纲。 本书采用基于Python语言的Sklearn平台和NLTK实现,便于学生更快地掌握自然语言处理的基本思想。实践是**的学习方法,本书的所有程序都在Anaconda下调试和运行。本书配有源代码、教学课件、语料集、教学大纲、程序安装包、每章的视频讲解等资料。 本书内容精练、文字简洁、结构合理,实训题目经典实用、综合性强,面向初、中级读者,由“入门”起步,侧重“提高”。特别适合作为高等院校自然语言处理和机器学习入门的本科或研究生教材或参考书,也可以供从事人工智能等工作的技术人员应用参考。

□□章自然语言处理概述1 1.1人工智能发展历程1 1.1.1□□阶段: □0年黄金时代1 1.1.□第二阶段: □□次寒冬1 1.1.3第三阶段: 繁荣期1 1.1.4第四阶段: 第二次寒冬□ 1.1.5第五阶段: 稳健时代□ 1.□自然语言处理□ 1.□.1概述□ 1.□.□发展历程3 1.□.3处理流程4 1.□.4研究内容4 1.3机器学习算法6 1.3.1监督学习6 1.3.□无监督学习7 1.4自然语言处理相关库8 1.4.1NumPy8 1.4.□Matplotlib8 1.4.3Pandas8 1.4.4SciPy9 1.4.5NLTK9 1.4.6SnowNLP11 1.4.7Sklearn1□ 1.5语料库1□ 1.5.1认识语料库1□ 1.5.□分类13 1.5.3构建原则13 1.5.4常用语料库13 1.5.5搜狗新闻语料库15第□章Python语言简述19 □.1Python简介19 □.1.1Python发展历程19 □.1.□Python的特点19 □.1.3Python应用场合□0 □.□Python解释器□1 □.□.1Ubuntu下安装Python□1 □.□.□Windows下安装Python□1 □.3Python编辑器□□ □.3.1IDLE□□ □.3.□VS Code□3 □.3.3PyCharm□3 □.3.4Anaconda□4 □.3.5Jupyter 31 □.4代码书写规则3□ □.4.1缩进3□ □.4.□多行语句33 □.4.3注释33 □.4.4编码习惯33 □.5自学网站34 □.5.1菜鸟网站34 □.5.□廖雪峰学Python网站35 □.5.3Python官方网站35 □.5.4Python  100天从新手到大师网站35 第3章Python数据类型37 3.1□量37 3.1.1□量命名37 3.1.□□量引用38 3.□运算符38 3.□.1算术运算符38 3.□.□关系运算符39 3.□.3赋值运算符40 3.□.4逻辑运算符41 3.□.5位运算符41 3.□.6成员运算符43 3.□.7身份运算符43 3.3表达式43 3.3.1概念43 3.3.□操作44 3.4数据类型44 3.5数字45 3.5.1概念45 3.5.□操作45 3.6字符串46 3.6.1概念46 3.6.□操作46 3.7列表48 3.7.1概念48 3.7.□操作48 3.8元组53 3.8.1概念53 3.8.□操作54 3.9字典55 3.9.1字典的概念55 3.9.□字典操作56 3.9.3字典举例59 3.10集合59 3.10.1集合的概念59 3.10.□集合操作60 3.10.3集合举例61 3.11组合数据类型6□ 3.11.1相互关系6□ 3.11.□数据类型转换6□ 第4章Python流程控制63 4.1流程结构63 4.□顺序结构63 4.□.1输入输出64 4.□.□举例67 4.3选择结构67 4.3.1单分支67 4.3.□双分支68 4.3.3多分支69 4.3.4分支嵌套70 4.4循环概述7□ 4.4.1循环结构7□ 4.4.□循环分类7□ 4.5while语句7□ 4.5.1基本形式7□ 4.5.□else 语句73 4.5.3无限循环74 4.6for语句74 4.6.1应用序列类型74 4.6.□内置函数range()75 4.7循环嵌套76 4.7.1原理76 4.7.□实现76 4.8辅助语句77 4.8.1break语句77 4.8.□continue语句79 4.8.3pass语句79 第5章Python函数81 5.1函数声明与调用81 5.1.1函数声明81 5.1.□函数调用81 5.1.3函数返回值83 5.□参数传递84 5.□.1实参与形参84 5.□.□传对象引用84 5.3参数分类85 5.3.1参数85 5.3.□默认参数85 5.3.3关键参数86 5.3.4不定长参数86 5.4两类特殊函数87 5.4.1匿名函数87 5.4.□递归函数88 第6章Python数据科学93 6.1科学计算93 6.□NumPy94 6.□.1认识NumPy94 6.□.□创建数组95 6.□.3查看数组97 6.□.4索引和切片97 6.□.5矩阵运算98 6.3Matplotlib99 6.3.1认识Matplotlib99 6.3.□线形图100 6.3.3散点图101 6.3.4饼状图10□ 6.3.5直方图10□ 6.4Pandas103 6.4.1认识Pandas103 6.4.□Series104 6.4.3DataFrame108 6.4.4Index11□ 6.4.5Plot114 6.5SciPy115 6.5.1认识SciPy115 6.5.□稀疏矩阵115 6.5.3线性代数116 6.6Seaborn117 6.6.1认识Seaborn117 6.6.□图表分类119 第7章Sklearn和NLTK1□0 7.1Sklearn简介1□0 7.□安装Sklearn1□1 7.3数据集1□□ 7.3.1小数据集1□□ 7.3.□大数据集1□7 7.3.3生成数据集1□8 7.4机器学习流程13□ 7.4.1语料清洗13□ 7.4.□划分数据集13□ 7.4.3特征工程137 7.4.4机器算法137 7.4.5模型评估137 7.5NLTK简介138 7.6NLTK语料库139 7.6.1inaugural语料库139 7.6.□gutenberg语料库139 7.6.3movie_reviews语料库140 7.7NLTK文本分类141 7.7.1分句分词141 7.7.□停止词14□ 7.7.3词干提取143 7.7.4词形还原143 7.7.5WordNet144 7.7.6语义相关性145 第8章语料清洗146 8.1认识语料清洗146 8.□清洗策略147 8.□.1一致性检查147 8.□.□格式内容检查147 8.□.3逻辑错误检查147 8.3缺失值清洗147 8.3.1认识缺失值147 8.3.□Pandas处理148 8.3.3Sklearn处理150 8.4异常值清洗151 8.4.1散点图方法151 8.4.□箱线图方法151 8.4.33σ法则153 8.5重复值清洗155 8.5.1NumPy处理155 8.5.□Pandas处理155 8.6数据转换157 8.6.1数据值替换157 8.6.□数据值映射158 8.6.3数据值合并159 8.6.4数据值补充160 8.7Missingno库161 8.7.1认识Missingno库161 8.7.□示例163 8.8词云165 8.8.1认识词云165 8.8.□示例166 第9章特征工程168 9.1特征预处理168 9.1.1归一化168 9.1.□标准化169 9.1.3鲁棒化171 9.1.4正则化171 9.1.5示例17□ 9.□独热编码176 9.□.1认识独热编码176 9.□.□Pandas实现177 9.□.3Sklearn实现178 9.□.4DictVectorizer179 9.3CountVectorizer180 9.3.1认识CountVectorizer180 9.3.□Sklearn调用CountVectorizer180 9.4TFIDF181 9.4.1认识TFIDF181 9.4.□计算TFIDF181 9.4.3Sklearn调用TFIDF18□ □□0章中文分词183 10.1概述183 10.1.1简介183 10.1.□特点183 10.□常见中文分词方法184 10.□.1基于规则和词表方法184 10.□.□基于统计方法184 10.□.3基于理解方法185 10.3中文分词困惑185 10.4jieba分词库186 10.4.1认识jieba186 10.4.□三种模式187 10.4.3自定义词典188 10.4.4词性标注189 10.4.5断词位置190 10.4.6关键词抽取190 10.4.7停止词表19□ 10.5HanLP分词195 10.5.1认识HanLP195 10.5.□pyhanlp196 10.5.3中文分词196 10.5.4依存分析使用197 10.5.5关键词提取198 10.5.6命名实体识别199 10.5.7自定义词典199 10.5.8简体繁体转换□00 10.5.9摘要提取□00 □□1章文本分类□0□ 11.1历史回顾□0□ 11.□文本分类方法□0□ 11.□.1朴素贝叶斯□0□ 11.□.□支持向量机□03 11.3贝叶斯定理□03 11.4朴素贝叶斯□04 11.4.1GaussianNB方法□04 11.4.□MultinomialNB方法□05 11.4.3BernoulliNB方法□07 11.5朴素贝叶斯进行新闻分类□08 11.6支持向量机□10 11.6.1线性核函数□10 11.6.□多项式核函数□11 11.6.3高斯核函数□1□ 11.7支持向量机对鸢尾花分类□13 11.8垃圾邮件分类□16 11.8.1朴素贝叶斯定理实现□17 11.8.□Sklearn朴素贝叶斯实现□19 □□□章文本聚类□□□ 1□.1概述□□□ 1□.1.1算法原理□□□ 1□.1.□流程□□3 1□.□KMeans算法□□3 1□.□.1算法原理□□3 1□.□.□数学理论实现□□3 1□.□.3Python实现□□5 1□.3主成分分析□□8 1□.3.1算法原理□□8 1□.3.□components参数□□8 1□.3.3对鸢尾花数据降维□30 1□.4KMeans评估指标□3□ 1□.4.1调整兰德系数□3□ 1□.4.□轮廓系数□3□ 1□.5KMeans英文文本聚类□35 1□.5.1构建DataFrame数据□36 1□.5.□进行分词和停止词去除□36 1□.5.3向量化□36 1□.5.4TFIDF模型□36 1□.5.5计算余弦相似度□37 1□.5.6KMeans聚类□37 1□.6KMeans中文文本聚类□37 1□.6.1程序流程□37 1□.6.□程序文件□38 1□.6.3执行代码□38 □□3章评价指标□4□ 13.1Sklearn中的评价指标□4□ 13.□混淆矩阵□4□ 13.□.1认识混淆矩阵□4□ 13.□.□Pandas计算混淆矩阵□43 13.□.3Sklearn计算混淆矩阵□44 13.3准确率□44 13.3.1认识准确率□44 13.3.□Sklearn计算准确率□45 13.4**率□45 13.4.1认识**率□45 13.4.□Sklearn计算**率□45 13.5召回率□46 13.5.1认识召回率□46 13.5.□Sklearn计算召回率□46 13.6F1 Score□47 13.6.1认识F1 Score□47 13.6.□Sklearn计算F1 Score□47 13.7综合实例□47 13.7.1数学计算评价指标□48 13.7.□Python计算评价指标□48 13.8ROC曲线□50 13.8.1认识ROC曲线□50 13.8.□Sklearn计算ROC曲线□51 13.9AUC面积□5□ 13.9.1认识AUC面积□5□ 13.9.□Sklearn计算AUC面积□5□ 13.10分类评估报告□53 13.10.1认识分类评估报告□53 13.10.□Sklearn计算分类评估报告□53 13.11NLP评价指标□54 13.11.1中文分词**率和召回率□54 13.11.□未登录词和登录词召回率□54 □□4章信息提取□58 14.1概述□58 14.□相关概念□58 14.□.1信息□58 14.□.□信息熵□58 14.□.3信息熵与霍夫曼编码□59 14.□.4互信息□60 14.3正则表达式□60 14.3.1基本语法□61 14.3.□re模块□61 14.3.3提取电影信息□64 14.4命名实体识别□66 14.4.1认识命名实体□66 14.4.□常见方法□66 14.4.3NLTK命名实体识别□67 14.4.4Stanford NLP命名实体识别□69 14.5马尔可夫模型□73 14.5.1认识马尔可夫□73 14.5.□隐马尔可夫模型□73 □□5章情感分析□75 15.1概述□75 15.1.1认识情感分析□75 15.1.□基于词典方法□75 15.□情感倾向分析□76 15.□.1情感词□76 15.□.□程度词□76 15.□.3感叹号□76 15.□.4否定词□76 15.3textblob□76 15.3.1分句分词□78 15.3.□词性标注□78 15.3.3情感分析□79 15.3.4单复数□79 15.3.5过去式□79 15.3.6拼写校正□80 15.3.7词频统计□80 15.4SnowNLP□80 15.4.1分词□81 15.4.□词性标注□81 15.4.3断句□81 15.4.4情绪判断□8□ 15.4.5拼音□8□ 15.4.6繁转简□83 15.4.7关键字抽取□83 15.4.8摘要抽取□83 15.4.9词频和逆文档词频□84 15.5Gensim□84 15.5.1认识Gensim□84 15.5.□认识LDA□86 15.5.3Gensim实现LDA□86 15.6小说人物情感分析□88 15.6.1流程□88 15.6.□代码□88 15.7电影影评情感分析□89 15.7.1流程□89 15.7.□代码□89 附录A教学大纲□9□ 一、 课程简介□9□ 二、 课程内容及要求□9□ 三、 教学安排及学时分配□98 四、 考核方式□99 五、 建议教材及参考文献□99 参考文献300

周元哲,讲师,1974年9月生,硕士。西安邮电学院从事计算机专业科研和教学。讲授《 C程序设计语言》、《数据库原理》、《visual Basic程序设计语言》、《软件测试》《Python程序设计》《软件工程》等课程。