本书分为三个部分：基于知识图谱和神经网络的构建部分；结合知识图谱和神经网络的混合体系结构；实际应用部分。在三个部分中，主题通常是独立的，允许读者快速、轻松地阅读所需的信息。本书的两个特点是实用性和拥有前沿信息。书中准确地演示了如何创建和使用上下文表示，对意义嵌入和知识图谱嵌入有着明确的处理方法，解释了使用它们的语言模型和Transformer体系结构。

**序一 **序二 译者序 前言 部分 预备知识和构建模块 第1章 混合自然语言处理简介2 1.1 知识图谱、嵌入和语言模型简史2 1.2 自然语言处理中知识图谱和神经网络方法的结合4 第2章 单词、意义和知识图谱嵌入6 2.1 引言6 2.2 分布式单词表示6 2.3 词嵌入7 2.4 意义和概念嵌入8 2.5 知识图谱嵌入9 2.6 本章小结13 第3章 理解词嵌入和语言模型14 3.1 引言14 3.2 语言模型15 3.2.1 统计语言模型15 3.2.2 神经语言模型16 3.3 NLP迁移学习的预训练模型微调16 3.3.1 ELMo16 3.3.2 GPT17 3.3.3 BERT17 3.4 机器人检测中预训练语言模型的微调18 3.4.1 实验结果与讨论21 3.4.2 使用Transformer库对BERT进行微调21 3.5 本章小结27 第4章 从文本中捕获意义作为词嵌入28 4.1 引言28 4.2 下载一个小文本语料库29 4.3 一种学习词嵌入的算法29 4.4 使用Swivel prep生成共现矩阵30 4.5 从共现矩阵中学习嵌入31 4.6 读取并检查存储的二进制嵌入32 4.7 练习：从古腾堡工程中创建词嵌入33 4.7.1 下载语料库并进行预处理33 4.7.2 学习嵌入34 4.7.3 检查嵌入34 4.8 本章小结34 第5章 捕获知识图谱嵌入35 5.1 引言35 5.2 知识图谱嵌入35 5.3 为WordNet创建嵌入37 5.3.1 选择嵌入算法：HolE37 5.3.2 将WordNet知识图谱转换为所需输入39 5.3.3 学习嵌入44 5.3.4 检查嵌入结果44 5.4 练习47 5.4.1 练习：在自己的知识图谱上训练嵌入47 5.4.2 练习：检查WordNet 3.0的预计算嵌入47 5.5 本章小结48 第二部分 神经网络与知识图谱的结合 第6章 从文本语料库、知识图谱和语言模型中构建混合表达50 6.1 引言50 6.2 准备工作和说明51 6.3 Vecsigrafo的概念及构建方式 51 6.4 实现53 6.5 训练Vecsigrafo54 6.5.1 标记化和词义消歧56 6.5.2 词汇表和共现矩阵58 6.5.3 从共现矩阵学习嵌入62 6.5.4 检查嵌入64 6.6 练习：探索一个预先计算好的Vecsigrafo66 6.7 从Vecsigrafo到Transigrafo68 6.7.1 安装设置70 6.7.2 训练Transigrafo71 6.7.3 扩展知��图谱的覆盖范围73 6.7.4 评估 Transigrafo73 6.7.5 检查Transigrafo中的义项嵌入 75 6.7.6 探索Transigrafo嵌入的稳定性77 6.7.7 额外的反思81 6.8 本章小结81 第7章 质量评估82 7.1 引言82 7.2 评估方法的概述83 7.3 练习1：评估单词和概念嵌入84 7.3.1 可视化探索84 7.3.2 内在评估85 7.3.3 词汇预测图87 7.3.4 外在评估90 7.4 练习2：评价通过嵌入获取的关系知识90 7.4.1 下载embrela项目91 7.4.2 下载生成的数据集91 7.4.3 加载待评估的嵌入92 7.4.4 学习模型94 7.4.5 分析模型的结果94 7.4.6 数据预处理：合并且增加字段 96 7.4.7 计算范围阈值和偏差数据集检测97 7.4.8 发现统计上有意义的模型99 7.4.9 关系型知识的评估结论101 7.5 案例研究：评估和对比Vecsigrafo嵌入101 7.5.1 比较研究101 7.5.2 讨论111 7.6 本章小结114 第8章 利用Vecsigrafo捕获词法、语法和语义信息116 8.1 引言116 8.2 方法118 8.2.1 Vecsigrafo：基于语料的单词–概念嵌入118 8.2.2 联合嵌入空间119 8.2.3 嵌入的评估119 8.3 评估120 8.3.1 数据集121 8.3.2 单词相似度121 8.3.3 类比推理124 8.3.4 单词预测125 8.3.5 科学文档的分类127 8.4 讨论129 8.5 练习：使用surface form对科学文献进行分类130 8.5.1 导入所需的库130 8.5.2 下载surface form的词嵌入和SciGraph论文131 8.5.3 读取并准备分类数据集131 8.5.4 surface form的词嵌入133 8.5.5 创建嵌入层134 8.5.6 训练一个卷积神经网络134 8.6 本章小结136 第9章 知识图谱的词嵌入空间对齐与应用137 9.1 引言137 9.2 概述及可能的应用138 9.2.1 知识图谱的补全139 9.2.2 超越多语言性：跨模态的词嵌入139 9.3 词嵌入空间的对齐技术140 9.3.1 线性对齐140 9.3.2 非线性对齐146 9.4 练习：寻找古代英语和现代英语的对应146 9.4.1 下载小型文本语料库146 9.4.2 学习基于老莎士比亚语料库的Swivel词嵌入147 9.4.3 在WordNet之上加载UMBC的Vecsigrafo149 9.4.4 练习的结论149 9.5 本章小结150 第三部分 应用 第10章 一种虚假信息分析的混合方法152 10.1 引言152 10.2 虚假信息检测153 10.2.1 定义和背