本书分为两个部分，共12章。第1章到第5章介绍了大数据的本体论、机器学习的基本理论等内容，为具体场景、算法的实践奠定了基础。读者可以了解到，在工程实践中，对大数据的处理、转化方式与人类学习知识并将其转化为实践的过程是多么相似。在对机器学习的介绍中，会对其数学原理、训练过程做基本的讲解，并辅以代码帮助读者了解真实场景中技术工具的使用。第6章到第12章提供了多个不同的用例，章节之间彼此独立，介绍了如何用人工智能技术（自然语言处理、模糊系统、遗传编程、群体智能、强化学习、网络**、认知计算）实现大数据自动化解决方案。 如果读者对 Java 编程语言、分布式计算框架、各种机器学习算法有一定的了解，那么本书可以帮助你建立一个全局观，从更广阔的视角来看待人工智能技术在大数据中的应用。如果读者对上述知识一无所知，但是对大数据人工智能的技术、业务非常感兴趣，那么可以通过本书获得从零到一的认知提升。

第 1章 大数据与人工智能系统 1 1.1 结果金字塔 2 1.2 人脑*擅长什么 2 1.2.1 感官输入 2 1.2.2 存储 3 1.2.3 处理能力 3 1.2.4 低能耗 3 1.3 电子大脑*擅长什么 3 1.3.1 速度信息存储 3 1.3.2 蛮力处理 4 1.4 两全其美 4 1.4.1 大数据 5 1.4.2 从迟钝机器进化到智能 机器 6 1.4.3 智能 7 1.4.4 大数据框架 8 1.4.5 大数据智能应用 10 1.5 常见问答 10 1.6 小结 12 第 2章 大数据本体论 13 2.1 人脑与本体 14 2.2 信息科学本体论 15 2.2.1 本体的属性 16 2.2.2 本体的优点 17 2.2.3 本体的组成 18 2.2.4 本体在大数据中扮演的 角色 19 2.2.5 本体对齐 20 2.2.6 本体在大数据中的目标 20 2.2.7 本体在大数据中的 挑战 21 2.2.8 资源描述框架——通用 数据格式 21 2.2.9 使用Web本体语言： OWL 26 2.2.10 SPARQL查询语言 28 2.2.11 用本体构建智能机器 31 2.2.12 本体学习 33 2.3 常见问答 36 2.4 小结 36 第3章 从大数据中学习 38 3.1 监督学习和无监督学习 38 3.2 Spark编程模型 42 3.3 Spark MLlib库 44 3.3.1 转换器函数 44 3.3.2 估计器算法 45 3.3.3 管道 45 3.4 回归分析 46 3.4.1 线性回归 47 3.4.2 广义线性模型 50 3.4.3 对数几率回归分类技术 50 3.4.4 多项式回归 52 3.4.5 逐步回归 53 3.4.6 岭回归 53 3.4.7 套索回归 54 3.5 数据聚类 54 3.6 K均值算法 55 3.7 数据降维 58 3.8 奇异值分解 59 3.8.1 矩阵理论和线性代数 概述 60 3.8.2 奇异值分解的重要 性质 62 3.8.3 Spark ML实现SVD 63 3.9 主成分分析 64 3.9.1 用SVD实现PCA算法 64 3.9.2 用Spark ML实现SVD 65 3.10 基于内容的**系统 66 3.11 常见问答 70 3.12 小结 71 第4章 大数据神经网络 72 4.1 神经网络和人工神经网络的 基础 72 4.2 感知器和线性模型 73 4.2.1 神经网络的组成符号 74 4.2.2 简单感知器模型的数学 表示 75 4.2.3 激活函数 77 4.3 非线性模型 80 4.4 前馈神经网络 81 4.5 梯度下降和反向传播 82 4.5.1 梯度下降伪代码 85 4.5.2 反向传播模型 86 4.6 过拟合 88 4.7 循环神经网络 89 4.7.1 RNN的需求 89 4.7.2 RNN的结构 89 4.7.3 训练RNN 90 4.8 常见问答 90 4.9 小结 92 第5章 深度大数据分析 93 5.1 深度学习基础知识和构建 模块 93 5.1.1 基于梯度的学习 95 5.1.2 反向传播 97 5.1.3 非线性 98 5.1.4 剔除 99 5.2 构建数据准备管道 101 5.3 实现神经网络架构的实用 方法 107 5.4 超参数调优 109 5.4.1 学习率 110 5.4.2 训练迭代的次数 111 5.4.3 隐藏单元数 111 5.4.4 时期数 112 5.4.5 用deeplearning4j试验 超参数 112 5.5 分布式计算 117 5.6 分布式深度学习 119 5.6.1 DL4J和Spark 119 5.6.2 TensorFlow 122 5.6.3 Keras 122 5.7 常见问答 123 5.8 小结 125 第6章 自然语言处理 126 6.1 自然语言处理基础 127 6.2 文本预处理 128 6.2.1 删除停用词 129 6.2.2 词干提取 130 6.2.3 词形还原 132 6.2.4 N-Gram 132 6.3 特征提取 133 6.3.1 独热编码 133 6.3.2 TF-IDF 134 6.3.3 CountVectorizer 136 6.3.4 Word2Vec 137 6.4 应用自然语言处理技术 140 6.5 实现情感分析 145 6.6 常见问答 147 6.7 小结 148 第7章 模糊系统 149 7.1 模糊逻辑基础 149 7.1.1 模糊集和隶属函数 150 7.1.2 明确集的属性和 符号 151 7.1.3 模糊化 153 7.1.4 去模糊化 156 7.1.5 模糊推理 156 7.2 ANFIS网络 157 7.2.1 自适应网络 157 7.2.2 ANFIS架构和混合学习 算法 157 7.3 模糊C均值聚类 160 7.4 模糊神经分类器 164 7.5 常见问答 165 7.6 小结 166 第8章 遗传编程 167 8.1 遗传算法的结构 169 8.2 KEEL框架 172 8.3 Encog机器学习框架 175 8.3.1 Encog开发环境设置 175 8.3.2 Encog API结构 176 8.4 Weka框架 179 8.5 用Weka以遗传算法实现属性 搜索 189 8.6 常见问答 192 8.7 小结 192 第9章 群体智能 193 9.1 什么是群体智能 194 9.1.1 自组织 194 9.1.2 主动共识 195 9.1.3 劳动分工 196 9.1.4 集体智能系统的 优势 196 9.1.5 开发SI系统的设计 原则 197 9.2 粒子群优化模型 198 9.3 蚁群优化模型 201 9.4 MASON库 203 9.5 Opt4J库 206 9.6 在大数据分析中的应用 208 9.7 处理动态数据 210 9.8 多目标优化 210 9.9 常见问答 211 9.10 小结 212 第 10章 强化学习 213 10.1 强化学习算法的概念 213 10.2 强化学习技术 216 10.2.1 马尔可夫决策过程 217 10.2.2 动态规划与强化学习 218 10.2.3 Q-learning 221 10.2.4 SARSA学习 228 10.3 深度强化学习 230 10.4 常见问答 231 10.5 小结 231 第 11章 网络** 233 11.1 大数据用于维生管线保护 233 11.1.1 数据收集与分析 234 11.1.2 异常检测 235 11.1.3 纠正和预防措施 236 11.1.4 概念上的数据流 236 11.2 理解流处理 239 11.2.1 流处理语义 240 11.2.2 Spark Streaming 241 11.2.3 Kafka 242 11.3 网络**攻击类型 244 11.3.1 网络钓鱼 245 11.3.2 内网漫游 245 11.3.3 注入攻击 245 11.3.4 基于AI的防御 246 11.4 了解SIEM 247 11.5 Splunk 250 11.5.1 Splunk Enterprise Security 250 11.5.2 Splunk Light 251 11.6 ArcSight ESM 253 11.7 常见问答 253 11.8 小结 254 第 12章 认知计算 256 12.1 认知科学 256 12.2 认知系统 259 12.2.1 认知系统简史 260 12.2.2 认知系统的目标 261 12.2.3 认知系统的因素 262 12.3 认知智能在大数据分析中的 应用 263 12.4 认知智能即服务 264 12.4.1 基于Watson的IBM 认知工具包 265 12.4.2 基于Watson的认知 应用 266 12.4.3 用Watson进行开发 269 12.5 常见问答 273 12.6 小结 274