本书系统介绍了深度学习理论,并基于MindSpore AI计算框架进行实践。全书共分十四章,内容涵盖了深度学习概况、理论基础、深度神经网络、卷积神经网络、无监督学习、深度强化学习、自动化机器学习、端云联合训练、可视化、数据准备等内容。为便于读者学习,书中还给出了基于MindSpore实现的关于深度学习的开发实例以及线上资源。本书可以作为普通高等学校人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生及研究生教材,也适合作为从事深度学习相关工作的软件开发工程师与科研人员的学习、参考用书。

第1章引言00 1.1人工智能的历史变迁00 1.2什么是深度学习00 1.3深度学习的现实应用00 1.3.1自动语音识别00 1.3.2图像识别00 1.3.3自然语言处理00 1.3.4其他领域00 1.4本书的组织架构00 1.5MindSpore简介00 1.5.1编程简单00 1.5.2端云协同0 1.5.3调试轻松0 1.5.4性能**0 1.5.5开源开放0 第2章深度学习基础知识0 2.1回归问题算法0 2.2梯度下降算法0 2.3分类问题算法0 2.4过拟合与欠拟合0 第3章深度神经网络0 3.1前向网络0 3.2反向传播0 3.3泛化能力0 3.4用MindSpore实现简单神经网络0 3.4.1各层参数说明0 3.4.2详细步骤0 目录 第4章深度神经网络的训练0 4.1深度学习系统面临的主要挑战0 4.1.1大数据集需求0 4.1.2硬件需求0 4.1.3过拟合0 4.1.4超参数优化0 4.1.5不透明性0 4.1.6缺少灵活性0 4.2正则化0 4.2.1L2范数正则化0 4.2.2L1范数正则化0 4.3Dropout0 4.4自适应学习率0 4.4.1AdaGrad0 4.4.2RMSProp0 4.4.3Adam0 4.5批标准化0 4.6用MindSpore 实现深度神经网络0 4.6.1各层参数说明0 4.6.2详细步骤0 第5章卷积神经网络0 5.1卷积操作0 5.2池化0 5.3残差网络0 5.4应用:图片分类0 5.5用MindSpore实现基于卷积神经网络图片分类0 5.5.1加载MindSpore模块0 5.5.2定义ResNet网络结构0 5.5.3设置超参数0 5.5.4导入数据集0 5.5.5训练模型0 第6章循环神经网络0 6.1循环神经网络概述0 6.2深度循环神经网络0 6.3长期依赖的挑战0 6.4长短期记忆网络和门控循环神经网络0 6.4.1长短期记忆网络0 6.4.2门控循环神经网络0 6.5应用:文本预测0 6.6用MindSpore实现基于长短期记忆网络的文本预测0 6.6.1加载MindSpore模块0 6.6.2数据准备0 6.6.3定义网络0 6.6.4参数介绍0 6.6.5训练模型0 参考文献0 第7章无监督学习: 词向量0 7.1Word2Vec0 7.1.1提出背景0 7.1.2发展现状0 7.1.3技术原理0 7.1.4技术难点0 7.1.5应用场景0 7.1.6框架模块0 7.2GloVe0 7.2.1提出背景0 7.2.2发展现状0 7.2.3技术原理0 7.2.4技术难点0 7.2.5应用场景 7.2.6框架模块 7.3Transformer 7.3.1提出背景 7.3.2发展现状 7.3.3技术原理 7.3.4技术难点 7.3.5应用场景 7.3.6框架模块 7.4BERT 7.4.1提出背景 7.4.2发展现状 7.4.3技术原理 7.4.4技术难点 7.4.5应用场景 7.4.6框架模块 7.5词向量典型生成算法对比 7.6应用:自动问答 7.6.1自动问答的相关概念 7.6.2传统的自动问答方法 7.6.3基于深度学习的自动问答方法 7.7用MindSpore 实现基于BERT的自动问答 7.7.1数据集准备 7.7.2训练BERT网络 参考文献 第8章无监督学习: 图向量 8.1图向量简介 8.2DeepWalk算法 8.2.1DeepWalk算法原理 8.2.2DeepWalk算法实现 8.3LINE算法 8.3.1LINE算法原理 8.3.2LINE算法实现 8.4Node2Vec算法 8.4.1Node2Vec算法原理 8.4.2Node2Vec算法实现 8.5GCN算法 8.5.1GCN算法原理 8.5.2GCN算法实现 8.6GAT算法 8.6.1GAT算法原理 8.6.2GAT算法实现 8.7应用:**系统 8.7.1工业界中的**系统 8.7.2**系统中的图神经网络模型 参考文献 第9章无监督学习: 深度生成模型 9.1变分自编码器 9.1.1提出背景 9.1.2发展现状 9.1.3技术原理 9.1.4技术难点 9.1.5应用场景 9.2生成对抗网络 9.2.1提出背景 9.2.2发展现状 9.2.3技术原理 9.2.4技术难点 9.2.5应用场景 9.2.6框架模块 9.3应用:数据增强 9.3.1数据增强的定义 9.3.2数据增强的目的 9.3.3传统数据增强的方法 9.3.4基于深度学习的数据增强方法 9.4用MindSpore实现基于生成对抗网络的数据增强 参考文献 第10章深度强化学习 10.1强化学习基本概念 10.1.1基础概念与理论 10.1.2马尔可夫决策过程 10.1.3贝尔曼方程 10.2基本求解方法 10.2.1动态规划法 10.2.2蒙特卡罗法 10.2.3时间差分法 10.3深度强化学习算法 10.3.1DQN算法 10.3.2DDPG算法 10.3.3A3C算法 10.4*新应用 10.4.1**系统 10.4.2博弈游戏 10.5用MindSpore实现基于DQN的博弈游戏 参考文献 第11章自动化机器学习 11.1AutoML框架 11.1.1NAS算法 11.1.2超参调优 11.2现有AutoML系统介绍 11.2.1AutoWeka/AutoSklearn/HyperOpt 11.2.2Microsoft NNI 11.3元学习 11.3.1学习优化器 11.3.2学习参数初始化 11.3.3学习损失函数 11.3.4学习度量 11.4用MindSpore实现AutoML 参考文献 第12章端云协同 12.1端侧推理 12.2端云迁移学习 12.3端云联邦学习 12.3.1联邦平均 12.3.2梯度压缩 12.4端云协同框架 参考文献 第13章深度学习可视化 13.1深度学习可视化概述 13.1.1数据分析 13.1.2模型建立与理解 13.1.3训练 13.1.4评估 13.2MindSpore可视化实践 13.2.1可视化流程 13.2.2数据集可视化 13.2.3模型与训练可视化 13.2.4Summary汇总数据格式 参考文献 第14章深度学习的数据准备 14.1数据格式概述 14.2深度学习中的数据格式 14.2.1原始输入 14.2.2标注信息 14.3常用的深度学习数据格式 14.3.1TFRecord格式 14.3.2LMDB存储 14.3.3Rec格式 14.3.4MindSpore数据格式 14.3.5MindSpore数据集 14.4使用MindSpore数据格式进行训练数据准备 14.4.1MindSpore数据格式生成 14.4.2MindSpore数据格式统计与检索 14.4.3MindSpore数据格式训练数据读取 附录A中、英文对照词汇表 附录BMindSpore白皮书 参考文献