深度学习是计算机科学的一个重要分支，是一种以人工神经网络为架构，对数据进行表征学习的算法的总称。深度学习是传统机器学习算法的发展和衍生，相关内容涉及代数、统计学、优化理论、矩阵计算等多个领域。《深度学习理论与实践》是深度学习的基础入门级教材，在内容上尽可能覆盖深度学习算法相关基础知识。全书共11章，大致可分为三大部分：**部分(第1～3章)主要介绍机器学习的基础知识和一些传统算法；第二部分(第4～8章)主要介绍人工神经网络等的相关理论、优化算法和各类经典神经网络模型；第三部分(第9～11章)为进阶知识，主要介绍非监督学习和强化学习的相关算法。 在学习《深度学习理论与实践》的过程中，读者不仅要深入理解相关算法理论，更要多思多练。读者在阅读各章节内容后，可基于各章习题巩固知识，并将理论与实践结合，基于torch、tensorflow等深度学习平台在实际任务中演练所学理论知识和技能。本书可作为高等院校计算机或电子信息相关专业的本科生或研究生教材。

第1章 绪论 1 1.1 疫情防控中的应用 3 1.2 自动驾驶中的应用 4 1.3 现代农业中的应用 5 第2章 基础回归模型 6 2.1 线性回归模型 6 2.1.1 一元线性回归 7 2.1.2 多元线性回归 7 2.1.3 多项式回归 9 2.2 参数估计模型 10 2.2.1 *小二乘估计 10 2.2.2 岭回归 12 2.2.3 套索回归 14 2.2.4 弹性回归 15 2.3 梯度下降算法 17 2.3.1 梯度的概念 17 2.3.2 梯度下降法算法 21 2.3.3 梯度下降算法分类 25 2.4 回归模型效果评估 27 2.4.1 平均**误差(MAE) 27 2.4.2 平均**百分比误差 MAPE) 27 2.4.3 均方误差(MSE) 28 2.4.4 均方根误差(RMSE) 28 2.4.5 均方根对数误差(RMSLE) 28 2.4.6 中位数**误差(MedAE) 28 2.4.7 决定系数(R2) 29 习题2 30 第3章 基础分类模型 32 3.1 逻辑回归 32 3.1.1 广义线性模型 32 3.1.2 逻辑回归模型 33 3.1.3 代价函数 35 3.1.4 模型求解 36 3.2 支持向量机 37 3.2.1 线性支持向量机 37 3.2.2 模型参数的求解 40 3.2.3 非线性支持向量机 41 3.3 决策树 43 3.3.1 算法简介 43 3.3.2 决策树的基本构建流程 44 3.3.3 特征选择与不纯性计算 45 3.3.4 C4.5算法 50 3.4 贝叶斯分类 51 3.4.1 相关数学概念 51 3.4.2 贝叶斯决策理论 53 3.4.3 极大似然估计 55 3.4.4 朴素贝叶斯分类器 56 3.4.5 半朴素贝叶斯分类器 58 3.5 分类模型效果评估 60 3.5.1 一级指标 60 3.5.2 二级指标 61 3.5.3 三级指标 62 习题3 64 第4章 人工神经网络基础 65 4.1 人工神经网络基础结构 65 4.1.1 人工神经元 65 4.1.2 单层神经网络 66 4.1.3 多层神经网络 67 4.2 神经网络的向量化表示与主要函数 68 4.2.1 神经网络的向量化表示 68 4.2.2 常用激活函数 69 4.2.3 常见损失函数 72 4.3 正向传播与反向传播 73 4.3.1 正向传播 73 4.3.2 反向传播 74 4.4 深度学习平台简介 77 习题4 80 第5章 人工神经网络优化 81 5.1 人工神经网络的特点和主要 问题 81 5.2 模型优化表征能力提外 方法 82 5.2.1 模型的规模提升与结构选择 82 5.2.2 数据预处理 85 5.2.3 模型参数初始化 86 5.2.4 模型结构优化 89 5.2.5 模型的超参设定 92 5.3 优化算法改进方法 95 5.3.1 指数加权平均 95 5.3.2 基于动量的梯度下降法 96 5.3.3 AdaGrad & RMSprop算法 97 5.3.4 Adam算法 99 5.3.5 近似梯度计算 100 5.4 模型效果评估与泛化能力提外方法 104 5.4.1 训练集、验证集、测试集 划分 104 5.4.2 欠拟合与过拟合 105 5.4.3 正则化 106 5.4.4 丢弃法 107 5.4.5 提前停止法 109 5.4.6 误差分析 110 习题5 110 第6章 卷积神经网络 112 6.1 卷积神经网络基础 112 6.1.1 卷积运算 113 6.1.2 池化操作 116 6.1.3 卷积神经网络构成 116 6.1.4 反向传播 118 6.2 经典的卷积神经网络模型 121 6.2.1 AlexNet 121 6.2.2 VGG网络 124 6.2.3 GoogleNet(Inception) 126 6.2.4 ResNet 128 6.2.5 DenseNet 132 6.2.6 SqueezeNet 134 习题6 135 第7章 循环神经网络 137 7.1 循环神经网络基础 137 7.1.1 循环神经网络的基础结构 137 7.1.2 不同类型的循环神经网络 138 7.1.3 正向传播 140 7.1.4 反向传播 141 7.2 经典的循环神经网络模型 144 7.2.1 LSTM 144 7.2.2 GRU 147 7.2.3 双向循环神经网络 148 7.2.4 多层循环神经网络模型 149 7.2.5 Seq-to-Seq模型 150 习题7 152 第8章 注意力机制及其应用 154 8.1 注意力机制 154 8.1.1 注意力机制模型构建流程 155 8.1.2 多头注意力机制 157 8.2 自注意力模型 157 8.3 Transformer模型 159 8.3.1 编码器 160 8.3.2 解码器 160 8.3.3 多头自注意力 160 8.3.4 位置信息编码 161 8.4 自然语言处理中的注意力 模型 162 8.4.1 自然语言处理背景介绍 162 8.4.2 Word2vec原理与训练 模式 163 8.4.3 ELMo 174 8.4.4 GPT模型 176 8.4.5 Bert模型 179 习题8 180 第9章 图神经网络 181 9.1 图的概述 182 9.1.1 图的基本定义 182 9.1.2 图的基本类型 182 9.1.3 图的存储 184 9.1.4 图的应用 184 9.2 图信号处理 186 9.2.1 图的拉普拉斯矩阵 186 9.2.2 图的傅里叶变换 188 9.3 图卷积网络 190 9.3.1 图卷积网络的演化 191 9.3.2 一般图卷积网络 192 9.4 空间域图神经网络 194 9.4.1 GNN的通用框架 194 9.4.2 GraphSAGE 198 9.4.3 图自注意力网络 199 9.4.4 Graphormer 201 习题9 203 第10章 无监督学习 204 10.1 聚类 205 10.1.1 k-Means聚类 205 10.1.2 k-Means 聚类算法 207 10.2 无监督特征学习 208 10.2.1 主成分分析 208 10.2.2 自编码器 210 10.2.3 生成对抗网络 214 习题10 218 第11章 强化学习 220 11.1 强化学习概述 220 11.1.1 强化学习的理论基础 221 11.1.2 强化学习的分类 223 11.1.3 强化学习的应用 224 11.2 马尔可夫决策过程 225 11.2.1 价值函数 226 11.2.2 *优价值函数求解 228 11.2.3 马尔可夫决策过程实例 229 11.3 模型强化学习 230 11.3.1 策略评估 231 11.3.2 策略改进 232 11.3.3 策略迭代 233 11.4 无模型强化学习 233 11.4.1 蒙特卡罗强化学习 234 11.4.2 时序差分学习 237 11.4.3 价值函数近似 241 11.4.4 深度Q-learning 243 习题11 244 参考文献 246