本书全面系统地讲解了机器学习的理论与方法，内容主要包括高斯混合模型和EM算法、主题模型、非参数贝叶斯模型、聚类分析、图模型、支持向量机、矩阵分解、深度学习及强化学习。本书旨在使读者了解机器学习的发展，理解和掌握它的基本原理、方法与主要应用。本书内容丰富，着重机器学习理论的推导与证明，并通过实例进行方法的分析与比较。同时，本书强调机器学习的系统性、完整性和时效性，可读性强。

第1章绪论 1.1机器学习的定义 1.2机器学习的发展历史 1.3机器学习的分类 1.3.1基于学习系统的反馈分类 1.3.2基于所获取知识的表示形式分类 1.3.3按应用领域分类 1.3.4综合分类 1.4性能度量 1.4.1数据集 1.4.2误差 1.4.3过拟合与欠拟合 1.4.4评估方法 1.4.5性能度量指标 1.5本章小结 第2章EM算法和高斯模型 2.1EM算法 2.1.1极大似然估计 2.1.2EM算法的引入 2.1.3EM算法的推导 2.1.4EM算法的步骤 2.1.5EM算法的收敛性 2.2高斯模型 2.2.1单高斯模型 2.2.2高斯混合模型 2.2.3GMM参数估计 2.3本章小结 第3章主题模型 3.1传统的主题模型 3.1.1VSM模型 3.1.2LSI模型 3.2概率主题模型 3.2.1LDA主题模型 3.2.2HDP-LDA主题模型 3.3具有zipf定律性质的主题模型 3.3.1PY过程 3.3.2PHTM主题模型 3.4PHTM推理算法 3.4.1算法描述 3.4.2实验 3.5本章小结 第4章抽样与非参数贝叶斯方法 4.1单个随机变量抽样 4.1.1通过逆累积分布函数抽样 4.1.2拒绝抽样（Rejection Sampling） 4.1.3重要性抽样（Importance Sampling） 4.2序列随机变量抽样与马尔可夫链蒙特卡洛 4.2.1MH算法 4.2.2吉布斯抽样 4.2.3切片抽样（Slice Sampling） 4.3非参数贝叶斯模型与狄利克雷过程 4.3.1非参数贝叶斯模型 4.3.2狄利克雷过程 4.4狄利克雷过程的构造方式 4.4.1波利亚坛子过程 4.4.2折棍子过程 4.4.3中餐馆过程 4.5本章小结 第5章聚类分析 5.1数据相似性度量 5.2经典聚类算法 5.2.1划分算法 5.2.2层次聚类算法 5.2.3基于密度的聚类算法 5.2.4基于网格的聚类算法 5.2.5基于模型的聚类算法 5.3K均值算法、K**点算法及其改进算法 5.3.1K均值算法 5.3.2K**点算法 5.3.3核K均值算法 5.3.4EM聚类 5.3.5基于随机搜索应用于大型应用的聚类算法CLARANS 5.4谱聚类 5.4.1相似图 5.4.2拉普拉斯矩阵 5.4.3谱聚类算法 5.5基于约束的聚类 5.5.1含有障碍物的对象聚类 5.5.2用户约束的聚类分析 5.5.3半监督聚类分析 5.6在线聚类 5.7聚类与降维 5.8本章小结 第6章支持向量机 6.1统计学习理论 6.1.1经验风险*小化 6.1.2VC维 6.1.3结构风险*小化 6.2支持向量机的基本原理 6.3支持向量机分类器 6.3.1线性支持向量机分类器 6.3.2非线性可分的支持向量机分类器 6.3.3一类分类 6.3.4多类分类 6.4核函数 6.4.1核函数的定义 6.4.2核函数的构造 6.4.3几种常用的核函数 6.5支持向量回归机 6.6支持向量机的应用实例 6.6.1图像分类 6.6.2其他应用 6.7本章小结 第7章概率无向图模型 7.1概率无向图模型概述 7.2逻辑斯谛回归模型 7.2.1逻辑斯谛函数与分布 7.2.2极大似然估计模型参数 7.3*大熵模型 7.3.1*大熵原理 7.3.2*大熵模型概述 7.4条件随机场 7.4.1模型 7.4.2条件随机场的关键问题 7.5本章小结 第8章概率有向图模型 8.1概率有向图模型概述 8.2贝叶斯网络 8.2.1贝叶斯定理 8.2.2有向分离 8.2.3贝叶斯网络构造 8.2.4贝叶斯网络学习 8.3隐马尔可夫模型 8.3.1隐马尔可夫模型描述 8.3.2隐马尔可夫模型的三个基本问题 8.4本章小结 第9章矩阵与张量分解 9.1等值与低轶矩阵分解 9.2非负矩阵分解 9.3矩阵分解与**系统 9.4张量分解 9.5非负张量分解 9.6本章小结 第10章多层感知机 10.1感知机 10.2多层感知机概述 10.2.1误差反传算法 10.2.2多层感知机的优势和局限性 10.2.3BP算法的��进 10.3本章小结 第11章卷积神经网络 11.1卷积神经网络的生物学基础 11.2卷积神经网络的结构元件 11.2.1卷积层 11.2.2池化层 11.2.3激活层 11.2.4全连接层 11.3典型的卷积神经网络 11.3.1AlexNet 11.3.2VGG 11.3.3GoogLeNet 11.3.4ResNet 11.3.5DenseNet 11.4卷积神经网络的训练技巧 11.4.1批归一化 11.4.2随机失活 11.5本章小结 第12章循环神经网络 12.1循环神经网络结构 12.2循环神经网络的训练 12.2.1损失函数 12.2.2时间反向传播算法 12.2.3梯度消失与梯度爆炸 12.3双向循环神经网络与深度循环神经网络 12.4长短期记忆网络 12.4.1LSTM记忆单元 12.4.2LSTM 记忆方式 12.5门控循环单元 12.6本章小结 第13章强化学习 13.1强化学习模型及基本要素 13.1.1强化学习模型 13.1.2强化学习基本要素 13.2马尔可夫决策过程 13.2.1马尔可夫过程 13.2.2马尔可夫决策过程概述 13.3部分可观测的马尔可夫决策过程 13.4模型已知的强化学习 13.4.1线性规划 13.4.2策略迭代 13.4.3值迭代 13.4.4广义策略迭代 13.5模型未知的强化学习 13.5.1蒙特卡洛方法 13.5.2时间差分法 13.5.3Q学习与SARSA学习 13.5.4Actor-Critic学习 13.6基于逼近方法的强化学习 13.6.1值函数逼近的TD学习 13.6.2近似值迭代方法 13.6.3近似策略迭代 13.7深度强化学习 13.7.1深度Q学习（Deep Q-learning） 13.7.2深度双Q学习 13.7.3异步深度Q学习 13.7.4其他深度强化学习 13.8本章小结 参考文献