本书是清华大学自动化系**精品课程“模式识别基础”的教材,是在《模式识别》**版和第二版基础上重写而成的。本教材系统地讨论了模式识别的基本概念和代表性方法,包括监督模式识别中的贝叶斯决策理论、概率密度函数的估计、线性判别函数、非线性判别函数、近邻法、特征选择与提取的典型方法以及非监督模式识别中的基于模型的方法、混合密度估计、动态聚类方法、分级聚类方法等,并在相应章节包括了人工神经网络、支持向量机、决策树与随机森林、罗杰斯特回归、Boosting方法、模糊模式识别等较新进入模式识别领域的内容。整体内容安排力求系统性和实用性,并覆盖部分当前研究前沿。
本书可以作为高等院校自动化、计算机等相关专业高年级本科生和研究生学习模式识别的教材,也可以供计算机信息处理、生物信息学、数据挖掘、统计等各领域中从事模式识别相关工作的广大科技人员和高校师生参考。

第1章 概论
1.1 模式与模式识别
1.2 模式识别的主要方法
1.3 监督模式识别与非监督模式识别
1.4 模式识别系统举例
1.5 模式识别系统的典型构成
1.6 本书的主要内容
第2章 统计决策方法
2.1 引言: 一个简单的例子
2.2 *小错误率贝叶斯决策
2.3 *小风险贝叶斯决策
2.4 两类错误率、Neyman?Pearson决策与ROC曲线
2.5 正态分布时的统计决策
2.5.1 正态分布及其性质回顾
2.5.2 正态分布概率模型下的*小错误率贝叶斯决策
2.6 错误率的计算
2.6.1 正态分布且各类协方差矩阵相等情况下错误率的计算
2.6.2 高维独立随机变量时错误率的估计
2.7 离散概率模型下的统计决策举例
2.8 小结与讨论
第3章 概率密度函数的估计
3.1 引言
3.2 *大似然估计
3.2.1 *大似然估计的基本原理
3.2.2 *大似然估计的求解
3.2.3 正态分布下的*大似然估计
3.3 贝叶斯估计与贝叶斯学习
3.3.1 贝叶斯估计
3.3.2 贝叶斯学习
3.3.3 正态分布时的贝叶斯估计
3.3.4 其他分布的情况
3.4 概率密度估计的非参数方法
3.4.1 非参数估计的基本原理与直方图方法
3.4.2 kN近邻估计方法
3.4.3 Parzen窗法
3.5 讨论
第4章 线性分类器
4.1 引言
4.2 线性判别函数的基本概念
4.3 Fisher线性判别分析
4.4 感知器
4.5 *小平方误差判别
4.6 *优分类超平面与线性支持向量机
4.6.1 *优分类超平面
4.6.2 大间隔与推广能力
4.6.3 线性不可分情况
4.7 多类线性分类器
4.7.1 多个两类分类器的组合
4.7.2 多类线性判别函数
4.8 小结与讨论
第5章 非线性分类器
5.1 引言
5.2 分段线性判别函数
5.2.1 分段线性距离分类器
5.2.2 一般的分段线性判别函数
5.3 二次判别函数
5.4 多层感知器神经网络
5.4.1 神经元与感知器
5.4.2 用多个感知器实现非线性分类
5.4.3 采用反向传播算法的多层感知器
5.4.4 多层感知器网络用于模式识别
5.4.5 神经网络结构的选择
5.4.6 前馈神经网络与传统模式识别方法的关系
5.4.7 人工神经网络的一般知识
5.5 支持向量机
5.5.1 广义线性判别函数
5.5.2 核函数变换与支持向量机
5.5.3 支持向量机应用举例
5.5.4 支持向量机的实现算法
5.5.5 多类支持向量机
5.5.6 用于函数拟合的支持向量机
5.6 核函数机器
5.6.1 大间隔机器与核函数机器
5.6.2 核Fisher判别
5.7 小结与讨论
第6章 其他分类方法
6.1 近邻法
6.1.1 *近邻法
6.1.2 k-近邻法
6.1.3 近邻法的快速算法
6.1.4 剪辑近邻法
6.1.5 压缩近邻法
6.2 决策树与随机森林
6.2.1 非数值特征
6.2.2 决策树
6.2.3 过学习与决策树的剪枝
6.2.4 随机森林
6.3 罗杰斯特回归
6.4 Boosting方法
6.5 讨论
第7章 特征选择
7.1 引言
7.2 特征的评价准则
7.2.1 基于类内类间距离的可分性判据
7.2.2 基于概率分布的可分性判据
7.2.3 基于熵的可分性判据
7.2.4 利用统计检验作为可分性判据
7.3 特征选择的*优算法
7.4 特征选择的次优算法
7.5 特征选择的遗传算法
7.6 以分类性能为准则的特征选择方法
7.7 讨论
第8章 特征提取
8.1 引言
8.2 基于类别可分性判据的特征提取
8.3 主成分分析方法
8.4 Karhunen?Loève变换
8.4.1 K-L变换的基本原理
8.4.2 用于监督模式识别的K-L变换
8.5 K-L变换在人脸识别中的应用举例
8.6 高维数据的低维显示
8.7 多维尺度法
8.7.1 MDS的基本概念
8.7.2 古典尺度法
8.7.3 度量型MDS
8.7.4 非度量型MDS
8.7.5 MDS在模式识别中的应用
8.8 非线性变换方法简介
8.8.1 核主成分分析(KPCA)
8.8.2 IsoMap方法和LLE方法
8.9 讨论
第9章 非监督模式识别
9.1 引言
9.2 基于模型的方法
9.3 混合模型的估计
9.3.1 非监督*大似然估计
9.3.2 正态分布情况下的非监督参数估计
9.4 动态聚类算法
9.4.1 C均值算法
9.4.2 ISODATA方法
9.4.3 基于样本与核的相似性度量的动态聚类算法
9.5 模糊聚类方法
9.5.1 模糊集的基本知识
9.5.2 模糊C均值算法
9.5.3 改进的模糊C均值算法
9.6 分级聚类方法
9.7 自组织映射神经网络
9.7.1 SOM网络结构
9.7.2 SOM学习算法和自组织特性
9.7.3 SOM用于模式识别
9.8 讨论
第10章 模式识别系统的评价
10.1 监督模式识别方法的错误率估计
10.1.1 训练错误率
10.1.2 测试错误率
10.1.3 交叉验证
10.1.4 自举法与.632估计
10.2 有限样本下错误率的区间估计问题
10.2.1 问题的提出
10.2.2 用扰动重采样估计SVM错误率的置信区间
10.3 特征提取与选择对分类器性能估计的影响
10.4 从分类的显著性推断特征与类别的关系
10.5 非监督模式识别系统性能的评价
10.6 讨论
索引
参考文献

张学工,1994年于清华大学模式识别与智能系统专业获工学博士学位,现任清华大学自动化系教授。主要从事机器学习的理论、方法与应用研究和生物信息学研究。