本书主要根据作者近几年在清华大学面向研究生和本科生开设的“数据挖掘:方法与应用”课程的教学实践与积累,参考近几年国外**大学相关课程的教学体系编写而成。本书系统地介绍数据挖掘的基本概念和基本原理方法;结合一些典型的应用实例展示用数据挖掘的思维方法求解问题的一般性模式与思路。 本书可作为有一定数据结构、数据库和程序设计基础的研究生或本科生开展数据挖掘知识学习和研究的入门性教材与参考读物。

第1章绪论1 1.1应用背景1 1.1.1商业上的驱动2 1.1.2科学研究上的驱动2 1.1.3数据挖掘伴随着数据库数据库技术而出现2 1.2什么是数据挖掘3 1.2.1基本描述3 1.2.2知识发现知识发现4 1.3数据挖掘的主要技术5 1.4数据挖掘的主要研究内容7 1.5数据挖掘面临的主要问题10 1.6数据挖掘相关的资料11 1.7本书的总体章节安排12 1.8小结13 参考文献13 第2章数据获取15 2.1引言15 2.2背景介绍15 2.3数据采集17 2.3.1数据发现17 2.3.2数据增强18 2.3.3数据生成18 2.4数据标注19 2.4.1利用现有标签19 2.4.2基于众包技术19 2.4.3使用弱监督学习的方法20 2.5提升已有数据和模型20 2.5.1提升已有数据20 2.5.2提升已有模型21 2.6技术选择指南21 2.7小结21 参考文献21 第3章数据预处理23 3.1引言23 3.2数据预处理的基本概念23 3.2.1数据的基本概念23 3.2.2为什么要进行数据预处理26 3.2.3数据预处理的任务27 3.3数据的描述27 3.3.1描述数据的**趋势28 3.3.2描述数据的分散程度30 3.3.3描述数据的其他方式31 3.4数据清洗33 3.4.1数据缺失的处理33 3.4.2数据清洗34 3.5数据集成和转换36 3.5.1数据集成36 3.5.2数据冗余36 3.5.3数据转换38 3.6数据归约和变换39 3.6.1数据归约39 3.6.2数据离散化42 3.6.3概念层次生成43 3.7小结44 参考文献45 第4章数据仓库46 4.1引言46 4.2数据库基本概念回顾46 4.2.1数据库简介47 4.2.2表、记录和域47 4.2.3数据库管理系统47 4.3数据仓库简介48 4.3.1数据仓库特点48 4.3.2数据仓库概念49 4.3.3数据仓库作用50 4.3.4数据仓库与DBMS对比50 4.3.5分离数据仓库的原因51 4.4多维数据模型52 4.4.1数据立方体52 4.4.2概念模型54 4.4.3概念分层概念分层57 4.4.4典型OLAP操作58 4.4.5星型网络的查询模型60 4.5数据仓库结构61 4.5.1数据仓库设计61 4.5.2多层体系结构63 4.6数据仓库的功能64 4.6.1数据立方体的有效计算64 4.6.2索引OLAP数据69 4.6.3OLAP查询的有效处理70 4.7从数据仓库到数据挖掘70 4.7.1数据仓库应用70 4.7.2从OLAP到OLAM71 4.8小结73 参考文献73 第5章相关性与关联规则75 5.1基本概念75 5.1.1潜在的应用75 5.1.2购物篮问题购物篮问题76 5.1.3频繁模式分析、闭项集和关联规则76 5.2频繁项集挖掘方法78 5.2.1Apriori算法78 5.2.2由频繁项集产生关联规则80 5.2.3提高Apriori的效率81 5.2.4挖掘频繁项集的模式增长方法82 5.3多种关联规则挖掘关联规则挖掘84 5.3.1挖掘多层关联规则84 5.3.2挖掘多维关联规则86 5.3.3挖掘量化关联规则87 5.4从关联分析到相关分析相关分析88 5.4.1相关分析89 5.4.2强规则不一定是有价值的89 5.4.3挖掘高度关联的模式90 5.5基于约束的频繁模式挖掘91 5.5.1关联规则的元规则制导挖掘91 5.5.2基于约束的模式生成: 模式空间剪枝和数据空间剪枝92 5.6小结94 参考文献94 第6章分类和预测100 6.1引言100 6.2基本概念100 6.2.1什么是分类100 6.2.2什么是预测102 6.3关于分类和预测的问题102 6.3.1准备分类和预测的数据102 6.3.2评价分类和预测方法102 6.4决策树决策树分类103 6.4.1决策树归纳104 6.4.2属性选择度量104 6.4.3提取分类规则107 6.4.4基本决策树归纳的增强108 6.4.5在大数据集中的分类108 6.5贝叶斯分类108 6.5.1贝叶斯定理109 6.5.2朴素贝叶斯分类朴素贝叶斯分类109 6.5.3贝叶斯信念网络贝叶斯信念网络111 6.5.4贝叶斯网络学习112 6.6神经网络113 6.6.1神经网络神经网络简介114 6.6.2多层神经网络114 6.6.3神经网络训练115 6.6.4后向传播115 6.6.5网络剪枝和规则抽取117 6.7支持向量机118 6.7.1数据线性可分的情况118 6.7.2数据线性不可分的情况120 6.7.3支持向量机和神经网络的对比122 6.8关 联 分 类关联分类122 6.8.1为什么有效123 6.8.2常见关联分类算法123 6.9分类准确率123 6.9.1估计错误率124 6.9.2装袋装袋和提升提升124 6.10小结126 参考文献126 第7章深度学习129 7.1引言129 7.2卷积神经网络129 7.2.1卷积运算129 7.2.2卷积层130 7.2.3池化层132 7.2.4典型结构及其应用133 7.3循环神经网络134 7.3.1循环神经网络135 7.3.2长短期记忆神经网络135 7.3.3门控循环单元网络136 7.3.4双向循环神经网络137 7.3.5典型结构及其应用138 7.4常用的深度学习框架139 7.5小结139 参考文献139 第8章聚类分析141 8.1聚类分析的定义和数据类型141 8.1.1聚类的定义141 8.1.2聚类分析和主要应用142 8.1.3聚类分析方法的性能指标143 8.1.4聚类分析使用的数据类型143 8.2聚类分析方法分类与相似性质量145 8.2.1聚类分析方法分类145 8.2.2连续变量的距离与相似性度量146 8.2.3二元变量与标称变量的相似性度量148 8.2.4序数和比例标度变量的相似性度量149 8.2.5混合类型变量的相似性度量149 8.3基于分割的聚类150 8.4基于层次的聚类153 8.5基于密度的聚类157 8.6基于网格的聚类158 8.7基于模型的聚类159 8.8离群点离群点检测离群点检测160 8.9小结161 参考文献161 第9章数据可视化163 9.1引言163 9.2数据可视化的参考模型163 9.3数据可视化的基本准则164 9.3.1正确性164 9.3.2**性165 9.3.3可观性166 9.44类典型数据的可视化166 9.4.1统计数据可视化166 9.4.2文本数据可视化167 9.4.3网络关系数据可视化168 9.4.4时空数据可视化170 9.5小结170 参考文献171 第10章数据挖掘应用172 10.1引言172 10.2应用研发思路173 10.3预处理方法173 10.3.1基础数据说明173 10.3.2数字化方法说明173 10.3.3深入一步的预处理方法175 10.3.4基本数据分布情况说明177 10.3.5初步分析结果178 10.3.6小结181 10.4特征提取方法181 10.4.18种特征提取方法181 10.4.2特征总体排名策略182 10.4.3终关键特征183 10.4.4特征提取与分析结论187 10.4.5小结188 10.5皮肤特征预测模型188 10.5.1预测方法回顾189 10.5.2预测结果分析与结论190 10.5.3小结200 10.6小结201 参考文献202 附录203 附录A插图索引203 附录B表格索引205 附录C算法索引207 附录D关键词索引207