本书介绍利用Python进行大数据处理与分析的详细方法和步骤。全书共9章,主要内容包括搭建开发环境、Numpy库、Pandas库、Matplotlib库、数据预处理以及多个案例分析。本书注重理论紧密联系实际,使读者可以系统、全面地了解Python大数据处理与分析的实用技术和方法。 本书可作为高等院校Python大数据处理与分析相关课程的教材,也可以作为计算机相关专业的专业课或选修课教材,同时还可以作为从事Python与大数据技术相关工作人员的参考用书。

第 一部分 基础篇 第 1章 搭建开发环境 2 1.1 Python解释器的安装 2 1.1.1 在Windows系统下安装Python解释器 2 1.1.2 在Linux系统下安装Python解释器 6 1.1.3 在macOS系统下安装Python解释器 10 1.1.4 运行第 一个hello world程序 12 1.2 Anaconda的安装及环境变量配置 12 1.2.1 Anaconda简介 12 1.2.2 安装Anaconda 14 1.2.3 配置Anaconda环境变量 16 1.3 Jupyter Notebook与PyCharm的安装及工程环境设置 17 1.3.1 Jupyter Notebook的简介与安装 18 1.3.2 设置Jupyter Notebook工程环境 19 1.3.3 PyCharm的简介与安装 23 1.3.4 设置PyCharm工程环境 25 习题 28 第 2章 使用NumPy进行数据 计算 29 2.1 安装NumPy 29 2.2 NumPy中的数组对象 30 2.2.1 数组对象的创建 31 2.2.2 数组对象的常用属性 34 2.2.3 数组元素的访问与修改 36 2.2.4 数组对象的基础运算 37 2.2.5 数组对象的常用函数 38 2.3 使用NumPy进行数学运算 42 2.3.1 位运算函数 42 2.3.2 数学函数 44 2.3.3 算术函数 45 2.3.4 统计函数 47 2.3.5 线性代数函数 49 2.4 NumPy使用案例 52 习题 53 第3章 使用pandas进行数据分析 54 3.1 安装pandas 54 3.2 pandas中的对象 55 3.2.1 Series对象 56 3.2.2 DataFrame对象 57 3.3 pandas的基本操作 58 3.3.1 导入与导出数据 59 3.3.2 数据的查看与检查 60 3.3.3 数据的增删查改 62 3.4 pandas的基���运用 64 3.4.1 数据统计 64 3.4.2 算术运算与数据对齐 66 3.5 pandas使用案例 68 习题 70 第4章 Matplotlib数据 可视化 71 4.1 安装Matplotlib与绘图基本步骤 71 4.1.1 安装Matplotlib 71 4.1.2 Matplotlib绘图基本步骤 72 4.2 经典图形绘制 74 4.2.1 折线图 74 4.2.2 柱状图 77 4.2.3 直方图 80 4.2.4 散点图 82 4.2.5 等值线图及地理信息可视化 86 4.3 图表调整及美化 92 4.3.1 图表主要组成元素调整 92 4.3.2 颜色参数及映射表 97 4.4 Matplotlib使用案例 98 习题 102 第5章 数据预处理 103 5.1 数据清洗与准备 103 5.1.1 数据清洗准备 103 5.1.2 数据清洗 104 5.2 正则表达式 108 5.2.1 正则表达式的特点与组成 108 5.2.2 字符串方法 109 5.2.3 re模块 113 5.3 数据规整 117 5.3.1 聚合、分组及数据透视 117 5.3.2 特征选择(降维) 120 5.3.3 数据变换与数据规约 122 5.3.4 稀疏表示和字典学习 124 习题 126 第二部分 实例篇 第6章 基于大数据的房产估价 128 6.1 情景问题提出及分析 128 6.2 多元回归模型介绍 128 6.3 方法与过程 129 6.3.1 读入数据并进行数据预处理 130 6.3.2 将预处理好的数据可视化 141 6.3.3 使用多元回归模型进行房产估价 146 6.3.4 模型效果评价 148 上机实验 151 第7章 某移动公司客户价值分析 152 7.1 情景问题提出及分析 152 7.2 K-Means聚类算法简介 153 7.3 客户价值分析过程 155 7.3.1 读入数据并进行数据预处理 156 7.3.2 数据标准化 165 7.3.3 使用K-Means聚类算法对客户进行分析 167 7.3.4 数据可视化及数据分析 172 上机实验 178 第8章 基于历史数据的气温及降水预测 179 8.1 情景问题提出及分析 179 8.2 常见的时间序列模型简介 180 8.2.1 AR模型 180 8.2.2 MA模型 181 8.2.3 ARMA模型 181 8.2.4 ARIMA模型 182 8.2.5 模型求解步骤 183 8.3 平稳序列建模示例(降水预测) 186 8.3.1 读入数据并进行预处理 186 8.3.2 时间序列的平稳性分析 190 8.3.3 模型选择及定阶 191 8.3.4 建立时序模型并预测 193 8.4 非平稳序列建模示例(气温预测) 195 8.4.1 读入数据并进行预处理 195 8.4.2 时间序列的平稳性分析 197 8.4.3 模型选择及定阶 198 8.4.4 建立时序模型并预测 200 上机实验 202 第9章 智能电网的电能预估及价值分析 203 9.1 情景问题提出及分析 203 9.2 决策树算法简介 203 9.2.1 ID3算法 205 9.2.2 C4.5算法 207 9.2.3 CART算法 208 9.2.4 预剪枝与后剪枝 208 9.2.5 连续值处理 209 9.3 方法与过程 211 9.3.1 读入数据并预处理 211 9.3.2 模型构建 218 9.3.3 模型效果评价 221 上机实验 221 参考文献 223