本书讲解了一个大数据综合项目——招聘网站职位分析。全书共分为6章,内容分别是项目概述、搭建大数据集群环境、数据采集、数据预处理、数据分析与数据可视化。 本书附有配套资源,包括源代码、教学设计、教学课件等资源。同时为了帮助初学者更好地学习本书内容,还提供了在线答疑,欢迎读者关注。 本书适用于高等院校本、专科计算机相关专业大数据项目实训课程的教学,书中的具体项目,有助于读者综合运用大数据课程知识及各种工具软件,实现大数据分析全流程操作。

第1章项目概述1 1.1项目需求和目标1 1.2预备知识2 1.3项目架构设计及技术选取2 1.4开发环境和开发工具介绍3 1.5项目开发流程3 小结5 第2章搭建大数据集群环境6 2.1安装准备6 2.1.1虚拟机安装与克隆6 2.1.2虚拟机网络配置19 2.1.3SSH服务配置25 2.2Hadoop集群搭建31 2.2.1JDK安装31 2.2.2Hadoop安装33 2.2.3Hadoop集群配置35 2.2.4Hadoop集群测试39 2.2.5通过UI界面查看Hadoop 运行状态43 2.3Hive安装44 2.3.1Hive的安装模式44 2.3.2Hive的安装45 2.4Sqoop安装49 小结52 第3章数据采集53 3.1知识概要53 3.1.1数据源分类53 3.1.2HTTP请求过程543.1.3认识HttpClient57 3.2分析与准备57 3.2.1分析网页数据结构57 3.2.2数据采集环境准备59 3.3采集网页数据62 3.3.1创建响应结果JavaBean类62 3.3.2封装HTTP请求的工具类63 3.3.3封装存储在HDFS的工具类68 3.3.4实现网页数据采集70 小结72 目录大数据项目实战第4章数据预处理73 4.1分析预处理数据73 4.2设计数据预处理方案75 4.3实现数据的预处理76 4.3.1数据预处理环境准备76 4.3.2创建数据转换类77 4.3.3创建实现Map任务的Mapper类81 4.3.4创建并执行MapReduce程序83 4.4将数据预处理程序提交到集群中运行84 小结91 第5章数据分析92 5.1数据分析概述92 5.2Hive数据仓库92 5.2.1什么是Hive92 5.2.2设计Hive数据仓库93 5.2.3实现数据仓库95 5.3分析数据99 5.3.1职位区域分析99 5.3.2职位薪资分析100 5.3.3公司福利分析104 5.3.4职位技能要求分析105 小结106 第6章数据可视化107 6.1平台概述107 6.1.1系统介绍107 6.1.2系统架构107 6.2数据迁移108 6.2.1创建关系型数据库108 6.2.2通过Sqoop实现数据迁移110 6.3平台环境搭建112 6.3.1新建Maven项目112 6.3.2配置pom.xml文件114 6.3.3项目组织结构117 6.3.4编辑配置文件117 6.4实现图形化展示功能123 6.4.1实现职位区域分布展示124 6.4.2实现薪资分布展示128 6.4.3实现福利标签词云图132 6.4.4实现技能标签词云图137 6.4.5平台可视化展示141 小结142