本书从概念、思维、存储和处理、分析与应用等方面系统介绍了大数据的相关知识,主要内容包括:大数据的基本概念,大数据思维,大数据采集与获取技术,大数据批处理、流式处理和交互式处理框架,Hadoop?项目结构与技术分布,分布式并行编程MapReduce?模型,Spark?技术架构和基本流程,数据特征工程及数据可视化等内容,通过大数据与人工智能技术助力新冠疫情防控、非法集资预警、大型活动**预警、智慧法院数据融合分析与集成应用等案例,再现场景、数据、数据分析特征选择及分析技术应用的过程,有助于读者对大数据技术、分析及应用有更深刻的体会和了解。本书可作为高等院校计算机、大数据等相关专业的大数据课程导论教材,也可供相关技术人员参考。

第1章 大数据概述1 1.1 数据1 1.1.1 数据的概念1 1.1.2 大数据的概念1 1.2 大数据发展的技术背景2 1.2.1 互联网技术的发展2 1.2.2 存储技术的发展2 1.2.3 计算能力的发展2 1.3 大数据的主要来源3 1.3.1 互联网大数据3 1.3.2 传统行业大数据3 1.3.3 音频、视频和数据4 1.3.4 移动设备的实时记录与跟踪4 1.4 大数据的特征5 1.4.1 规模性5 1.4.2 多样性6 1.4.3 高速性6 1.4.4 价值密度低6 1.5 大数据的应用6 1.5.1 大数据的应用环境6 1.5.2 大数据的应用领域7 1.6 中国的大数据产业链7 1.7 我国大数据的发展态势10 1.8 大数据与数字经济12 第2章 大数据思维14 2.1 大数据的思维特点14 2.1.1 大数据的总体思维14 2.1.2 大数据的非**思维15 2.1.3 大数据的非因果性思维15 2.1.4 以数据为**16 2.1.5 大数据的运营思维16 2.1.6 数据的收集16 2.1.7 数据的分类16 2.2 大数据的应用思维17 2.3 大数据的价值思维19 2.3.1 识别与串联价值19 2.3.2 描述价值19 2.3.3 时间价值19 2.3.4 组合价值19 2.3.5 预测价值20 2.4 大数据的分析思维20 2.5 大数据分析的特点21 第3章 大数据采集与获取技术25 3.1 数据源分布25 3.2 内部数据26 3.2.1 政府内部数据26 3.2.2 各利益主体自营数据26 3.2.3 物联网数据27 3.2.4 互联网数据27 3.3 内部数据获取方法28 3.3.1 内部数据的ETL技术28 3.3.2 常用ETL工具说明30 3.4 外部数据及获取方法32 3.4.1 网络数据源的特性与价值32 3.4.2 网络爬虫33 3.4.3 网络爬虫应用注意事项34 3.5 深网的数据及获取的方法35 3.5.1 深网的含义35 3.5.2 深网数据的特点36 3.5.3 深网数据的获取方法36 第4章 大数据存储与管理技术38 4.1 数据存储的基本概念38 4.1.1 存储容量38 4.1.2 存储性能38 4.1.3 存储可靠性和可用性39 4.1.4 存储成本40 4.2 常用的数据存储介质40 4.2.1 机械硬盘40 4.2.2 固态硬盘41 4.2.3 可记录光盘42 4.2.4 U盘42 4.2.5 闪存卡43 4.2.6 数据存储介质的选择原则43 4.3 数据存储模式43 4.3.1 DAS44 4.3.2 NAS45 4.3.3 SAN46 4.3.4 存储模型选择47 4.4 大数据管理技术47 4.1.1 文件系统47 4.4.2 分布式文件系统48 4.4.3 数据库51 4.4.4 键-值数据库52 4.4.5 分布式数据库53 4.4.6 关系型数据库54 4.4.7 数据仓库55 4.4.8 文档数据库56 4.4.9 图形数据库57 4.4.10 云存储58 第5章 大数据处理技术61 5.1 大数据处理框架分类61 5.1.1 批处理框架61 5.1.2 流式处理框架62 5.1.3 交互式处理框架63 5.2 Hadoop63 5.2.1 Hadoop?项目结构及技术分布64 5.2.2 MapReduce?模型65 5.3 Spark67 5.3.1 技术架构68 5.3.2 基本流程68 5.3.3 Spark?程序运行流程69 第6章 大数据分析技术71 6.1 大数据分析的概念71 6.2 大数据的处理流程71 6.3 大数据分析的方法72 6.4 数据特征工程73 6.4.1 特征构建74 6.4.2 特征选择75 6.4.3 特征提取76 6.5 大数据分析的主要技术76 6.5.1 深度学习76 6.5.2 知识计算80 6.6 数据可视化89 6.6.1 数据可视化分析方法90 6.6.2 可视化分析的常用工具92 6.6.3 数据可视化的应用举例93 第7章 大数据**94 7.1 大数据**概述94 7.1.1 大数据**的意义95 7.1.2 大数据**面临的问题95 7.2 大数据���私保护97 7.2.1 数据保护与保密98 7.2.2 国内隐私保护相关政策法规98 7.3 典型案例100 7.3.1 棱镜门事件100 7.3.2 维基解密101 7.3.3 Facebook?数据滥用事件101 7.3.4 手机应用软件过度采集个人信息102 7.3.5 12306?数据泄露103 7.3.6 免费Wi-Fi?窃取用户信息103 7.3.7 收集个人隐私信息的“探针盒子”104 第8章 大数据与云计算、物联网、人工智能105 8.1 云计算105 8.1.1 云计算的概念105 8.1.2 云计算的特点105 8.1.3 云计算的分类106 8.1.4 云计算的服务模式107 8.1.5 主流的云计算厂商108 8.2 物联网111 8.2.1 物联网的概念111 8.2.2 物联网的核心技术111 8.2.3 物联网的特点112 8.3 人工智能113 8.3.1 人工智能的概念113 8.3.2 人工智能的关键技术114 8.4 大数据与云计算、物联网和人工智能的关系116 第9章 大数据应用118 9.1 大数据与人工智能技术在新冠疫情防控中的应用118 9.1.1 助力新型冠状病毒疫情防控的进展118 9.1.2 助力新型冠状病毒智能**诊断服务119 9.1.3 助力新型冠状病毒疫苗研发和**筛选120 9.1.4 助力抗疫资源的生产组织与调度120 9.1.5 助力新型冠状病毒疫情溯源与监测预警121 9.2 大数据用于非法集资预警122 9.2.1 挑战123 9.2.2 实施过程/解决方案123 9.2.3 效果总结126 9.3 大数据在大型活动**预警中的应用126 9.3.1 问题分析127 9.3.2 总体架构127 9.3.3 核心技术129 9.3.4 实际应用130 9.4 ?“智慧法院”数据融合分析与集成应用130 9.4.1 应用背景130 9.4.2 ?“智慧法院”数据融合分析及集成应用示范平台架构131 9.4.3 共性关键技术133 9.4.4 应用案例135 参考文献138