本书介绍了数据工程生命周期，并展示如何组合运用各种云技术来满足下游数据消费者的需求。本书分为三部分：**部分介绍了数据工程的定义、数据工程的生命周期、合理的架构设计和帮助技术选型的框架；第二部分深入介绍了数据工程生命周期的每个阶段——数据生成、存储、获取、转换和服务；第三部分讨论了数据工程的重要部分——**和隐私。附录还介绍了与处理数据文件和评估数据系统的性能有关的序列化和压缩，以及云网络。本书适合软件工程师、数据科学家、数据工程师和数据分析师等相关技术人员阅读。

前言1 **部分 基础和构建块7 第1章 数据工程概述9 1.1 什么是数据工程9 1.2 数据工程技能和活动18 1.3 组织内部的数据工程师26 1.4 总结34 1.5 补充资料34 第2章 数据工程生命周期36 2.1 什么是数据工程生命周期36 2.2 数据工程生命周期中的主要底层设计49 2.3 总结66 2.4 补充资料67 第3章 设计好的数据架构68 3.1 什么是数据架构68 3.2 好的数据架构的原则73 3.3 主要架构概念81 3.4 数据架构的示例和类型91 3.5 谁参与了数据架构的设计102 3.6 总结102 3.7 补充资料103 第4章 根据数据生命周期选择技术107 4.1 团队大小和能力108 4.2 加速市场化109 4.3 互操作性109 4.4 成本优化和商业价值110 4.5 现在与未来：不变的与暂时的技术112 4.6 部署位置114 4.7 构建与购买122 4.8 单体与模块化128 4.9 无服务器与服务器131 4.10 优化、性能和基准战争135 4.11 底层设计及其对技术选择的影响137 4.12 总结139 4.13 补充资料139 第二部分 深入数据工程生命周期141 第5章 源系统中的数据生成143 5.1 数据源：数据是如何生成的？144 5.2 源系统：主要观点144 5.3 源系统实际细节152 5.4 你和谁一起工作166 5.5 数据底层设计及其对源系统的影响167 5.6 总结171 5.7 补充资料172 第6章 存储173 6.1 数据存储的原材料174 6.2 数据存储系统180 6.3 数据工程存储抽象195 6.4 存储的重要思想和趋势198 6.5 你和谁一起工作206 6.6 底层设计207 6.7 总结209 6.8 补充资料209 第7章 获取210 7.1 什么是数据获取210 7.2 数据获取阶段的关键工程考虑因素212 7.3 批量获取的考虑因素220 7.4 消息和流获取的考虑因素223 7.5 获取数据的方式225 7.6 你和谁一起工作236 7.7 底层设计237 7.8 总结241 7.9 补充资料242 第8章 查询、建模和转换243 8.1 查询244 8.2 数据建模257 8.3 转换276 8.4 你和谁一起工作293 8.5 底层设计294 8.6 总结298 8.7 补充资料298 第9章 为分析、机器学习和反向ETL提供数据服务300 9.1 提供数据服务的常见关注点301 9.2 分析306 9.3 机器学习310 9.4 数据工程师需要理解的机器学习知识310 9.5 为分析和机器学习提供数据服务的方法312 9.6 反向ETL318 9.7 你和谁一起工作319 9.8 底层设计320 9.9 总结324 9.10 补充资料324 第三部分 **、隐私和数据工程的未来327 第10章 **和隐私329 10.1 人员330 10.2 流程330 10.3 技术333 10.4 总结336 10.5 补充资料336 第11章 数据工程的未来337 11.1 常青的数据工程生命周期337 11.2 复杂性的下降和易用���数据工具的兴起338 11.3 云数据操作系统及其高互通性339 11.4 “企业级”数据工程340 11.5 数据工程师的头衔和职责将发生的变化341 11.6 超越现代数据栈，迈向实时数据栈341 11.7 总结345 附录A 序列化和压缩技术的细节347 附录B 云网络353