本书以当前稳定版 HBase 2.4.9 为基础,将 Hadoop 升级到 2.10.1 版本,并对客户端 API 进行升级。本书以精练的语言介绍 HBase 的基础知识,让初学者能够快速上手使用 HBase;深入分析 HBase 的核心思想(如数据读取和数据备份等)和 HBase 架构(如 B+树、LSM 树和 WAL 等),专注于 HBase 在线实时系统的调优,使 HBase 集群响应延迟更低,让有经验的 HBase 开发人员能循序渐进地理解 HBase 源代码,更好地调试和解决各种实际问题;本书从企业常见的“用户行为日志管理系统”着手,结合 HBase 的实际应用场景,让读者快速上手,真正做到从入门到实践。 本书非常适合作为有一定 Java 基础的开发人员的 HBase 入门教程,也适合作为HBase 运维人员部署和监控 HBase 的参考手册,还适合作为将 HBase 应用到在线生产环境中的开发人员进行 HBase 在线集群性能调优的技术指南。

目 录 第 1 章 HBase 简介 1 1 1 背景 1 1 2 NoSQL 与传统 RDBMS 2 1 3 应用场景 3 1 3 1 Facebook 用户交互 3 1 3 2 淘宝 TLog 3 1 3 3 小米云服务 4 1 3 4 用户行为数据存储 4 第 2 章 HBase 安装 5 2 1 单机部署 5 2 1 1 前置条件 5 2 1 2 下载 HBase 6 2 1 3 配置 HBase 6 2 1 4 启动 HBase 7 2 1 5 HBase 初体验 7 2 2 分布式部署 8 2 2 1 环境准备 9 2 2 2 ZooKeeper 安装 11 2 2 3 Hadoop 安装 12 2 2 4 HBase 安装 23 2 2 5 启动集群 28 2 3 集群增删节点 29 2 3 1 增加节点 29 2 3 2 删除节点 30 第 3 章 HBase 的数据模型 33 3 1 逻辑模型 33 3 2 物理模型 35 第 4 章 HBase Shell 39 4 1 数据定义语言 39 4 1 1 创建表 39 4 1 2 查看所有表 40 4 1 3 查看已创建的表 40 4 1 4 修改表 41 4 2 数据操纵语言 41 4 2 1 put 命令 41 4 2 2 get 命令 42 4 2 3 scan 命令 43 4 2 4 delete 命令、deleteall 命令和 truncate 命令 45 4 3 其他常用的 Shell 命令 46 4 3 1 复制状态查看 46 4 3 2 分区拆分 47 4 3 3 分区大合��� 47 4 3 4 负载均衡开关 47 4 3 5 分区手动迁移 47 4 3 6 HBase 运行 Ruby 脚本 48 第 5 章 模式设计 49 5 1 行键设计 50 5 2 规避热点区间 52 5 3 高表与宽表 54 5 4 微信朋友圈设计 55 5 4 1 需求定义 55 5 4 2 问题建模 55 第 6 章 客户端 API 61 6 1 Java 客户端使用 61 6 2 数据定义语言 64 6 2 1 表管理 64 6 2 2 分区管理 67 6 3 数据操纵语言 69 6 3 1 Put 操作 69 6 3 2 Get 操作 72 6 3 3 Scan 操作 74 6 3 4 Delete 操作 77 6 3 5 Increment 操作 79 6 4 过滤器 82 6 4 1 过滤器简介 82 6 4 2 过滤器使用 83 6 5 事务 101 6 5 1 原子性 102 6 5 2 隔离性 102 第 7 章 架构实现 109 7 1 存储 109 7 1 1 B+树 109 7 1 2 LSM 树 110 7 1 3 预写入日志 111 7 2 数据写入与读取 114 7 2 1 定位分区服务器 114 7 2 2 数据修改流程 116 7 2 3 数据查询流程 119 7 3 合并策略 121 7 3 1 StripeCompaction 策略 121 7 3 2 DateTieredCompaction 策略 121 7 3 3 RatioBasedCompaction 策略 121 7 3 4 ExploringCompaction 策略 123 7 3 5 FIFOCompaction 策略 124 第 8 章 协处理器 125 8 1 观察者类型协处理器 125 8 2 端点类型协处理器 129 8 3 加载/卸载协处理器 133 8 3 1 静态加载/卸载 133 8 3 2 动态加载/卸载 134 第 9 章 HBase 性能调优 141 9 1 客户端调优 141 9 1 1 设置客户端写入缓存 141 9 1 2 设置合适的扫描缓存 143 9 1 3 跳过 WAL 写入 143 9 1 4 设置重试次数与间隔 143 9 1 5 选用合适的过滤器 144 9 2 服务器端调优 144 9 2 1 创建表语句的优化 145 9 2 2 禁止分区自动拆分与合并 148 9 2 3 开启机柜感知 150 9 2 4 开启短路本地读 152 9 2 5 开启补偿重试读 152 9 2 6 JVM 内存调优 153 第 10 章 集群间数据复制 161 10 1 复制 162 10 1 1 集群拓扑 163 10 1 2 配置集群复制 163 10 1 3 验证复制数据 166 10 1 4 复制详解 168 10 2 快照 173 10 2 1 配置快照 173 10 2 2 管理快照 173 10 3 导出和导入 175 10 3 1 导出 176 10 3 2 导入 177 10 4 复制表 178 第 11 章 监控 181 11 1 Hadoop 监控 181 11 1 1 Web 监控页面 182 11 1 2 JMX 监控接口 184 11 2 HBase 监控 187 11 2 1 Web 监控页面 187 11 2 2 JMX 监控接口 189 11 2 3 客户端 API 监控 191 附录 A 常见问题 193 A 1 垃圾回收超时导致分区服务器宕机 193 A 2 Scanner 租期过期 196 A 3 分区迁移异常 197 A 4 Windows 运行 HBase 程序缺少winutil exe 200 A 5 误删表数据 201 A 6 RIT 时间过长导致不同分区行键数据有重叠 203