本书以达梦数据交换平台4.0为蓝本，全面系统地介绍了达梦数据交换平台的体系结构、安装与配置、转换和作业流程设计、达梦数据总线和集群等内容，是学习达梦数据交换平台的基础教材和参考用书。全书分为入门篇、基础篇和**篇三个部分，内容涵盖达梦数据交换平台概述、安装与配置、快速入门、数据源管理、转换、作业、函数与变量、调度与监控、权限与版本管理、增量数据抽取、达梦数据交换集群、数据质量检测、Web监控与数据总线自定义转换和数据源开发、ETL接口编程等内容。本书结合具体实例，详细阐述了达梦数据交换平台各功能组件的使用方法，同时也介绍了集群、数据总线等**内容，适合不同学习进度的读者使用。本书内容全面、举例丰富、操作性强、语言通俗、格式规范，可作为达梦数据交换平台的学习教材，也可作为工程技术人员的参考用书。

入 门 篇 第1章 概述 2 1.1 数据交换基本概念 2 1.1.1 数据交换概念模型 2 1.1.2 数据交换技术的发展 3 1.2 数据交换体系结构 4 1.2.1 数据交换模式 4 1.2.2 数据交换体系组成 6 1.3 达梦数据交换平台简介 7 1.3.1 组成及功能 7 1.3.2 技术架构 10 1.3.3 特点 11 第2章 安装与配置 13 2.1 安装与卸载 13 2.1.1 Windows操作系统中的安装 13 2.1.2 Linux操作系统中的安装 21 2.1.3 升级安装 23 2.1.4 卸载 24 2.1.5 常见问题与注意事项 25 2.2 系统配置 27 2.2.1 启动与停止系统服务 27 2.2.2 服务器配置 30 2.2.3 元数据库配置 31 2.2.4 集群配置 33 2.2.5 数据总线服务配置 34 2.2.6 Web监控服务配置 35 2.2.7 查看许可证信息 36 2.2.8 监听服务器日志信息 37 2.2.9 日志参数配置 37 第3章 快速入门 38 3.1 设计器界面 38 3.1.1 设计器启动 38 3.1.2 界面简介 40 3.2 基本操作 40 3.2.1 设计 40 3.2.2 运行 43 3.3 入门示例 44 3.3.1 示例说明 44 3.3.2 创建数据源 45 3.3.3 创建工程 50 3.3.4 设计转换 51 3.3.5 设计作业 62 3.3.6 查看运行日志 66 基 础 篇 第4章 数据源管理 68 4.1 关系型数据库 68 4.1.1 关系型数据库概述 68 4.1.2 添加表 70 4.1.3 添加视图 70 4.1.4 添加SQL查询 71 4.1.5 表 73 4.2 文本文件 79 4.2.1 文本文件描述 79 4.2.2 文本文件选项配置说明 79 4.2.3 文本文件详细说明 79 4.3 CSV文件 80 4.3.1 CSV文件描述 80 4.3.2 CSV文件选项配置说明 80 4.4 Excel文件 80 4.4.1 Excel文件描述 80 4.4.2 Excel文件选项配置说明 81 4.5 XML文件 81 4.5.1 XML文件描述 81 4.5.2 XML文件选项配置说明 81 4.5.3 XML文件示例描述 82 4.6 数据集文件 83 4.6.1 数据集文件描述 83 4.6.2 数据集文件选项配置说明 83 4.7 DBF文件 84 4.7.1 DBF文件描述 84 4.7.2 DBF文件选项配置说明 84 4.8 JSON文件 84 4.8.1 JSON文件描述 84 4.8.2 JSON文件选项配置说明 84 4.8.3 JSON文件示例描述 85 4.9 HDFS文件 86 4.9.1 HDFS文件描述 86 4.9.2 HDFS文件选项配置说明 86 4.10 AVRO文件 86 4.10.1 AVRO文件描述 86 4.10.2 AVRO文件选项配置说明 87 4.11 JMS文件 87 4.11.1 JMS文件描述 87 4.11.2 JMS文件选项配置说明 87 4.11.3 JMS文件示例描述 87 4.12 WebSphere MQ 89 4.12.1 WebSphere MQ描述 89 4.12.2 WebSphere MQ选项配置说明 89 4.13 Kafka 89 4.13.1 Kafka描述 89 4.13.2 Kafka选项配置说明 89 4.14 WebService 90 4.14.1 WebService描述 90 4.14.2 WebService选项配置说明 90 4.15 LDAP 90 4.15.1 LDAP描述 90 4.15.2 LDAP选项配置说明 90 4.15.3 LDAP示例描述 91 4.15.4 添加LDAP DN数据集 91 4.16 Mail数据源 91 4.16.1 Mail数据源描述 91 4.16.2 Mail数据源选项配置说明 92 4.16.3 Mail数据源示例描述 92 4.16.4 添加Mail数据集 93 4.17 MongoDB数据源 94 4.17.1 MongoDB数据源描述 94 4.17.2 MongoDB数据源选项配置说明 94 4.17.3 MongoDB数据源示例描述 94 4.17.4 添加MongoDB数据集 94 4.18 Elasticsearch数据源 95 4.18.1 Elasticsearch数据源描述 95 4.18.2 Elasticsearch数据源选项配置说明 95 4.18.3 Elasticsearch数据源示例描述 96 4.18.4 添加Elasticsearch类型 96 4.19 Hbase数据源 97 4.19.1 Hbase数据源描述 97 4.19.2 Hbase数据源选项配置说明 97 4.19.3 Hbase数据源示例描述 98 4.19.4 添加Hbase表 98 4.20 导出元数据 99 4.20.1 导出元数据描述 99 4.20.2 导出元数据选项配置说明 99 4.20.3 导出元数据示例描述 99 4.21 导出数据 101 4.21.1 导出数据描述 101 4.21.2 导出数据选项配置说明 101 4.21.3 导出数据示例描述 101 第5章 转换 103 5.1 转换概述 103 5.1.1 转换功能描述 103 5.1.2 转换选项配置说明 103 5.2 转换通用配置 104 5.2.1 输出配置 104 5.2.2 **属性配置 109 5.2.3 数据条数 111 5.2.4 文件切分 112 5.2.5 文件处理 113 5.2.6 文件选择 114 5.2.7 自动分表 116 5.2.8 流程运行统计 117 5.3 数据读取 118 5.3.1 读取表/视图 118 5.3.2 SQL查询 120 5.3.3 读取增量表 122 5.3.4 读取文本文件 124 5.3.5 读取CSV文件 125 5.3.6 读取Excel文件 127 5.3.7 读取XML文件 128 5.3.8 读取数据集文件 129 5.3.9 读取JMS数据 131 5.3.10 读取WebService数据 133 5.3.11 读取LDAP数据 134 5.3.12 读取Mail数据 135 5.3.13 读取随机数据 136 5.3.14 读取自定义数据源 138 5.3.15 读取DBF文件 141 5.3.16 读取JSON文件 141 5.3.17 读取MongoDB数据 142 5.3.18 读取WebSphere MQ数据 143 5.3.19 读取网络输入数据 143 5.4 数据转换 143 5.4.1 数据清洗转换 143 5.4.2 联合 155 5.4.3 数据集查找 157 5.4.4 数据质量检测 159 5.4.5 SQL脚本 159 5.4.6 设置变量 161 5.4.7 排序 162 5.4.8 删除重复行 164 5.4.9 行数据抽样 165 5.4.10 自定义转换 166 5.4.11 聚合 167 5.4.12 列转行 168 5.4.13 行转列 170 5.4.14 系统命令 171 5.4.15 数据** 171 5.4.16 连接 172 5.5 数据装载 172 5.5.1 表装载 172 5.5.2 增量表装载 174 5.5.3 缓慢变化维表装载 176 5.5.4 文本文件装载 181 5.5.5 CSV文件装载 182 5.5.6 Excel文件装载 183 5.5.7 XML文件装载 185 5.5.8 数据集文件装载 186 5.5.9 JMS装载 187 5.5.10 WebService装载 188 5.5.11 DBF文件装载 190 5.5.12 JSON文件装载 191 5.5.13 MongoDB装载 192 5.5.14 WebSphere MQ装载 192 5.5.15 Kafka装载 192 5.5.16 Elasticsearch装载 193 5.5.17 网络输出 193 5.6 快速装载 194 5.6.1 DM8快速装载 194 5.6.2 Greenplum快速装载 195 5.6.3 Oracle快速装载 197 5.6.4 MySQL快速装载 198 5.6.5 Infobright快速装载 199 5.6.6 Mariadb快速装载 200 5.6.7 Hive快速装载 200 5.7 文件同步 201 5.7.1 文件源 201 5.7.2 文件目的 203 5.7.3 文件同步示例 203 第6章 作业 206 6.1 作业概述 206 6.1.1 作业功能描述 206 6.1.2 作业选项配置说明 206 6.2 作业通用配置 207 6.2.1 **属性 207 6.2.2 循环执行 208 6.3 引用 209 6.3.1 引用转换 210 6.3.2 引用作业 210 6.4 脚本 211 6.4.1 Java脚本 212 6.4.2 SQL脚本 213 6.4.3 设置变量 214 6.5 文件操作 216 6.5.1 基本文件操作 216 6.5.2 压缩 217 6.5.3 解压缩 218 6.5.4 远程文件同步 219 6.6 实用工具 221 6.6.1 发送邮件 221 6.6.2 OS命令 223 6.6.3 DLL调用 224 6.6.4 Ant 225 6.6.5 休眠 227 6.6.6 数据校验 228 6.7 系统维护 230 6.7.1 清除日志 230 6.7.2 刷新缓存 231 第7章 函数与变量 233 7.1 函数 233 7.1.1 函数定义 233 7.1.2 函数类型与作用域 234 7.2 变量 234 7.2.1 变量定义 234 7.2.2 变量类型与作用域 235 7.2.3 节点变量 235 7.2.4 局部变量 237 7.3 表达式 237 7.4 使用嵌入式表达式 238 7.5 数据类型 239 第8章 调度与监控 241 8.1 调度 241 8.1.1 新建调度 241 8.1.2 设置调度 243 8.1.3 调度引擎 245 8.2 监控 246 8.2.1 监控后台流程 246 8.2.2 查询历史日志 247 8.2.3 清除历史日志 249 8.2.4 实时告警 250 8.2.5 历史告警 251 8.2.6 清除告警 251 第9章 权限与版本管理 252 9.1 权限概述 252 9.1.1 功能权限 252 9.1.2 对象权限 253 9.2 角色 255 9.3 用户 256 9.3.1 用户概述 256 9.3.2 启用/禁用用户 257 9.3.3 重置密码 257 9.4 版本管理 258 9.4.1 备份当前版本 258 9.4.2 自动备份 258 9.4.3 手动备份 259 9.4.4 查看历史版本 259 9.4.5 清除历史版本 260 9.4.6 还原删除对象 261 高 级 篇 第10章 增量数据抽取 264 10.1 增量数据抽取原理 264 10.1.1 增量数据抽取方式 264 10.1.2 DMETL增量数据表 267 10.2 增量数据同步设计 269 10.2.1 添加增量数据集 269 10.2.2 配置增量表数据抽取 270 10.2.3 配置增量表数据装载 271 10.2.4 配置“**同步时同步基表数据”与“设为**同步” 271 10.3 增量数据同步和增量方式配置示例 274 10.3.1 触发器方式同步示例 274 10.3.2 其他增量方式配置示例 278 第11章 达梦数据交换集群 283 11.1 集群概述 283 11.1.1 体系结构 283 11.1.2 集群特性 284 11.2 集群安装配置与管理 287 11.2.1 集群安装 287 11.2.2 集群