简介简介 #
在数据集成中,用户可以将各种数据从一个连接实例同步到另一个连接实例中,提供多方数据整合、集中的服务,拥有自由选择待同步数据、同步路径和定时启动集成作业的强大功能。
核心概念介绍 #
核心概念 | 说明 |
---|---|
源 | 同步数据的来源。 |
目标 | 同步数据的目的地,源中的数据将会同步到这里。 |
集成作业 | 表示源-目标的关系和数据同步的配置信息。 |
流 | 表示一组有关联的数据,如一个database里的tables、一个api接口里的resources等。同步数据在流中选择。 |
namespace | 可存储同步数据的位置,如database、schema。不同连接的namespace可能会不同。 |
创建集成作业 #
1.在数据管理-数据集成页面中,点击【新建集成作业】按钮
2.配置集成作业信息
源配置
- 连接器:选择同步数据来源所属的连接器类型。如果选择的连接器类型有namespace时,还需要选择namespace,如mysql类型的namespace为database。像api类型这种没有namespace的,则不需要选择。
- 源:选择同步数据来源所属的连接实例。选择范围:所有【owner为当前用户】的连接实例。
目标配置
连接器和目标概念大致同上。 - namespace:选项有镜像拷贝(与源的存储路径一致)、路径选择(同步到目标中已有的存储路径中)、自定义(同步到新建的存储路径中)。
- namespace名称:当namespace选择自定义时,需要填写。
- 流前缀:目标流的前缀。
同步配置 - 执行频率:数据同步的执行频率,可选择手动执行或定时执行。
- 转换&范式化:同步数据保持原始格式(JSON)
选择流 - 可勾选多个要执行数据同步的流,目前只有全部数据追加的同步模式。
3.点击确定,集成作业创建成功
管理数据集成 #
作业列表查看与操作 #
在数据管理-数据集成页面中,集成作业列表展示的是全部【owner为当前用户】的作业及相关信息。用户可以启动或关闭作业的定时执行按钮,也可以手动执行同步。
查看集成作业详情 #
点击集成作业列表的详情按钮,进入作业详情页面,可以查看作业的基本配置信息以及运行记录。
运行记录状态有六种:成功、失败、运行中、已取消、排队中、再次重试。
编辑集成作业配置信息 #
点击集成作业列表的编辑按钮,再点击编辑页面的编辑按钮,可以修改作业的配置信息。