概述 #
质检规则是数据质检的核心概念,而每创建一条质检规则都需要选择一个对应的规则模板。规则模板是为了规则复用抽象出的一个概念,该模块管理系统创建和用户自建的规则模板,模板中包含规则的 SQL 定义、规则的比较方式、参数定义等。目前系统内置的规则模板共计10种,分为字段级和表级规则。当系统内置的规则模板不能满足用户的需求时,可以在自定义规则模板页面中配置新的规则模板。
新建自定义模板配置流程 #
1.进入【数据管理】-【数据质量】-【规则模板】模块
2.点击【+】,新建模板
3.填写自定义模板配置表单
模板参数配置如下表所示:
配置项 | 说明 |
---|---|
模板名称 | 由用户填写,自定义的名称 |
描述 | 描述自定义模板的说明,非必填 |
规则类型 | 选择规则模板类型,目前支持类型:字段级和表级 |
统计维度 | 支持从完整性、一致性、准确性、唯一性、有效性五个维度进行单列、多列、跨行、跨表的分析 |
统计定义 | 通过输入SQL语句定义规则,实现数据的检索筛查。点击语法检测按钮可以检测输入的SQL是否有错误 |
输入参数 | 添加输入参数并填写参数名称。通过点击“+数据源参数”添加schema_table参数,通过点击“+字段参数”添加column参数。一个schema_table参数最多对应一个column参数。在SQL语句中,通过$定位输入参数,例如${schema_table1}、${column1} |
输出结果 | 自定义添加输出参数和名称。添加顺序应与SQL定义的输出结果顺序一致 |
查看自定义模板 #
当规则模板的信息填写完毕后,点击确定,自定义模板创建成功。
进入【数据管理】-【数据质量】-【规则模板】模块,即可看到新建的自定义模板。
使用自定义模板 #
1.进入【数据管理】-【数据质量】-【质检规则】模块
2.点击【+】,新建规则
3.点击规则模板的【选择】,选择模板
模板共有两种分类
- 模板类型:全部、系统模板、自定义模板
- 规则类型:字段级、表级
用户自定义的模板位于自定义模板和全部分类中