大数据质量稽核系统

2017-11-02 18:46:00 admin 144

13.png

大数据质量稽核系统

--

目前运营商IT系统中各专业系统侧重考虑自身数据准确性和完整性,面向业务、跨系统、跨专业的多数据源数据的准确性、一致性以及完整性、合法性的核查暂无有效手段支撑。一份数据存储在多个系统中,其关键信息一致,但附属信息不一致。一项业务需要在网络中多设备上配置,但各设备上配置数据不一致。

功能价值

--

跨平台、多数据源的数据采集、比对、分析及修复, 提供数据差异问题的结果展示及统计跟踪, 实现数据一致性的处理能力。

支持多种类型数据源(数据库、FTP文件等);支持多个数据源的比对。

稽核任务的流程节点灵活定制:流程节点是否执行可配置;比对任务和校验任务可融合。

规则灵活定制:数据校验任务支持完整性、合法性校验,具体规则按需定制;数据比对任务支持关键字段、比对字段、去重、排序等规则的自定义设置。

任务支持定时执行和手动执行,任务执行过程中可灵活控制流程,进行重新执行、跳过执行、终止流程等操作。

支持大数据量:目前百万级数据量的校验执行时间在8S左右,比对执行时间在2S左右。