【数据前线】企业数据治理项目中影响数据质量的5个因素
数据质量包括数据质量控制和数据治理
数据是组织最具价值的资产之一 。 企业的数据质量与业务绩效之间存在着直接联系 ， 高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地 。 有了普遍深入的数据质量 ， 企业在任何时候都可以信任满足所有需求的所有数据 。
文章图片
一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目 ， 业务部门与IT部门的相关人员将各自具有明确角色和责任 ， 配备正确的技术和工具 ， 以应对数据质量控制的挑战 。
数据质量反映的是数据的“适用性（fitnessforuse）” ， 即数据满足使用需要的合适程度 。 数据质量通过完整性、一致性、准确性、及时性、合法性等多类维度对数据进行度量 。 数据质量管理的目的是为企业提供洁净、结构清晰的数据 ， 是企业开发业务系统、提供数据服务、发挥数据价值的必要前提 ， 是企业数据资产管理的前提 。
数据质量问题的影响因素
1、数据治理质量方面原因——数据不一致
企业早期没有进行统一规划设计 ， 大部分信息系统是逐步迭代建设的 ， 系统建设时间长短各异 ， 各系统数据标准也不同 。 企业业务系统更关注业务层面 ， 各个业务系统均有不同的侧重点 ， 各类数据的属性信息设置和要求不统一 。 另外 ， 由于各系统的相互独立使用 ， 无法及时同步更新相关信息等各种原因造成各系统间的数据不一致 ， 严重影响了各系统间的数据交互和统一识别 ， 基础数据难以共享利用 ， 数据的深层价值也难以体现 。
2、数据治理质量方面原因——数据不完整
由于企业信息系统的孤立使用 ， 各个业务系统或模块按照各自的需要录入数据 ， 没有统一的录入工具和数据出口 ， 业务系统不需要的信息就不录 ， 造成同样的数据在不同的系统有不同的属性信息 ， 数据完整性无法得到保障 。
3、数据治理质量方面原因——数据不合规
没有统一的数据管理平台和数据源头 ， 数据全生命周期管理不完整 ， 同时企业各信息系统的数据录入环节过于简单且手工参与较多 ， 就数据本身而言 ， 缺少是否重复、合法、对错等校验环节 ， 导致各个信息系统的数据不够准确 ， 格式混乱 ， 各类数据难以集成和统一 ， 没有质量控制导致海量数据因质量过低而难以被利用 ， 且没有相应的数据管理流程 。
4、数据治理质量方面原因——数据不可控
海量数据多头管理 ， 缺少专门对数据管理进行监督和控制的组织 。 企业各单位和部门关注数据的角度不一样 ， 缺少一个组织从全局的视角对数据进行管理 ， 导致无法建立统一的数据管理标准、流程等 ， 相应的数据管理制度、办法等无法得到落实 。 同时 ， 企业基础数据质量考核体系也尚未建立 ， 无法保障一系列数据标准、规范、制度、流程得到长效执行 。
5、数据治理质量方面原因——数据冗余
各个信息系统针对数据的标准规范不一、编码规则不一、校验标准不一 ， 且部分业务系统针对数据的验证标准严重缺失 ， 造成了企业顶层视角的数据出现“一物多码”、“一码多物”等现象 。
工欲善其事 ， 必先利其器 ， 检测之前咱们有必要对检测工具有基本的认知：
亿信数据质量管理平台提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能 。 通过事先定义好的规则、调度时间、工作流程 ， 自动完成数据的质量检查 ， 极大的减少人力的投入和过程干预 ， 提升效率 ， 减少误差 。 同时遇到重大问题能够及时警告 ， 对质量检查的结果提供多方式（界面、邮件、短信）告警 ， 让用户及时了解到系统检查结果 ， 避免重大问题的延误 。
EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台 ， 提供了业界主流的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能 ， 以数据标准为数据检核依据 ， 以元数据为数据检核对象 ， 通过向导化、可视化等简易操作手段 ， 将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合 ， 形成完整的数据质量管理闭环 。
推荐阅读
- 知叔目标直指美韩，网友：这次稳了，日本顶级半导体专家加入中国企业
- 『Java』java数据结构系列——什么是数据结构
- 靓科技解读Thing，a16z、5.15亿美金的数据加密股票基金：找寻下一个Big
- 大数据邦选址很关键，新基建之大数据中心规划设计原则和内容
- 小熊带你玩科技数据成粤企生产新要素，工业互联网深调研〡从经验依赖到数据驱动
- 人工智能爱好者社区当心这个破坏家庭团结的数据泄露重灾区，多款APP违规采集个人信息
- ETtoday新闻云教授与中国学生在爆发前建模，单日10亿点阅约翰霍普金斯即时数据
- 可可酱江苏省销量同比增长164%，苏宁大数据：头盔成母亲节最特别礼物
- 「荣耀」红米K30Pro全方位吊打荣耀30Pro！数据来源：小米实验室
- 新投资者网 募投项目面临超大企业“挤压”，合纵医药业务难“出川”拟冲IPO