中国统计网数据仓库基础知识,「5分钟+8角度」帮你搞定!


中国统计网数据仓库基础知识,「5分钟+8角度」帮你搞定!
本文插图
中国统计网数据仓库基础知识,「5分钟+8角度」帮你搞定!
本文插图
中国统计网数据仓库基础知识,「5分钟+8角度」帮你搞定!
本文插图
1
什么是数据仓库
数据仓库 , 英文名称为Data Warehouse , 可简写为DW或DWH 。 数据仓库 , 是为企业所有级别的决策制定过程 , 提供所有类型数据支持的战略集合 。 它出于分析性报告和决策支持目的而创建 。 为需要业务智能的企业 , 提供指导业务流程改进、监视时间、成本、质量以及控制 。
2
数据仓库能干什么?

  • 年度销售目标的指定 , 需要根据以往的历史报表进行决策 , 不能拍脑袋
  • 如何优化业务流程
例如:一个电商网站订单的完成包括:浏览、下单、支付、物流 , 其中物流环节可能和中通、申通、韵达等快递公司合作 。 快递公司每派送一个订单 , 都会有订单派送的确认时间 , 可以根据订单派送时间来分析哪个快递公司比较快捷高效 , 从而选择与哪些快递公司合作 , 剔除哪些快递公司 , 增加用户友好型 。
  • 简而言之就是汇总八方数据 , 清洗后提供对我服务 。
3
数据仓库的特点
1. 数据仓库的数据是面向主题的
与传统数据库面向应用进行数据组织的特点相对应 , 数据仓库中的数据是面向主题进行组织的 。 什么是主题呢?首先 , 主题是一个抽象的概念 , 是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象 。
在逻辑意义上 , 它是对应企业中某一宏观分析领域所涉及的分析对象 。 面向主题的数据组织方式 , 就是在较高层次上对分析对象的数据的一个完整、一致的描述 , 能完整、统一地刻划各个分析对象所涉及的企业的各项数据 , 以及数据之间的联系 。 所谓较高层次是相对面向应用的数据组织方式而言的 , 是指按照主题进行数据组织的方式具有更高的数据抽象级别 。 说白了就个写作文一样 , 写什么你总的有个主题思想啊!
2. 数据仓库的数据是集成的
数据仓库的数据是从原有的分散的数据库数据抽取来的 。 操作型数据与分析型数据之间差别甚大 。
  • 数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方 , 且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起;
  • 数据仓库中的综合数据不能从原有的数据库系统直接得到 。 因此在数据进入数据仓库之前 , 必然要经过统一与综合 。
这一步是数据仓库建设中最关键、最复杂的一步 , 所要完成的工作有:
  • 要统一解决源数据中所有矛盾之处 , 如字段的同名异义、异名同义、单位不统一、字长不一致等
  • 进行数据综合和计算 。 数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成 , 但许多是在数据仓库内部生成的 , 即进入数据仓库以后进行综合生成的
  • 大部分情况下一般数仓的建立是由大数据部门负责构建 , 而别的分析业务部门是无权直接用线上的table的
3. 数据仓库的数据是不可更新的
数据仓库的数据主要供企业决策分析之用 , 所涉及的数据操作主要是数据查询 , 一般情况下并不进行修改操作 。 数据仓库的数据反映的是一段相当长的时间内历史数据的内容 , 是不同时点的数据库快照的集合 , 以及基于这些快照进行统计、综合和重组的导出数据 , 而不是联机处理的数据 。
数据库中进行联机处理的数据经过集成输入到数据仓库中 , 一旦数据仓库存放的数据已经超过数据仓库的数据存储期限 , 这些数据将从当前的数据仓库中删去 。 因为数据仓库只进行数据查询操作 , 所以数据仓库管理系统相比数据库管理系统而言要简单得多 。


推荐阅读