江苏龙网

  1. 首页 > 资讯 > 科技 > >

科技小数据|一文了解数据仓库( 七 )


OLAP 和 OLTP定位差别
对比属性OLTPOLAP代表MysqlHive读特性每次查询只返回少量数据对大量数据进行汇总写特性随机、低延迟写入用户的操作批量导入用户操作人员决策人员DB设计面向应用面向主题数据当前的 ， 最新的细节 ， 二维表历史的 ， 聚集的 ， 多维表工作单位事务性保证复杂查询用户数上千个上百万个DB大小100MB-GB100GB-TB以上时间要求具有实时性对时间的要求不严格主要应用数据库：WEB项目数据仓库：分析师
OLAP 和 OLTP组成差别
对比内容操作型数据库(OLTP)分析型数据库(OLAP)数据时间范围差别只会存放一定天数的数据存放的则是数年内的数据数据细节层次差别存放的主要是细节数据 也有汇总需求 ， 但汇总数据本身不存储而只存储其生成公式 。 这是因为操作型数据是动态变化的 ， 因此汇总数据会在每次查询时动态生成 。 存放的既有细节数据 ， 又有汇总数据 ， 对于用户来说 ， 重点关注的是汇总数据部分 。 因为汇总数据比较稳定不会发生改变 ， 而且其计算量也比较大(因为时间跨度大) ， 因此它的汇总数据可考虑事先计算好 ， 以避免重复计算 。 数据时间表示差别通常反映的是现实世界的当前状态既有当前状态 ， 还有过去各时刻的快照 。 可以综合所有快照对各个历史阶段进行统计分析
OLAP 和 OLTP技术差别
对比内容操作型数据库(OLTP)分析型数据库(OLAP)数据更新差别允许用户进行增 ， 删 ， 改 ， 查规范是只能进行查询数据冗余差别减少数据冗余 ， 避免更新异常没有更新操作 。 因此 ， 减少数据冗余也就没那么重要了
OLAP 和 OLTP功能差别
对比内容操作型数据库(OLTP)分析型数据库(OLAP)数据读者差别使用者是业务环境内的各个角色 ， 如用户 ， 商家 ， 进货商等只被少量用户(高级管理者)用来做综合性决策数据定位差别是为了支撑具体业务创建的 ， 因此也被称为"面向应用型数据库"是针对各特定业务主题域的分析任务创建的 ， 因此也被称为"面向主题型数据库"
OLAP典型架构
OLAP有多种实现方法 ， 根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP
名称描述细节数据存储位置聚合后的数据存储位置ROLAP(Relational OLAP)基于关系数据库的OLAP实现关系型数据库关系型数据库MOLAP(Multidimensional OLAP)基于多维数据组织的OLAP实现数据立方体数据立方体HOLAP(Hybrid OLAP)基于混合数据组织的OLAP实现关系型数据库数据立方体
ROLAP(Relational Online Analytical Processing)ROLAP架构并不会生成实际的多维数据集 ， 而是使用雪花模式以及多个关系表对数据立方体进行模拟 ， 它的OLAP引擎就是将用户的OLAP操作 ， 如上钻下钻过滤合并等 ， 转换成SQL语句提交到数据库中执行 ， 并且提供聚集导航功能 ， 根据用户操作的维度和度量将SQL查询定位到最粗粒度的事实表上去
这种架构下的查询没有MOLAP快速 。 因为ROLAP中 ， 所有的查询都是被转换为SQL语句执行的 。 而这些SQL语句的执行会涉及到多个表之间的JOIN操作 ， 没有MOLAP速度快 ， 往往都是通过内存计算实现 。 (内存的昂贵大家是知道的)

科技小数据|一文了解数据仓库
本文插图

ROLAP
MOLAP(Multidimensional Online Analytical Processing)
MOLAP架构会生成一个新的多维数据集 ， 也可以说是构建了一个实际数据立方体 。 事先将汇总数据计算好 ， 存放在自己特定的多维数据库中 ， 用户的OLAP操作可以直接映射到多维数据库的访问 ， 不通过SQL访问 。 (空间换时间 ， 典型代表Kylin)
在该立方体中 ， 每一格对应一个直接地址 ， 且常用的查询已被预先计算好 。 因此每次的查询都是非常快速的 ， 但是由于立方体的更新比较慢 ， 所以是否使用这种架构得具体问题具体分析 。


推荐阅读


上一篇：趣头条|帝豪GS配上这款车载蓝牙，立马变得高档舒适方便起来！

下一篇：环球Tech|手机看车站大屏是怎样的感觉？12306新版体验