江苏龙网

  1. 首页 > 资讯 > 科技 > >

科技小数据|一文了解数据仓库( 六 )


总结：大数据平台 ， 即为数据一站式服务 ， 提供可视化的数据展示 ， 提取 ， 计算任务安排 ， 资源管理 ， 数据治理 ， 安全措施 ， 共享应用等等 。
大数据平台相关图集

科技小数据|一文了解数据仓库
本文插图

平台数据流向图

科技小数据|一文了解数据仓库
本文插图

平台流程架构图
数据中台（Data Middle Platform）
数据中台要解决什么？数据如何安全的、快速的、最小权限的、且能够溯源的被探测和快速应用的问题 。
数据中台不应该被过度的承载平台的计算、存储、加工任务 ， 而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放 ， 知识图谱的构建 。
通过一系列工具、组织、流程、规范 ， 实现数据前台和后台的连接 ， 突破数据局限 ， 为企业提供更灵活、高效、低成本的数据分析挖掘服务 ， 避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本 。
总结：厚平台 ， 大中台 ， 小前台；没有基础厚实笨重的大数据平台 ， 是不可能构建数据能力强大、功能强大的数据中台的；没有大数据中台 ， 要迅速搭建小快灵的小前台也只是理想化的 。
中台相关图集

科技小数据|一文了解数据仓库
本文插图

中台架构图

科技小数据|一文了解数据仓库
本文插图

阿里数据中台架构图
数据库的"分家"
随着关系数据库理论的提出 ， 诞生了一系列经典的RDBMS ， 如Oracle ， MySQL ， SQL Server等 。 这些RDBMS被成功推向市场 ， 并为社会信息化的发展做出的重大贡献 。 然而随着数据库使用范围的不断扩大 ， 它被逐步划分为两大基本类型：
操作型数据库（OLTP）
主要用于业务支撑 。 一个公司往往会使用并维护若干个数据库 ， 这些数据库保存着公司的日常操作数据 ， 比如商品购买、酒店预订、打车下单、外卖订购等；
分析型数据库（OLAP）
主要用于历史数据分析 。 这类数据库作为公司的单独数据存储 ， 负责利用历史数据对公司各主题域进行统计分析；
总结：那么为什么要"分家"？在一起不合适吗？能不能构建一个同样适用于操作和分析的统一数据库？
【科技小数据|一文了解数据仓库】答案是NO 。 一个显然的原因是它们会"打架"......如果操作型任务和分析型任务抢资源怎么办呢？再者 ， 它们有太多不同 ， 以致于早已"貌合神离" 。 接下来看看它们到底有哪些不同吧 。
因为主导功能的不同(面向操作/面向分析) ， 两类数据库就产生了很多细节上的差异 。 就好像玩LOL一个中单一个ADC ， 肯定有很多行为/观念上的不同
OLAP 和 OLTP简介
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）：是传统的关系型数据库的主要应用 ， 主要是基本的、日常的事务处理 ， 例如银行交易 。 系统强调数据库内存效率 ， 强调内存各种指标的命令率 ， 强调绑定变量 ， 强调并发操作 。
联机分析处理OLAP（On-Line Analytical Processing）：是数据仓库系统的主要应用 ， 支持复杂的分析操作 ， 侧重决策支持 ， 并且提供直观易懂的查询结果 。 系统则强调数据分析 ， 强调SQL执行市场 ， 强调磁盘I/O ， 强调分区等 。
OLAP 和 OLTP定义差别
对比内容操作型数据库(OLTP)分析型数据库(OLAP)数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序 ， 重复处理面向主题域 ， 分析应用 ， 支持决策数据特性动态变化 ， 按字段更新静态、不能直接更新 ， 只能定时添加、刷新数据结构高度结构化、复杂 ， 适合操作计算简单 ， 适合分析使用频率高中到低数据访问量每个事务只访问少量记录有的事务可能需要访问大量记录对响应时间的要求以秒为单位计算以秒、分钟、甚至小时为计算单位


推荐阅读


上一篇：趣头条|帝豪GS配上这款车载蓝牙，立马变得高档舒适方便起来！

下一篇：环球Tech|手机看车站大屏是怎样的感觉？12306新版体验