『发家致富全靠它』企业数据仓库:概念,体系结构和组件
我们每天都基于以往的经验做出许多决定 。 我们的大脑会存储数以万计的过去事件数据 , 并在每次我们面临决策需要时利用这些记忆 。 像人一样 , 公司会生成并收集有关过去的大量数据 。 这些数据可用于做出更好的决策 。
尽管我们的大脑既可以处理也可以存储 , 但是公司需要多种工具来处理数据 。 其中最重要的一个是数据仓库 。
在本文中 , 我们将讨论什么是企业数据仓库 , 其类型和功能以及如何在数据处理中使用它 。 我们将定义企业仓库与常规仓库的区别 , 存在的数据仓库的类型以及它们的工作方式 。 重点是提供有关构建仓库的每种体系结构和概念方法的业务价值的信息 。
什么是企业数据仓库?
如果您知道TB , 那么Netflix 在2016年的仓库中大约有44 TB的数据可能会给您留下深刻的印象 。 仅凭大小就可以说明为什么我们称其为仓库 , 而不仅仅是数据库 。 因此 , 让我们从基础开始 。
一个企业级数据仓库(EDW)是企业资源库的门店形式和管理所有企业的历史业务数据 。 信息通常来自不同的系统 , 例如ERP , CRM , 物理记录和其他文件 。 为了准备数据进行进一步分析 , 必须将其放在单个存储设备中 。 这样 , 不同的业务部门可以对其进行查询并从多个角度分析信息 。
借助数据仓库 , 企业可以管理庞大的数据集 , 而无需管理多个数据库 。 这种做法是为商业智能(BI)存储数据的一种面向未来的方式 , 这是将原始数据转换为可操作的见解的一组方法/技术 。 由于EDW是其中的重要组成部分 , 因此该系统类似于人脑 , 其信息存储在类固醇上 。
企业数据仓库与常规数据仓库的区别是什么?
任何数据仓库都是始终通过一端的数据集成工具和另一端的分析接口与原始数据源连接的数据库 。 如果是这样 , 为什么我们要隔离企业形式进行讨论?
任何仓库都提供具有转换数据 , 移动数据并将其提供给最终用户的机制的存储 。 普通数据仓库和企业数据仓库之间的区别在于其广泛的体系结构多样性和功能 。 由于复杂的结构和规模 , EDW通常会分解为较小的数据库 , 因此最终用户更愿意查询这些较小的数据库 。 考虑到这一点 , 我们将重点放在覆盖整个功能范围的企业仓库上 。
但是 , 仓库的大小并不能定义其技术复杂性 , 分析和报告功能的要求 , 数据模型的数量以及数据本身 。 因此 , 要了解什么使仓库成为仓库 , 让我们深入了解其核心概念和功能 。
企业数据仓库的概念和功能
在所有的钟声中 , 每个仓库的核心都具有基本的概念和功能 。 这些支柱将仓库定义为技术现象:
最终存储 。 企业数据仓库是组织中所有发生的所有公司业务数据的统一存储库 。
反映源数据 。 EDW从其原始存储空间(例如Google Analytics(分析) , CRM , IoT设备等)获取数据 。 如果数据分散在多个系统中 , 则难以管理 。 因此 , EDW的目的是在单个存储库中提供原始源数据的相似性 。 由于公司内部和外部始终会产生新的相关数据 , 因此数据流需要专用的基础架构才能在进入仓库之前对其进行管理 。
存储结构化数据 。 EDW中存储的数据始终是标准化和结构化的 。 这使得最终用户可以通过BI界面和表单报告对其进行查询 。 这就是使数据仓库与数据湖不同的原因 。 数据湖用于存储非结构化数据以进行分析 。 但是与仓库不同 , 数据工程师/科学家更多地使用数据湖来处理大量原始数据 。
面向主题的数据 。 仓库的主要重点是可以与不同域相关的业务数据 。 为了理解数据的含义 , 它总是围绕一个称为数据模型的特定主题构造的 。 主题的示例可以是给定项目的销售区域或总销售额 。 此外 , 添加了元数据以详细说明每条信息的来源 。
与时间有关 。 收集的数据通常是历史数据 , 因为它描述了过去的事件 。 为了了解某种趋势何时发生以及持续了多长时间 , 通常将大多数存储的数据划分为多个时间段 。
推荐阅读
- 【为4899家】青海为4899家企业发放稳岗返还资金1.2亿元
- 西安高新区“云路演”举行 清科沙丘创业中心、项目工场APP助力多领域企业融资
- #家族企业杂志#2020年一季度大类资产收益表现短评
- 大众网■奖!城阳区出台鼓励工业企业跨越式发展奖励办法
- 戈峻完成一周年大考 助力智慧企业大崛起
- 戮默科技■助力企业数字化升级,戮默科技深挖软件开发核心
- 【震旦】震旦AD400MNF激光一体机,复工企业经济高效之选
- [长江云]平安行,全靠它,清明高速出行攻略出炉!避风险
- CNBC:京东智联云打造欧美企业在华首选技术服务平台
- 「企业」“东莞网红直播带货基地”上线,助力企业加快复苏
