知识|建议收藏！一张图建立全面的大数据知识体系( 二 )
相关基础知识：Lambda 架构、Kappa 架构、IOTA 架构。
业界常见框架：Microsoft Kineograph、Galaxy、Google Percolator、Druid。
5）图计算
图计算是一类在实际应用中非常常见的计算类型。许多大数据都是以大规模图或网络的形式呈现，如社交网络、传染病传播途径、交通事故对路网的影响许多非图结构的大数据，也常常会被转换为图模型后进行分析。图数据结构很好地表达了数据之间的关联性。要处理规模巨大的图数据，传统的单机处理方式已经无力处理，必须采用大规模机器集群构成的并行数据库。
相关基础知识：GAS 编程模型、BSP 模型、节点为中心编程模型、计算范型。
业界常见框架：Pregel、GraphChi、Spark GraphX、PowerGrah、Apache Giraph、Apache Hama。
6）分布式协调系统
大规模分布式系统中需要解决各种类型的协调需求，例如当当系统中加入一个进程或者物理机，如何自动获取参数和配置，当进程和物理机发生改变如何通知其他进程；单主控服务发生瘫痪，如何能够从备份中选取新的主控服务。分布式协调系统适用于大型的分布式系统，可以提供 统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等服务。
业界常见框架：Chubby、阿里 Diamond、阿里 ConfigServer、zookeeper、Eureka、Consul。
7）集群资源管理和调度
【 知识|建议收藏！一张图建立全面的大数据知识体系】资源管理调度的本质是集群、数据中心级别的资源统一管理和分配，以提高效率。其中，多租户、弹性计算、动态分配是资源管理系统要核心解决问题。
管理调度框架：Omega、Brog、Mesos、Corona、Yarn、Torca。
管理和监控工具：Ambari、Chukwa、Hue。
8）工作流管理引擎
随着企业的发展，他们的工作流程变得更加复杂，越来越多的有着错综复杂依赖关系的工作流需要增加监控，故障排除。如果没有明确的血缘关系。就可能出现问责问题，对元数据的操作也可能丢失。这就是有向无环图，数据管道和工作流管理器发挥作用的地方。
复杂的工作流程可以通过 DAG 来表示。DAG 是一种图结构。信息必须沿特定方向在顶点间传递，但信息无法通过循环返回起点。DAG 的构建是数据管道，或者是一个进程的输入成为下一个进程的输入的顺序进程。
构建这些管道可能会很棘手，但幸运的是，有几个开源的工作流管理器可用于解决这个问题，允许程序员专注于单个任务和依赖关系。
业界常见框架：Oozie、Azkaban、Luigi、Airflow。
数据仓库
随着数据库技术和管理系统的不断发展和普及，人们已不再满足于一般的业务处理。同时随着数据量的不断增大，如何能够更好地利用数据，将数据转化成商业价值，已经成为人们越来越关心的问题。
举例来说，数据库系统可以很好地解决事务处理，实现对数据的“增删改查”等功能，但是却不能提供很好的决策分析支持。因为事务处理首先考虑响应的及时性，多数情况都是在处理当前数据，而决策分析需要考虑的是数据的集成性和历史性，可能对分析处理的时效性要求不高。所以为了提高决策分析的有效性和完整性，人们逐渐将一部分或者大部分数据从联机事物处理系统中剥离出来，形成今天的数据仓库系统。
数据挖掘
分析挖掘是通过算法从大数据红提炼出具有价值的信息和知识的过程。以机器和算法为主导，充分发挥机器在数据分析挖掘中的效率和可靠性的优势，提供对结构化数据以及文本、图像、视频和语言等非结构数据分析挖掘。数据分析挖掘包括一些通用的数据挖掘方法，也包括深度学习，机器学习，统计分析等。
文章图片
数据测试
五、数据应用
大数据应用是整个大数据生命周期中最重要的一个环节之一。随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。下面和大家介绍下大数据应用方面相关技术。
基本概念
数据服务
文章图片
数据可视化
人类的眼睛是一对高带宽巨量视觉信号输入的并行处理器，拥有超强模式识别能力，配合超过 50% 功能用于视觉感知相关处理的大脑，使得人类通过视觉获取数据比任何其他形式的获取方式更好，大量视觉信息在潜意识阶段就被处理完成，人类对图像的处理速度比文本快 6 万倍。
数据可视化正是利用人类天生技能来增强数据处理和组织效率。
文章图片
数据共享
文章图片
数据预警
文章图片
应用部署
文章图片
六、数据治理
过去的十年，我们经历了数据量高速膨胀的时期，这些海量的、分散在不同角落的异构数据导致了数据资源的价值低、应用难度大等问题。如何将海量数据应用于决策、营销和产品创新？如何利用大数据平台优化产品、流程和服务？如何利用大数据更科学地制定公共政策、实现社会治理？
推荐阅读
- 知识百科|《送你一朵小红花》定档，我看出了易烊千玺的事业心
- 宝典|@青岛市民：下月起车驾管业务迎来重大变化 这份宝典建议收藏
- 开学|希腊新冠确诊病例近万 专家建议学校分阶段开学
- 病例|希腊新冠确诊病例近万 专家建议学校分阶段开学
- 科学知识|「图片新闻」兰州市欣欣嘉园社区和倍豪智创科技中心联合开展“探索七彩世界·普及科学知识”实践活动
- 大呼长|半岛亲子游首发活动“有味道”的旅行 小朋友们大呼长知识
- 美国疾控中心新指导建议引发质疑：新指导建议会加剧病毒传播
- 陈申|30多年痴迷戏衣收藏，陈申——但将深情付霓裳
- 建议|关于人脉，老一辈人给了我三点建议，记住一半就够你混出个人样
- 知识科普|幸芙手机消毒舱：手机专用黑科技消毒设备，快给你手机消个毒