|浪潮信息：企业互联网化下的数据平台升级 | 云·创课程实录( 三 )
从底层看 ， 首先是数据源 ， 包括结构化数据、半结构化数据、非结构化数据 。 然后通过获取层采集这些数据去做ETL等相应处理 。
再往上是数据层 ， 主要包括两个部分：一部分是核心库 ， 包含主数据库和数据仓库 ， 可以直接从获取层提取相应的数据；一部分是大数据平台 ， 可以处理一些稀疏数据 ， 并且把处理完的数据打到核心库里边 。
经过数据层两部分的处理 ， 接着向上提供数据的统一服务和开发 ， 包括数据分析、数据挖掘、实时处理等能力 。 再往上是针对最终客户的业务应用 ， 形成一些应用的支撑 。
本文插图
结合上述两部分内容 ， 核心数据库里面存放的大部分是稠密数据 ， 大数据平台里存放的大部分是稀疏数据 。 今天我主要介绍核心库如何处理稠密数据 。
应用需求变化
在应用的需求层面 ， 目前主要有4点变化 。 一是需要海量数据存储 ， 数据总量大、数据增长快 ， 已经到了PB级 。 二是要求数据实时入库 ， 大量新增数据需要实时入库 ， 同时还需要实时清理低价值数据 。 三是秒级分析和挖掘以防止价值点缺失 ， 需要极高的查询相应速度 。 四是复杂的业务场景 ， 频繁发生新建分区、建立索引、插入、更新等工作 ， 对数据的一致性要求更强 。
对于海量数据存储、秒级分析挖掘 ， 实际上更多的是对传统OLAP数据库的一些要求 。 而对于数据实时入库、复杂业务场景 ， 更多的是对OLTP的要求 。 但实际上很多客户既要求有OLTP这种实时入库的性能 ， 同时也要有OLAP这种秒级分析和挖掘的性能 。 所以我们就需要进一步的数据平台升级 ， 满足客户应用需求的变化 。
浪潮的分布式架构方案
浪潮提供了一个分布式的架构方案—inData ， 是软硬件一体化的方案 。
本文插图
从软件来看 ， 在计算节点上我们使用了K-DB数据库的计算引擎 ， 和K-DB独有的K-RAC技术（类似于Oracle的功能 ， 能够实现业务的动态负载 ， 同时在 n-1个节点宕机时 ， 剩下的节点还能保持高可用 ， 对于用户业务的高可用性提供了很好的支持） 。
从硬件来看 ， 硬件分为存储、网络和计算几个层次 。 我们加了存储的虚拟化 ， 把用户的所有数据分散到不同的存储节点上 ， 这种计算节点和存储节点都可以用x86服务器来进行相应的支撑 。
浪潮分布式架构的技术优势
本文插图
首先是高扩展性 ， 可以动态增加计算节点和存储节点 。 计算节点我们可以加到8个、16个或更多 ， 存储节点的数量可以增加到千的数量级 ， 并且随着节点数的增加 ， 架构的性能、容量呈线性增长 。
其次是高可靠性 ， 浪潮的分布式架构是全冗余的架构 ， 没有单点故障 。 从硬件上来讲 ， 在服务器、存储、网络方面都避免了单点故障 。 从软件层面来讲 ， 我们也支持多副本技术 ， 实现了数据级的冗余 ， 可以实现数据的两副本或者三副本 ， 实现整个系统级的高可靠性 。
第三点是高性能 ， 随着客户应用、业务的变化 ， 对数据库性能的要求更高 。 浪潮通过智能过滤、高速缓存、存储索引等技术 ， 实现了海量的吞吐、微秒级的延迟 。
第四点就是易管理 ， 浪潮提供了一体化的图形监控工具 ， 可以智能识别、定位故障源 ， 实时监控数据库软硬件的状态 ， 使用户的运维管理更加方便 。
关键技术保障HTAP高性能
上述第三点展开来讲 ， 浪潮主要是从4个方面提高了分布式架构的性能 。
推荐阅读
- 互联网|5G商用一周年，华为云向互联网企业大抛绣球
- 新智元|英国5G建设病急乱投医，这两家日本企业或成华为接盘侠
- 互联网|发放高利贷，还要窃取用户信息？这些金融APP在秀“道德底线”
- 群众网|微信中6个设置不关闭，个人信息或被“窃取”，看看你关了吗？
- 行业互联网,云计算|赛伯乐携手华为（重庆）人工智能创新中心聚焦AI前沿，助力企业数字化转型
- 运营商财经网|ChinaJoy Plus线上嘉年华 企业踊跃报名 线上游戏惊喜连连！
- 华为|外媒称华为调整5G零部件供应链，加大日本企业比例
- 行业互联网|超1800家企业退圈！电子烟风口为何飞不起来了？
- 行业互联网,5G|外媒称华为调整5G零部件供应链：大力扶持国产厂商、加大日本企业比例
- 爱集微APP|一周概念股：中芯国际成功登陆科创板上市，产业链企业业绩预告一览