江苏龙网

  1. 首页 > 资讯 > 科技 > >

云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析( 七 )


b) 标准型 ， 整体技术方案与性能型一致 ， 其存储介质采用高效云盘 。
c) 容量型 ， 针对海量数据低成本存储的诉求 ， 我们通过分布式Buffer+OSS的方式 ， 构建了弹性、低成本的容量型存储形态 。其核心思想是数据同步写入到分布式Buffer层 ， 然后异步迁移到OSS存储 ， 可按需设置一定的读缓存 。分布式Buffer层可以保障数据的持久化和可靠性 ， 并具备Log Sync语义 ， 所以其写入能力与性能型/标准型一致 ， 特别适合海量数据下的低成本存储、高吞吐写入、弱查询要求的场景需求 。
d) 本地型 ， 针对部分无法提供云基础存储设施的环境 ， LindormStore也支持基于本地盘构建 ， 通过数据的三副本机制保障数据的高可靠 ， 适合于专有云、轻量化输出场景 。
面对真实场景的数据冷热特点 ， LindormStore支持性能型/标准型、容量型多种存储混合使用的形态 ， 结合多模引擎的冷热分离能力 ， 以及云基础存储OSS/DBFS的按需弹性特点 ， 实现冷热存储空间的自由配比 ， 让用户的海量数据进一步享受云计算的低成本红利 。
5.2 宽表引擎
LindormTable是面向海量半结构化、结构化数据设计的分布式NoSQL系统 ， 兼容HBase、Phoenix(SQL)、Cassandra等开源标准接口 。其基于数据自动分区+分区多副本+LSM的架构思想 ， 具备全局二级索引、多维检索、动态列、TTL等查询处理能力 ， 支持单表百万亿行规模、千万级并发、毫秒级响应、跨机房强一致容灾等 ， 高效满足业务大规模数据的在线存储与查询需求 ， 整体架构如下：
云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析
文章图片

文章图片

LindormTable的数据持久化存储在LindormStore中 ， 表的数据通过自动Sharding分散到集群中的多台服务器上 ， 并且每一个Parition可以拥有1至N个副本 ， 这N个副本拥有主、从两种角色 ， 主从副本可以加载在不同的Zone ， 从而保障集群的高可用和强一致 。针对不同的一致性模式 ， 主从副本之间的数据同步和读写模式如下：
a) 强一致模式 ， 只有主副本提供读写 ， 数据会异步回放到从副本,主副本所在节点故障 ， 从副本晋升为主（晋升之前会保障数据同步完成 ， 从副本拥有所有最新数据 ， 整体过程由Master协调负责）
b) 最终一致模式 ， 主从副本都提供读写 ， 数据会相互同步 ， 保证副本之间的数据最终一致 。
LindormTable的多副本架构基于PACELC理念设计 ， 每一个数据表都支持单独支持设置一致性模式 ， 从而拥有不同的可用性和性能 。在最终一致模式下 ， 服务端会对每一个读写请求在一定条件下触发多副本并发访问 ， 从而大幅提升请求的成功率和减少响应毛刺 。该并发机制建立在内部的异步访问框架上 ， 相比于启动多线程 ， 额外资源消耗可以忽略不计 。对于并发访问的触发条件 ， 主要包括两个类型：其一是限时触发 ， 对于每一个请求 ， 都可以单独设置一个GlitchTimeout ， 当请求运行时间超过该值未得到响应后 ， 则并发一个请求到其他N-1个副本 ， 最终取最快的那个响应；其二是黑名单规避 ， 服务端内部会基于超时、抛错、检测等机制 ， 主动拉黑存在慢、Hang、死等问题的副本 ， 使得请求能够主动绕开受软硬件缺陷的节点 ， 让服务最大可能保持平滑 。对于像掉电Kill这样的Hang死场景 ， 在节点不可服务至失去网络心跳往往会存在一两分钟的延迟 ， 利用LindormTable的这种多副本协同设计 ， 可以将影响控制在10秒以内 ， 大幅提升服务的可用性 。
LindormTable的LSM结构面向冷热分离设计 ， 支持用户的数据表在引擎内自动进行冷热分层 ， 并保持透明查询 ， 其底层结合LindormStore的冷热存储混合管理能力 ， 大幅降低海量数据的总体存储成本 。


推荐阅读


上一篇：OPPO手机|iPhone 12续航成绩出炉，没有高刷屏竟然也能这么崩？

下一篇：新机发布,华为手机|5299元？华为Mate40系列今天正式发布，四大版本反击