江苏龙网

  1. 首页 > 资讯 > 科技 > >

云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析( 六 )


云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析
文章图片

文章图片

4.4 丰富检索
数据的多条件查询检索正在成为越来越多应用的基本需求 ， 新Lindorm将大幅增强索引能力 ， 满足面向海量数据的快速查询检索需求 ， 提供全局二级索引（支持全局分布式、强一致、按需索引和冗余等特性 ， 完美兼容Schemaless模型 ， 并可以自动利用索引加速非主键查询）、全文检索（通过倒排索引的方式 ， 支持多条件随机组合查询 ， 应用侧透明查询 ， 自动索引优化）、全文索引（支持分词、搜索、排序等）、时序索引（支持时序数据的高效查询、聚合）等功能 。
4.5 智能化服务
面向服务自助化、运维智能化、运营数据化的目标 ， Lindorm全新LDInsight工具 ， 具备信息透视、系统管理、智能诊断等功能 ， 帮助应用开发者/DBA轻松掌握系统运行状态 ， 白屏化完成常见系统管理和数据访问操作 ， 以及自动诊断使用过程中的常见问题 ， 比如慢请求、热点、性能诊断、Schema设计、索引推荐等 ， 让用户和维护者更加简单、高效地使用Lindorm ， 减少服务对人的依赖 。
4.6 开放数据生态
作为数据全域处理的一环 ， 如何与关系数据库、批流计算平台、日志采集平台等系统无缝打通和一体化使用是Lindorm重点建设的方向 。新Lindorm原生提供LTS(Lindorm Tunnel Service ， 原BDS) ， 支持简单易用的数据交换、处理、订阅等能力 ， 满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求 ， 实现面向Lindorm的一站式数据生态服务 。
除此之外 ， Lindorm将继续完善多一致性、跨机房容灾、扩展性、稳定性等能力 ， 成为云计算时代的"大多数选择" 。
五架构解析
Lindorm系统基于存储计算分离架构设计 ， 以适应云计算时代资源解耦和弹性伸缩的诉求 。其中云原生存储引擎LindormStore为统一的存储底座 ， 向上构建各个垂直专用的多模引擎 ， 包括宽表引擎、时序引擎、搜索引擎、文件引擎 。在多模引擎之上 ， Lindorm既提供统一的SQL访问 ， 支持跨模型的联合查询 ， 又提供多个开源标准接口(HBase/Phoenix/Cassandra、OpenTSDB、Solr、HDFS) ， 满足存量业务无缝迁移的需求 。最后 ， 统一的数据Stream总线负责引擎之间的数据流转和数据变更的实时捕获 ， 以实现数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等能力 。下文 ， 我们将对各个组件的关键技术和能力做一个简单介绍 。
5.1 存储引擎
LindormStore是面向公共云基础存储设施（如云盘、DBFS、OSS）设计、兼容HDFS协议的分布式存储系统 ， 并同时支持运行在本地盘环境 ， 以满足部分专有云、专属大客户的需求 ， 向多模引擎和外部计算系统提供统一的、与环境无关的标准接口 ， 其整体架构如下：
云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析
文章图片

文章图片

LindormStore支持四种软件定义的存储资源形态 ， 分别满足不同场景下的性能与成本差异需求：
a) 性能型 ， 通过DBFS的共享存储技术 ， 一块云盘可以被挂载到多个ECS节点 ， 并同时读写云盘上的数据 ， 从而在ECS节点宕机时 ， 保障数据的高可用访问 。相比基于普通云盘集群的至少存储6个副本（云盘本身底下是3副本 ， 基于云盘部署的分布式存储系统仍然需要设置2副本） ， 数据的总副本数可以减少50% ， 有效消除上云之后的存储膨胀问题 。但受限于DBFS的设计 ， 其本身并不是无限扩展的 ， 单个DBFS的磁盘空间、IOPS、可挂载节点数存在上限 ， 并且由于分布式锁与通信的关系 ， 共享挂载节点数越少则性能越好 。所以 ， LindormStore负责将多个DBFS融合 ， 重点解决文件分块、数据块分配及共享、均衡调度等问题 ， 形成统一目录的、无限扩展的分布式存储 ， 提供HDFS协议的数据服务 。基于此技术 ， 采用ESSD作为介质 ， Lindorm对外向用户提供性能型存储形态 。


推荐阅读


上一篇：OPPO手机|iPhone 12续航成绩出炉，没有高刷屏竟然也能这么崩？

下一篇：新机发布,华为手机|5299元？华为Mate40系列今天正式发布，四大版本反击