江苏龙网

  1. 首页 > 资讯 > 科技 > >

云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析( 五 )


云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析
文章图片

文章图片

新Lindorm将重点围绕云原生、多模型、低成本持续打造海量数据存储处理场景的竞争力 ， 并通过集团云原生上云战役 ， 实现一套产品同时服务好内外客户 ， 提供更稳定、更高效、更经济的基础数据库服务 ， 在以下能力获得新的飞跃：
4.1 融合多模
系统支持宽表、时序、搜索、文件四种模型 ， 提供统一联合查询和独立开源接口两种方式 ， 模型之间数据互融互通 ， 帮助应用开发更加敏捷、灵活、高效 。多模型的核心能力由四大数据引擎提供 ， 包括：
宽表引擎 ， 面向海量KV、表格数据 ， 具备全局二级索引、多维检索、动态列、TTL等能力 ， 适用于元数据、订单、账单、画像、社交、feed流、日志等场景 ， 兼容HBase、Phoenix(SQL)、Cassandra(CQL)等开源标准接口 。
时序引擎 ， 面向IoT、监控等场景存储和处理量测数据、设备运行数据等时序数据 。提供HTTP API接口(兼容OpenTSDB API)、支持SQL查询 。针对时序数据设计的压缩算法 ， 压缩率最高为15:1 。支持海量数据的多维查询和聚合计算 ， 支持降采样和预聚合 。
搜索引擎 ， 面向海量文本、文档数据 ， 具备全文检索、聚合计算、复杂多维查询等能力 ， 同时可无缝作为宽表、时序引擎的索引存储 ， 加速检索查询 ， 适用于日志、账单、画像等场景 ， 兼容开源Solr标准接口 。
文件引擎 ， 提供共享存储底座的服务化访问能力 ， 从而加速多模引擎底层数据文件的导入导出及计算分析效率 ， 兼容开源HDFS标准接口 。
对于目前使用类HBase+ElasticSearch或HBase+OpenTSDB+ES的应用场景 ， 比如监控、社交、广告等 ， 利用Lindorm的原生多模能力 ， 将很好地解决架构复杂、查询痛苦、一致性弱、成本高、功能不对齐等痛点 ， 让业务创新更高效 。
4.2 云原生弹性
Lindorm基于存储计算分离的架构 ， 支持计算资源、存储资源的独立弹性伸缩 ， 并将全新提供Serverless服务 ， 实现按需即时弹性、按使用量付费的能力 。Lindorm Serverless基于多租户隔离、智能调度、弹性IaaS底座构建 ， 具备企业级SLA保障 ， 满足内部大部分业务的可用性要求 ， 从而让一线同学大幅降低容量管理的运维负担 ， 消除因流量波动导致的稳定性风险 。
面对互联网场景的持续波动和不可预测的业务流量 ， 弹性是Lindorm渴望已久的能力 ， 也将是未来持续重点聚焦的方向 。
4.3 极致性价比
Lindorm面向海量数据场景而生 ， 低成本是业务的普遍需求和产品的持续追求 。在存储上 ， 将新上线三大核心能力：
a) 支持透明存储到低成本介质 ， 目前默认为OSS标准型 ， 后续将支持低频型、归档型 。同时 ， 系统内置缓冲加速层 ， 让查询实时性仍有较大的保障 ， 适合读并发不大的数据；
b) 支持智能冷热分离 ， 针对数据随着时间线逐渐热变冷的场景 ， 典型如监控、社交聊天、交易账单等 ， Lindorm内部将自动识别数据的冷热 ， 并进行分离存储到高性能介质和低成本介质（两者之间的单价成本差可高达10:1） ， 而用户读写访问保持完全透明 ， 并且热数据的访问性能还能有所加速 。
c) 支持自适应压缩 ， 针对数据的不同类型和特点 ， 系统将自动选择混合的字典、前缀、Delta、熵编码等压缩算法 ， 相比业界通用算法 ， 整体压缩率提升10%~30% 。
在性能上 ， Lindorm宽表引擎在吞吐延迟上做了非常多的突破 ， 其基准性能是开源HBase的7倍（下图为参考报告）；Lindorm时序引擎面向数据天然顺序写入和近线访问的特点 ， 融入了许多创新型的高性能结构设计 ， 其基准性能在目前的信通院榜单中处于第一的位置 ， 大幅领先于其他专用时序数据库 。


推荐阅读


上一篇：OPPO手机|iPhone 12续航成绩出炉，没有高刷屏竟然也能这么崩？

下一篇：新机发布,华为手机|5299元？华为Mate40系列今天正式发布，四大版本反击