江苏龙网

  1. 首页 > 资讯 > 科技 > >

云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析

一背景
【云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析】作为面向大数据场景的半结构化、结构化存储系统 ， 云原生多模数据库Lindorm已经在阿里发展了近十年 ， 并始终保持着快速的能力更新和技术升级 ， 是目前支撑阿里经济体业务的核心数据库产品之一 。在过去的岁月 ， 伴随着经济体内部对于海量结构数据存储处理的需求牵引 ， 其在功能、性能、稳定性等方面的诸多创新历经了长时间的大规模实践考验 ， 被全面应用于阿里集团、蚂蚁集团、菜鸟、大文娱等各个业务板块 ， 成为目前为止公司内部数据体量最大、覆盖业务最广的数据库产品 。
与此同时 ， 面对技术商业化、集团云化的推进 ， 我们看到了更多百花齐放的应用数据需求和开放生态 ， 以及Lindorm在此过程中的问题与挑战 。如何适应云原生、5G/IoT时代的发展趋势 ， 如何解决一套产品同时服务好内外客户 ， 让以内养外成为产品商业化的竞争力源泉 ， 是Lindorm在过去一年的主要思考和发展方向 ， 希望通过本文向大家做一个综合介绍 ， 分享我们过去面临的问题挑战、解决思路及Lindorm的新定位、新演进 ， 文章有点长 ， 感谢大家的阅读和建议 。
二问题与挑战
2.1 多样化的数据需求
Lindorm的架构起源于Bigtable ， 其核心是LSM引擎+存储计算分离 ， 并融入了类CosmosDB的多副本多一致性设计和二级索引、数据Schema等能力 ， 适合于互联网通用场景的海量半结构、结构化数据的在线存储与简单处理 。
然而 ， 现代应用场景的玩法和功能越来越丰富 ， 除了高扩展、低延时、高可用、低成本等核心需求之外 ， 简单分析、多维检索等高级数据处理正在成为越来越多应用的基本需求 。为此 ， 我们看到lindorm之上的用户 ， 通常会有两个选择：
直接基于Lindorm进行数据检索或分析 ， 通过系统本身的扩展并发能力 ， 来保障处理效率满足应用需求 。这种方式最大的优点是使用简单、开发便捷 ， 但不可避免在规模和成本制约下 ， 会存在瓶颈；
通过数据通道 ， 部分数据转存到搜索系统(如ES、Solr等) ， 满足多维检索的需求；部分数据转到OLAP或数仓系统 ， 满足统计分析的需求 。这种方式最大的优点 ， 是集合各个系统的优势能力 ， 在扩展性上可以支撑很大的业务规模 ， 但不可避免带来维护的复杂和数据的冗余 。并且 ， 对于异构系统之间的数据模型差异和一致性问题 ， 通常需要业务层做针对性处理 ， 再加上多套系统的学习理解 ， 使得应用开发成本大幅升高 ， 让中小规模企业的用户群体望而却步 。
除了通用数据处理需求的多样化之外 ， 在部分垂直场景下 ， 业务期待专用的数据处理能力 ， 使得在开发效率、运行成本等方面能有数量级的提升 ， 以应对更大规模的数据增长 。比如 ， 在监控场景 ， 公司内部的监控系统大部分都基于lindorm进行构建 ， 应用期望将指标数据的降采样、预聚合、预测分析等常见能力可以下沉到数据库系统 ， 因此 ， TSDB、OpenTSDB、InfluxDB等时序数据库应运而生 ， 专注于解决如Metric指标的时序数据存储问题 ， 大幅提升了监控/IoT场景中的设备时序数据处理能力 。但是 ， 应用也面临着新的烦恼 ， 专用时序数据库的引入 ， 提升了指标Metric数据的处理能力 ， 但并不能去除系统中的其他数据库 ， 如Log、Tracing、设备元数据库等通用数据仍需要存储在Lindorm中 ， 部分场景可能还需要引入搜索系统来加速查询 ， 系统的架构和维护变得越来越复杂 。
类似情景还有不少 ， 比如社交场景的消息推送、内容存储、聊天搜索等 ， 游戏场景的道具、聊天、关系、录像等存储 ， 广告场景的画像、点击日志、物料等存储 ， 这些数据的多样化需求带动了多类型的存储系统的发展 ， 在面对复杂场景时 ， 相比于传统的单一存储选型 ， 基于多套系统的存储解决方案大幅提升了系统的运行效率 。但为此所付出的是 ， 复杂数据库组合选型以及多系统架构维护下的业务时间成本和人力成本 ， 我们不禁想问 ， 下一站的架构该是什么？


推荐阅读


上一篇：OPPO手机|iPhone 12续航成绩出炉，没有高刷屏竟然也能这么崩？

下一篇：新机发布,华为手机|5299元？华为Mate40系列今天正式发布，四大版本反击