江苏龙网

  1. 首页 > 资讯 > 科技 > >

云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析( 四 )


智能化 ， 虽然智能与云原生是两个平行的词 ， 但智能是实现云原生技术理念的重要手段 ， 弹性伸缩、无人运维、按需使用、低成本等能力的建设都离不开智能化 ， 比如基于流量的统计分析和预测 ， 做更加准确的资源调度 ， 从而提供更好的弹性；比如数据冷热的智能识别 ， 从而分离存储降低成本；比如通过智能诊断、智能索引 ， 大幅提升系统自我稳定性 ， 减少运维投入 。所以 ， 云原生的Lindorm ， 一定是内置智能 。
3.3 冷热数据一体化存储
面对数据价值的差异化和海量数据的存储成本压力 ， 冷热分离是过去时间里业界解决此问题的主要思路 ， 虽然在各个系统和解决方案中的实施各有差异和不足 ， 但我们看到了业务对于冷热数据底层分离和上层统一的思想认可和强烈需求 ， 用户希望获得一种理论可行的最低存储成本 ， 而无需担心冷热的界定和双向转换、冷数据的查询降级、一致性语义等问题 。
Lindorm期望原生提供冷热数据的一体化存储 ， 并确保冷数据存储成本达到业界最低标准 ， 让业务不再疲于数据的搬挪腾转 ， 重点构建以下能力：
统一读写访问 ， 冷热温数据的差异只存在于存储侧 ， 而在与业务对接的查询写入侧保持一致 。不同数据之间拥有不同的性能和成本 ， 但拥有相同的数据视图和功能 ， 从而使得终端用户保持一致的数据体验 。
冷热自动识别 ， 对于随着时间流逝、数据逐渐由热转冷的常见场景 ， 系统将根据物理时间点自动识别和分离冷热数据；对于没有时间属性的场景 ， 系统将借助于机器学习 ， 判断数据的冷热特征和访问预测 。无论哪种方式 ， 数据的冷热转换都是双向的 ， 从而匹配业务的灵活变化 。
冷热异构处理 ， 针对冷数据系统将使用更高压缩比的算法、更低成本的存储介质和更加懒惰的数据清理策略等 ， 使得冷数据的综合存储成本仅有1/10以下 。
自由的冷存储介质 ， 如何构建极低成本的冷存储是一件需要软硬件+机房设施协同的大工程 ， 而这并不是Lindorm的重心方向 ， 所以在具体的冷存储介质上 ， 我们Lindorm选择聚焦于此的OSS存储(在部分环境受限的场景 ， 则继续使用传统的HDD磁盘） ， 并结合面向数据结构的高压缩、数据缓存、生命周期管理等 ， 其整体性能、成本会远优于业务直存OSS 。
冷温热多层 ， 虽然冷热是大部分业务对数据的快速分离策略 ， 但也存在冷、温、热、极速等更多层次的需求 ， 系统支持用户定义多层存储和异构处理方式 ， 进一步满足业务的灵活性 。
3.4 引擎垂直化
在上文中 ， 我们提到基于通用KV引擎构建多模的解决方案 ， 这是一种快速实现多模能力的扩展方式 ， 但却是一种相对中间的状态 。面向表、时序、时空、图等各个垂直场景 ， 其数据的特点和应用需求差异明显 ， 比如对于时序场景 ， 数据生而自带时间属性 ， 并且沿着时间线生成新数据 ， 所以通过时间维度进行数据分区的方式就显得非常简单高效 ， 并且数据的组织设计也可以去匹配这些特点 。目前时序和图数据库的Top1产品(InfluxDB、Neo4j)都是运用了时序原生引擎、图原生引擎的思想 ， 来打造各自在垂直领域的技术优势 ， 我们也认为这是垂直模型被规模化应用的趋势选择 。
除了多模混合场景之外 ， 在面对垂直场景的独立数据存储与处理时 ， Lindorm期望具备不亚于任何专用数据库的能力 ， 所以 ， 多模型的Lindorm ， 选择引擎垂直化的架构 ， 从而使得各个数据引擎均拥有优秀的可创新性和灵活性 ， 在专用场景也保持技术竞争力 。
四云原生多模数据库Lindorm
面对多模数据管理的应用需求和云原生的技术趋势 ， 着眼于集团云原生战略、5G/IoT时代的未来发展 ， 我们正式升级Lindorm为云原生多模数据库 ， 融合原Lindorm和TSDB过去的技术积累 ， 支持多类型、任意规模数据的低成本存储处理和自适应弹性伸缩 ， 服务于互联网、IoT、车联网、广告、社交、监控、游戏、风控等场景 。


推荐阅读


上一篇：OPPO手机|iPhone 12续航成绩出炉，没有高刷屏竟然也能这么崩？

下一篇：新机发布,华为手机|5299元？华为Mate40系列今天正式发布，四大版本反击