江苏龙网

  1. 首页 > 资讯 > 科技 > >

云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析( 八 )


LindormTable提供的数据模型是一种支持类型的松散表结构 。相比于传统关系模型 ， LindormTable除了支持预定义字段类型外 ， 还可以随时动态添加列 ， 而无需提前发起DDL变更 ， 以适应大数据灵活多变的特点 。同时 ， LindormTable支持全局二级索引、倒排索引 ， 系统会自动根据查询条件选择最合适的索引 ， 加速条件组合查询 ， 特别适合如画像、账单场景海量数据的查询需求 。
5.3 时序引擎
LindormTS是面向海量时序数据设计的分布式时序引擎 ， 兼容开源OpenTSDB标准接口 ， 其基于时序数据特点和查询方式 ， 采用Timerange+hash结合的分区算法 ， 时序专向优化的LSM架构和文件结构 ， 支持海量时序数据的低成本存储、预降采样、聚合计算、高可用容灾等 ， 高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求 ， 整体架构如下：
云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析
文章图片

文章图片

TSCore是时序引擎中负责数据组织的核心部分 ， 其整体思想与LSM结构相似 ， 数据先写入Memchunk ， 然后Flush到磁盘 ， 但由于时序数据天然的顺序写入特征 ， 定向专用的时序文件TSFile的结构设计为以时间窗口进行切片 ， 数据在物理和逻辑上均按时间分层 ， 从而大幅减少Compaction的IO放大 ， 并使得数据的TTL、冷热分离等实现非常高效 。
TSCompute是负责时序数据实时计算的组件 ， 重点解决监控领域常见的降采样转换、时间线聚合、时序值预测等需求 ， 其通过Lindorm Stream进行数据订阅 ， 并完全基于内存计算 ， 所以 ， 整体非常的轻量、高效 ， 适合系统已预置的计算功能 。针对部分灵活复杂的分析需求 ， 用户仍可以通过对接Spark、Flink等系统实现 ， 从而支撑更多场景和适应业务变化 。
5.4 搜索引擎
LindormSearch是面向海量数据设计的分布式搜索引擎 ， 兼容开源Solr标准接口 ， 同时可无缝作为宽表、时序引擎的索引存储 ， 加速检索查询 。其整体架构与宽表引擎一致 ， 基于数据自动分区+分区多副本+Lucene的结构设计 ， 具备全文检索、聚合计算、复杂多维查询等能力 ， 支持水平扩展、一写多读、跨机房容灾、TTL等 ， 满足海量数据下的高效检索需求 ， 具体如下：
云计算|深度干货｜让数据存得起 看得见，云原生Lindorm技术解析
文章图片

文章图片

LindormSearch的数据持久化存储在LindormStore中 ， 通过自动Sharding的方式分散到多台SearchServer中 ， 每一个分片拥有多个副本 ， 支持一写多读 ， 提升查询聚合的效率 ， 同时这些副本之间共享存储 ， 有效消除副本之间的存储冗余 。
在Lindorm系统中 ， LindormSearch既可以作为一种独立的模型 ， 提供半结构化、非结构化数据的松散文档视图 ， 适用于日志数据分析、内容全文检索；也可以作为宽表引擎、时序引擎的索引存储 ， 对用户保持透明 ， 即宽表/时序中的部分字段通过内部的数据链路自动同步搜索引擎 ， 而数据的模型及读写访问对用户保持统一 ， 用户无需关心搜索引擎的存在 ， 跨引擎之间的数据关联、一致性、查询聚合、生命周期等工作全部由系统内部协同处理 ， 用简单透明的方式发挥多模融合的价值 。
5.5 文件引擎
LFS是基于LindormStore轻量封装的分布式文件模型服务 ， 其核心是提供安全认证、限流保护、多网络访问等服务化能力 ， 从而使得外部系统可以直接访问多模引擎的底层文件 ， 大幅提升备份归档、计算分析等场景的效率 。同时 ， 用户可以在离线计算系统直接生成底层数据格式的物理文件 ， 通过LFS入口 ， 将其快速导入到LindormStore中 ， 以减少对在线服务的影响 。对于部分存储计算的混合场景 ， 用户可以将计算前的源文件存在LFS ， 计算后的数据结果存在LindormTable ， 结合Spark/DLA等大规模计算引擎 ， 实现简单高效的数据湖分析能力 。


推荐阅读


上一篇：OPPO手机|iPhone 12续航成绩出炉，没有高刷屏竟然也能这么崩？

下一篇：新机发布,华为手机|5299元？华为Mate40系列今天正式发布，四大版本反击