江苏龙网

  1. 首页 > 资讯 > 科技 > >

|持续定义 Saas 模式云数据仓库+实时分析( 三 )


|持续定义 Saas 模式云数据仓库+实时分析
本文插图

MaxCompute Hologres将实时分析的架构变得简单和高效 。 以实时分析为中心设计 ，Hologres能够实现实时写入和实时分析、查询 。 MaxCompute Hologres提出云原生HSAP架构中 ， 一份数据同时用于实时分析、在线服务和实时离线数据统一存储 ， 与SaaS模式云数据仓库MaxCompute完美结合 。
|持续定义 Saas 模式云数据仓库+实时分析
本文插图

另一种场景 ， MaxCompute Hologres可以作为云数据仓库MaxCompute分析加速能力模块和ADS层建模能力模块 。 无数据搬迁、数据分析效率高 。 ADS层建模+服务统一、OLAP增强 ， 如下图所示 。
|持续定义 Saas 模式云数据仓库+实时分析
本文插图

再看kappa架构 ， Kappa架构是基于流式架构的升级 ， 需要回放和关联数仓 ， 后续还要考虑实时数据和模型如何入仓 。 开源方案实时数仓有以下问题：实时成本高、开发周期长、业务支持不灵活 。 Kappa架构的原理就是在Lambda 的基础上进行了优化 ， 将实时分析和流部分进行了合并 ， 将数据 存储和通道以消息队列进行替代 。 因此对于Kappa架构来说 ， 依旧以流处理为主 ， 但是数据却在数据湖 层面进行了存储和简单建模 ， 当需要进行离线分析或者再次计算的时候 ， 则将数据湖的数据再次经过消息队 列重播一次 。 Kappa架构看起来简洁 ， 但实施难度相对较高 ， 尤其是对于数据回放部分 。
|持续定义 Saas 模式云数据仓库+实时分析
本文插图

如下图所示 ， MaxCompute Hologres可以将实时、离线、分析、服务一体化 ， 做到了实时离线联合分析 ， 冷热温三类数据全洞察 。
|持续定义 Saas 模式云数据仓库+实时分析
本文插图

四、实时分析案例
针对实时分析的常用场景 ， Saas模式云数据仓库MaxCompute在拥有了Hologres后提出了：实时、离线、分析、服务一体化方案 。 即前文描述的Lambda架构简化、交互查询增强、kappa架构增强 ， 实时离线联合分析 ， 冷热温三类数据全洞察的方案能力 。
此方案适用于电商、游戏、社交等互联网行业数据化运营 ， 如智能推荐、日志采集分析、用户画像、数据治理、业务大屏、搜索等场景 。
方案优势：阿里巴巴最佳实践的大数据平台 ， 1）技术领先性；2）降本提效；3）高附加值业务收益；
涉及产品： 日志服务SLS、数据传输DTS、DataHub、实时计算Flink、交互式分析、云数仓MaxCompute、数据治理DataWorks、Quick BI 报表、 DataV大 屏、ES搜索、机器学习PAI 。
|持续定义 Saas 模式云数据仓库+实时分析
本文插图

小影是一款原创视频、全能剪辑的短视频社区APP ， 面向大众提供短视频创作工具 ， 包括视频剪辑、教 程玩法、视频拍摄 ， 谷歌应用商城收入榜前五 ， 全球累计用户突破8.9亿 。
用户标签数据开发：客户通过 MaxCompute 针对每 天APP产生的客户基础属性数据、 行为日志数据、内容数据等进行 计算 ， 每天离线更新用户标签的 数据 ， 支持营销业务的使用 。
用户画像实时洞察：客户基于MC离线计算好的用户标 签 ， 通过MC-Hologres进行多标 签、多维度的实时分析 ， 了解用户 属性标签与内容标签之间的关联性 ，洞察交叉销售机会 ， 并通过人群圈 选 ， 进行APP消息PUSH 。
实时视频推荐：客户通过Flink + MaxCompute +MC- Hologres +PAI搭建个性化 实时推荐系统 ， 基于用户特征和实 时行为特征 ， 实时推荐个性化的短 视频内容 。


推荐阅读


上一篇：技术研讨会|风电雷击技术研讨会成功召开

下一篇：智能|Canalys：2021年全球智能配件市场规模预计将超过5亿台