江苏龙网

  1. 首页 > 资讯 > 科技 > >

|持续定义Saas模式云数据仓库+实时搜索( 三 )


本文插图
|持续定义Saas模式云数据仓库+实时搜索
本文插图

三、How：最佳实践
最佳实践主要包括数据集成和数据监控两部分 ， 其中数据集成指的是MaxCompute和Elasticsearch两个组件之间怎么做数据交互 。
（一）数据集成
下图是一个在线教育的案例 ， 该案例大的背景是要监控企业内部包括用户的C端产生的日志 ， 还有内部的服务端产生的日志 ， 它由MaxCompute做数据的预分析 ， 然后交由Elasticsearch做数据监控 ， 其痛点主要有如下三点：
1.监控数据实时性要求高；2.流量波动大 ， 自建集群投入成本高；3.数据权限粒度要求高 。
|持续定义Saas模式云数据仓库+实时搜索
本文插图

对于以上痛点 ， 一般通用的解决方案如上图所示 ， 包括数据采集和集中、数据ETL、数据分析和展现三部分 ， 最后会得到如下图所示的DashBoard 。
|持续定义Saas模式云数据仓库+实时搜索
本文插图

MaxCompute和Elasticsearch之间的数据交互是非常重要的一部分 ， 将MaxCompute的数据导入Elasticsearch主要分为如下五步：
1.准备工作创建DataWorks工作空间并开通MaxCompute服务 ， 准备MaxCompute数据源、创建阿里云Elasticsearch实例 。
2.步骤一：购买并创建独享资源组购买并创建一个数据集成独享资源组 ， 并为该资源组绑定专有网络和工作空间 ， 独享资源组可以保障数据快速、稳定地传输 。
3.步骤二：添加数据源将MaxCompute和Elasticsearch数据源接入DataWorks的数据集成服务中 。
4.步骤三：配置并运行数据同步任务配置一个数据同步的脚本 ， 将数据集成系统同步成功的数据存储到Elasticsearch中 ， 然后将独享资源组作为一个可以执行任务的资源 ， 注册到DataWorks的数据集成服务中 ， 这个资源组将获取数据源的数据 ， 并执行将数据写入Elasticsearch中的任务（该任务将有数据集成系统统一下发） 。
5.步骤四：验证数据同步结果在Kibana控制台中 ， 查看同步成功的数据 ， 并按条件查询数据 。
（二）数据监控
经过上面的步骤 ， 数据已经导入了Elasticsearch ， 我们做数据监控主要有如下两步：
1.使用Kibana的discover ， view ， dashboard和其他对象来查看这些数据 。
|持续定义Saas模式云数据仓库+实时搜索
本文插图

2.通过导入预先准备好的Kibana对象 ， 可以统一显示直播数据 。
|持续定义Saas模式云数据仓库+实时搜索
本文插图

本文为阿里云原创内容 ， 未经允许不得转载 。


推荐阅读


上一篇：|中国互联网百强名单发布 阿里、腾讯、美团分列三强

下一篇：|UP主营销、虚拟明星形象....2020品牌IP玩法新趋势