京东小程序数据中心架构设计与最佳实践( 四 ) _小程序

在这样的背景下，我们落地了小程序的自定义分析引擎，底层采用了clickhouse这种适合做即席查询的olap引擎，用来存储小程序上报数据.
为什么采用clickhouse? clickhouse是基于列式来存储数据，查询性能非常高，在亿级数据的体量下，可以做到秒级的响应，适合做在线的OLAP 。
同时，ck支持水平的拓展，适合大数据量的存储，支持按天进行数据的分区存储，在建表时，根据记录的创建时间划分partition，在查询数据时，可以只查某些partition分区的数据，也可以加快查询的效率。
包括本地表和分布式表，本地表运行在各个具体的数据节点，分布式表负责数据的转发和路由。写入数据只写本地表，50-200M/S ,对于大量的数据更新非常实用。
在小程序自定义分析引擎中，规范了数据上报协议，首先由用户配置需要上报的事件ID和业务指标，按照协议约定调用前端jsAPI上报业务数据。在自助查询区域，当用户触发查询时，先基于规则引擎利用自定义事件ID生成查询规则SQL脚本，将规则下推至服务端执行引擎，执行引擎从CK获取业务数据，完成业务数据的一次自定义查询。
八、巧用Elasticsearch特性，
让用户行为分析不再困难
痛点问题
需要实时分析小程序的pv、uv、新增用户数、累计用户数以及关注用户数等用户行为类指标，帮助小程序商家掌握自身小程序的用户波动情况。
如何解决

实时性，从小程序的用户行为埋点数据上报到可访问，支持秒级响应；
全文检索，基于倒排索引，支持灵活的搜索分析，支持按照小程序不同业务维度进行聚合分析，满足不同的业务需要；
易于运维，小程序的日均DAU为百万级，可以基于天、月等维度创建索引，方便进行冷热数据分析。

文章插图
创建ES模板
周期性按天创建ES索引：

文章插图

文章插图
利用索引主键碰撞实现新增&累计用户统计：
语法:
index语法: PUT miniapps/_doc/1
create语法: PUT miniapps/_create/1
语义:
index自动生成id,多次创建,会生成多个document;
index多次索引同一个id,会删除重建,版本号一直++,上个版本删除,保留最新版本;
create自动生成id,多次创建,会生成多个document;
create的重复创建指定文档id的内容,第二次执行创建会报错(主键碰撞),而不是版本号++;
我们是如何做小程序的实时用户行为分析的呢？行为分析需要实时计算小程序的pv、uv、新增用户数、累计用户数以及关注用户数等用户行为类指标，帮助小程序商家掌握自身小程序的用户波动情况。我们将这些数据统一放在ES中进行查询，主要考虑到ES支持灵活的搜索分析，支持按照不同维度进行聚合分析，保证了数据查询的灵活性和实时性的需要。
在创建索引时，不是将数据都堆放到一个索引，而是将按天去创建，基于索引模板，周期性地创建ES索引，保证索引查询效率。
在构建小程序的新增用户的指标时，利用了ES索引碰撞的原理，设置操作类型operateType为create，create的语义是重复创建指定文档id的内容,第二次执行创建会报错(出现主键碰撞),这样的话，保证新增用户的记录在ES索引中只出现一次。
九、不足和展望
1.沉淀小程序行业数据解决方案
沉淀比如车企、保险、3C家电等行业类数据，形成统一的京东小程序行业数据解决方案
2.技术沉淀复用
后续可以把成型的京东小程序数据分析技术方案推广到其他技术栈，比如RN等平台系统
3.智能化建设
考虑如何基于机器学习、人工智能、ChatGPT等技术手段，加强京东小程序数据的智能化建设，如何结合机器学习、深度学习、人工智能AI等技术手段，继续实现京东小程序数据中心的智能化建设。