软件架构|基于Flink和ClickHouse打造轻量级点击流实时数仓 Flink和ClickHouse分别是实时计算和（

【软件架构|基于Flink和ClickHouse打造轻量级点击流实时数仓】Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。
点击流数仓分层设计
点击流实时数仓的分层设计仍然可以借鉴传统数仓的方案，以扁平为上策，尽量减少数据传输中途的延迟。简图如下。

文章图片
*DIM层：维度层， MySQL镜像库，存储所有维度数据。
*ODS层：贴源层，原始数据由Flume直接进入Kafka的对应topic 。
*DWD层：明细层，通过Flink将Kafka中数据进行必要的ETL与实时维度join操作，形成规范的明细数据，并写回Kafka以便下游与其他业务使用。再通过Flink将明细数据分别写入ClickHouse和Hive打成大宽表，前者作为查询与分析的核心，后者作为备份和数据质量保证（对数、补数等）。
*DWS层：服务层，部分指标通过Flink实时汇总至Redis ，供大屏类业务使用。更多的指标则通过ClickHouse物化视图等机制周期性汇总，形成报表与页面热力图。特别地，部分明细数据也在此层开放，方便高级BI人员进行漏斗、留存、用户路径等灵活的ad-hoc查询，这些也是ClickHouse远超过其他OLAP引擎的强大之处。

软件架构|基于Flink和ClickHouse打造轻量级点击流实时数仓

推荐阅读

谨慎普洱茶副作用,普洱茶宜温饮

十个提高VS Code工作效率的技巧

羊舍驱蚊蝇小妙招羊舍驱蚊虫用什么好

大千足球@但是大罗真的属于另一个级别，托蒂：我不是不尊重梅西或C罗

TVB|被雪藏3个月首现身幕前，TVB小花仍剧组回归无期，近况更现幸福肥

疯狂|心动的信号5：“芋圆CP”合体营业，疯狂秀恩爱，就差一个官宣了

兰德酷路泽|今年最讨人喜欢的三款中大型SUV，竟有理想ONE，还是电动车

化妆棉使用步骤化妆棉使用步骤

|跨省游市场加速回暖多地赴粤抢客源

文章|离婚后更潇洒！美女深夜为文章擦泪戴帽同回住所

铁骑|“咆哮式”疏散群众！东莞铁骑上了热搜

小种红茶泡法,正山小种红茶壶泡法

牛奶树养殖方法

一名90后辣妈妈：号称永不倒闭，最后声名狼藉，又一国产企业倒下？曾经的国产巨头

王诗龄谈恋爱了？疑似约会私照流出，李湘富养观念要翻车

怎么样面对女朋友说：我从你身上看不到未来

销售|开发投资转正、销售降幅收窄，楼市或基本走出疫情影响

虎牌保险柜怎么样

“女友是二婚，打算结婚准岳母提已一要求，让我想退婚了”

##CPU性能提升就像“挤牙膏”，为什么显卡每一代提升都那么大？