Flink Native Windowing 机制引入:对于窗口类型的有状态特征,我们目前采用上文所述的抽象 SlotState 时间切片方案统一进行支持 。另外 Flink 本身提供了非常完善的窗口机制,通过 Window Assigner、Window Trigger 等组件可以非常灵活地支持各种窗口语义 。因此后续我们也会在窗口特征计算场景引入 Flink 原生的 Windowing 机制,更加灵活地支持窗口特征迭代 。
Flink HybridState Backend 架构:目前在字节的线上场景中,Flink 底层的 StateBackend 默认都是使用 RocksDB 存储引擎 。这种内嵌的存储引擎不能通过外部机制去提供状态数据的回灌和多任务共享,因此我们需要支持 KV 中心化存储方案,实现灵活的特征状态回溯 。
静态属性类型特征统一管理 :通过特征平台提供统一的 DSL 语义,统一管理其他外部静态类型的特征服务 。例如一些其他业务团队维度的用户分类、标签服务等 。作者介绍:
郭文飞,字节跳动推荐系统基础服务方向负责人 。2015 年初加入字节,主要负责推荐系统基础服务方向,例如消重、计数、特征等 。
推荐阅读
-
-
胡同|《胡同》:孙晓敏能成为胡同一姐,才知道当时社会的好
-
-
科学|日本研究机构澄清:流行毒株仅发生少量碱基变异
-
谷秋养生|对你后半生有益,如何预防脑出血?医生建议:5个饮食小妙招
-
二郎神侃球|王楚钦这些年轻国手,为何国际比赛表现一般?,波尔的疑问
-
-
网购|又一网购平台出事,创始人带260亿远走高飞,1200万会员蒙受损失
-
游戏资讯播报|云顶之弈出手机版?用向日葵远程控制随时吃鸡!
-
青年|宝可梦原来不是任天堂出品?制作它的公司最早竟是办杂志起家
-
-
央视网|湖南张家界一男子在学校附近持刀伤人 4名学生受伤
-
海带丝|海带和它是天敌,万不可放一起,很多人不知道,回去告诉家人
-
李小龙|GenG淘汰管泽元金句火了!赛后连发5条微博,LCK观众开喷解说哀嚎
-
知足常乐|换新手机了,旧手机上的重要数据,怎样快速转移到新手机上?
-
上市|线上线下、英力电子、恒而达10月16日创业板首发上会
-
-
-
人民网本地站 供需下沉服务提质“双11”展现中国消费强劲潜能
-
作为一名奔三的大龄港漂女青年,该怎样找到一个靠谱的对象