Flink Native Windowing 机制引入:对于窗口类型的有状态特征,我们目前采用上文所述的抽象 SlotState 时间切片方案统一进行支持 。另外 Flink 本身提供了非常完善的窗口机制,通过 Window Assigner、Window Trigger 等组件可以非常灵活地支持各种窗口语义 。因此后续我们也会在窗口特征计算场景引入 Flink 原生的 Windowing 机制,更加灵活地支持窗口特征迭代 。
Flink HybridState Backend 架构:目前在字节的线上场景中,Flink 底层的 StateBackend 默认都是使用 RocksDB 存储引擎 。这种内嵌的存储引擎不能通过外部机制去提供状态数据的回灌和多任务共享,因此我们需要支持 KV 中心化存储方案,实现灵活的特征状态回溯 。
静态属性类型特征统一管理 :通过特征平台提供统一的 DSL 语义,统一管理其他外部静态类型的特征服务 。例如一些其他业务团队维度的用户分类、标签服务等 。作者介绍:
郭文飞,字节跳动推荐系统基础服务方向负责人 。2015 年初加入字节,主要负责推荐系统基础服务方向,例如消重、计数、特征等 。
推荐阅读
-
-
-
德云社|李建华遗体告别仪式,发病到去世仅2小时,德云社无一人到场
-
春不语催醒百花|财富如雨,3大属相摆脱霉运,事业一路高歌,不再喊穷,6月未来15天内
-
宁死|母亲包办婚姻,她:我宁死不嫁!见男方后,她:花轿什么时候来?
-
明朝|安徽肥东千余户徐姓村民系明朝开国功臣徐达后人
-
「大棚」农村老汉用儿子在日本打工挣的70万建8个大棚,为省钱抽
-
香港|戏太假! \揽炒派\伙同涉嫌偷渡乱港分子\家属\开记者会卖惨
-
-
-
-
大视角|这些地图彩蛋你发现了吗?让人细思极恐,第五人格:细节满满
-
-
-
-
宝马客|你更喜欢谁?,雷霆版全新宝马M3和M4放在一起
-
盛锐游戏视野培宁|丰臣秀吉当时真的以为自己可以灭掉大明吗?
-
郑爽初恋不是那个人-郑爽那个人是说张翰吗-郑爽初恋是张翰吗
-
#罗威纳犬#在挑选罗威纳犬时,观察其外貌特征,是非常重要的!
-