『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache( 三 )

文章图片
第6步:
此步骤显示FlinkMapTask在检查其状态后与FlinkJobMaster进行通信 。 当作业的所有任务确认其状态为检查点时 , 作业主管完成检查点 。 从现在开始 , 检查点可用于从故障中恢复 。 值得一提的是 , ApacheFlink不依赖于Kafka偏移来恢复潜在的系统故障 。

文章图片
在发生故障时恢复
如果发生故障(例如 , 工作人员故障) , 则重新启动所有操作员任务 , 并将其状态重置为上次完成的检查点 。 如下图所示 。

文章图片
Kafka源分别从偏移量2和1开始 , 因为这是完成的检查点的偏移量 。 当作业重新启动时 , 我们可以期待正常的系统操作 , 就好像之前没有发生故障一样 。
【『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache】你可以找到关于如何使用的详细信息和常见问题最好的ApacheFlink和ApacheKafka在我们以前的博客文章的一个位置 。
推荐阅读
- 兰州新闻网美国疫情数据为何矛盾混乱
- ZAKER| 不必在意巴菲特看空航空业,数据解析
- 工业互联网@程序员的术与道:术——编程基本功之网络编程
- 证券数据宝重磅!华为成立“5G汽车生态圈”,对标特斯拉实现终极无人驾驶
- 『Java』java数据结构系列——什么是数据结构
- 兄弟篮球前AMVP却并非合格领袖,同曦男篮需做出改变,数据足够出彩
- 靓科技解读Thing,a16z、5.15亿美金的数据加密股票基金:找寻下一个Big
- 长沙城事吃吃吃、买买买成主流,五一消费数据出炉
- 肥猪托运一定要认识的十款阿尔法概念车,承载着工程师与设计师前卫的思绪
- 大数据邦新基建之大数据中心规划设计原则和内容,选址很关键
