Worker的具体实现由配置文件中的executor来指定，airflow支持多种Executor:
- SequentialExecutor: 单进程顺序执行，一般只用来测试
- LocalExecutor: 本地多进程执行
- CeleryExecutor: 使用Celery进行分布式任务调度
- DaskExecutor：使用Dask进行分布式任务调度
- KubernetesExecutor: 1.10.0新增, 创建临时POD执行每次任务
使用CeleryExecutor的架构如图:
文章插图
使用KubernetesExecutor的架构如图:
文章插图
觉得有帮助的话，请 点赞+关注 一波啦~~
推荐阅读
- 一个操作，实现公司和家里硬盘共享！抓紧get
- 微信扫码实现跳转
- nginx简易实现权限登录
- python中两个下划线是什么意思?python中一个下划线表示
- python 二分法求方程的根
- 为实现全球通信,至少需要发射多少颗卫星-全球卫星网络通信-
- Python正则表达式保姆式教学，带你精通大名鼎鼎的正则
- Python中的函数装饰器
- 某些音乐只能听一分钟？Python绕过反爬，完美下载音乐
- Flink的设计与实现：集群资源管理