liteflow整体分为两个模块,控制台以及执行者;其中控制台负责任务的关系以及执行的调度,执行者负责任务的具体执行 。控制台中主要的功能围绕在任务以及任务流 。
一、主要功能介绍
1.任务
1)任务创建需要根据任务的周期(分、时、天等)来设置,同时需要指定任务执行的cron表达式;其中任务周期是用来任务上下游间关联的依据,例如用来计算一周的pv总量(即上游任务为天,下游任务为周),这时会依据周期,下游任务会自动关联上上游任务周一到周日的任务,只有上游的七个任务都执行成功后下游才会执行,这样就能保证数据不会出现漏掉的情况
2)选择任务运行的插件,即任务执行类型(hive、Python、shell等),任务的执行插件主要是执行者来实现,通过容器、插件、任务详情来实现任务的执行,这个后续会有具体介绍
从表单中可以看出,任务需要指定是否可以并发,并发指的是同一时间同一个任务的不同任务版本是否可以同时运行,如果为否,需要指定运行策略 。1)忽略:即忽略正在运行的任务,将其设置为成功状态,然后当前任务版本再执行,这种情况适合任务运行一次和多次没有区别的情况,例如统计统计某网站当天的pv数时 。2)等待:需要等待上一个任务版本执行完成后,再执行当前任务,这种情况适合任务执行以来上一次任务执行后产生的数据,例如统计每个小时环比变化数据时 。

文章插图

文章插图
二、任务流
1.创建任务流
在大数据ETL相关工作中,需要依赖任务流来保证各种数据层的计算,也就是我们现在提到的任务流,任务流的核心是DAG原理来保证任务的按一定的规则来运行,任务流创建后,需要将已添加的任务通过图形界面建立好关联

文章插图
1)通过图形界面编辑任务流
通过将鼠标在任务节点上右键可以添加任务,来实现任务的上下游关系

文章插图

文章插图

文章插图
2)任务流修复
在日常工作很多情况下需要对任务进行再一次修复,通过图形界面可以实现任务流中所有任务、从某个节点、仅某个任务的修复;任务流的修复会根据主节点任务来完成数据的展示,依据主节点任务的任务版本以及任务流中任务关系来完成某个版本下任务流下的任务实例关系

文章插图
总结:
liteflow整个的核心其实是通过任务流来保证各个任务按照DAG的关系实现任务的顺序执行,以保证每个任务对应能够在上游任务数据ready的前提下再去执行,从而保证数据的一致性
【开源调度系统:liteflow控制台功能】
推荐阅读
- Linux 系统管理员的 10 份速查表 | Linux 中国
- 智能硬件不止树莓派,八款优秀智能硬件开源项目推荐
- go语言137道面试题整理汇总
- 实战丨商业银行分布式业务核心系统架构研究
- Tomcat 系统架构与原理剖析
- 查看 Linux 系统服务的 5 大方法
- Linux操作系统:地址空间与重定位
- 操作系统学习 认识Linux日志系统
- 目前,全球已经投入使用的主要卫星导航系统包括 欧盟建立的卫星导航定位系统是
- Linux系统中shell命令执行过程
