Java 分布式任务调度平台:PowerJob 快速开始+配置详解( 二 )

  • CRON -> 填写 CRON 表达式(在线生成网站[4])
  • 固定频率 -> 填写整数,单位毫秒
  • 固定延迟 -> 填写整数,单位毫秒
  • 工作流 -> 不需要填写任何参数,表明该任务由工作流(workflow)触发
  • 4.2 执行配置由执行类型(单机、广播和 MapReduce)、处理器类型和处理器参数组成,后两项相互关联 。
    • 内置 Java 处理器 -> 填写该处理器的全限定类名(eg,com.github.kfcfans.oms.processors.demo.MapReduceProcessorDemo)
    • Java(容器) -> 填写容器ID#处理器全限定类名(eg,18#com.github.kfcfans.oms.container.DemoProcessor)
    • SHELL -> 填写需要处理的脚本(直接复制文件内容)或脚本下载链接(http://xxx)
    • Python -> 填写完整的 python 脚本或下载链接(http://xxx)
    4.3 运行配置
    • 最大实例数:该任务同时执行的数量
    • 单机线程并发数:该实例执行过程中每个 Worker 使用的线程数量(MapReduce 任务生效,其余无论填什么,都只会使用必要的线程数...)
    • 运行时间限制:限定任务的最大运行时间,超时则视为失败,单位毫秒,0 代表不限制超时时间(不建议不限制超时时间) 。
    4.4 重试配置
    • Instance 重试次数:实例级别,失败了整个任务实例重试,会更换 TaskTracker(本次任务实例的Master节点),代价较大,大型 Map/MapReduce 慎用 。
    • Task重试次数:Task 级别,每个子 Task 失败后单独重试,会更换 ProcessorTracker(本次任务实际执行的 Worker 节点),代价较小,推荐使用 。
    • 注:请注意同时配置任务重试次数和子任务重试次数之后的重试放大,比如对于单机任务来说,假如任务重试次数和子任务重试次数都配置了 1 且都执行失败,实际执行次数会变成 4 次!推荐任务实例重试配置为 0,子任务重试次数根据实际情况配置 。
    4.5 机器配置用来标明允许执行任务的机器状态,避开那些摇摇欲坠的机器,0 代表无任何限制 。
    • 最低 CPU 核心数:填写浮点数,CPU 可用核心数小于该值的 Worker 将不会执行该任务 。
    • 最低内存(GB):填写浮点数,可用内存小于该值的 Worker 将不会执行该任务 。
    • 最低磁盘(GB):填写浮点数,可用磁盘空间小于该值的 Worker 将不会执行该任务 。
    4.6 集群配置
    • 执行机器地址:指定集群中的某几台机器执行任务(debug 的好帮手),多值英文逗号分割,如192.168.1.1:27777,192.168.1.2:27777
    • 最大执行机器数量:限定调动执行的机器数量
    4.7 报警配置选择任务执行失败后报警通知的对象,需要事先录入 。
    基础的教程到这里也就结束了~更多功能示例可见官方文档[5],工作流、MapReduce、容器等高级特性等你来探索!
    五、总结与预告本章详细介绍了 PowerJob 的快速入门,根据本文能够快速搭建起本地开发/测试环境 。下一章节,我将会对PowerJob 整体的架构做一个介绍,为后面的技术剖析做准备 。
    那我们下期再见喽~
    作者游记
    Java 分布式任务调度平台:PowerJob 快速开始+配置详解

    文章插图
     
    “常在河边走,哪有不湿鞋”,然而,这句话在茶卡盐湖却属于奢望 。
    稍有不慎,隐秘的盐窟便对你敞开怀抱,瞬间将你吞噬~
    盐湖如此,人生亦是如此 。
    难免不幸时,也要对着美好的明天微笑~
    参考资料[1]《讲解开源项目》: https://github.com/HelloGitHub-Team/Article
    [2] 官方文档: https://www.yuque.com/ohmyscheduler/guidence/bdvp1u#4DTFD
    [3] 官方文档: https://www.yuque.com/ohmyscheduler/guidence/hczm7m
    [4] 在线生成网站: https://cron.qqe2.com/
    [5] 官方文档: https://www.yuque.com/ohmyscheduler/guidence/ysug77

    【Java 分布式任务调度平台:PowerJob 快速开始+配置详解】


    推荐阅读