coding

8 years ago · 88dc10684d
parent 8048b0c78c
commit 88dc10684d
2 changed files with 70 additions and 53 deletions
--- a/README.md
+++ b/README.md
@ -17,6 +17,8 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是
 - 10、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
 - 11、支持登录验证；
 - 12、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
+- 12、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
+- 14、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行；

 #### 1.3 发展
 于2015年中，我在github上创建XXL-JOB项目仓库并提交第一个commit，随之进行系统结构设计，UI选型，交互设计……
@ -59,7 +61,7 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是
 技术交流群(仅作技术交流)：367260654    [![image](http://pub.idqqimg.com/wpa/images/group.png)](http://shang.qq.com/wpa/qunwpa?idkey=4686e3fe01118445c75673a66b4cc6b2c7ce0641528205b6f403c179062b0a52 )


-Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择和下载。
+**Download**: 历史Release版本下载位置如下图所示,请自行前往进行选择和下载。

 ![输入图片说明](https://static.oschina.net/uploads/img/201607/23221244_nq9a.png "在这里输入图片标题")

@ -85,9 +87,9 @@ Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择

 ![输入图片说明](https://static.oschina.net/uploads/img/201607/23222522_JGCc.png "在这里输入图片标题")

- xxl-job-admin：调度中心
- xxl-job-core：公共依赖
- xxl-job-executor-example：执行器（可直接使用该执行器，也可以将现有项目改造成执行器使用）
+    - xxl-job-admin：调度中心
+    - xxl-job-core：公共依赖
+    - xxl-job-executor-example：执行器（可直接使用该执行器，也可以将现有项目改造成执行器使用）

 #### 2.3 配置部署“调度中心”
 调度中心项目：xxl-job-admin
@ -140,9 +142,9 @@ Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择

 - **步骤一（新建任务）**：登陆调度中心，点击下图所示“新建任务”按钮，新建示例任务。然后，参考下面截图中任务的参数配置，点击保存。

-![输入图片说明](https://static.oschina.net/uploads/img/201607/23224905_MkGD.png "在这里输入图片标题")
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24191531_2qRI.png "在这里输入图片标题")

-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192014_9YEz.png "在这里输入图片标题")

 - **步骤二（GLUE任务开发）**：请点击下图中所示“GLUE入口按钮”，进入“GLUE编辑器开发界面”，见下图。GLUE任务默认已经初始化了示例任务代码，即打印Hello World。
 （GLUE实际上是一段继承自IJobHandler的Java类代码，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务，详细介绍请查看第三章节）
@ -191,6 +193,7 @@ Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择
    - 执行参数：任务执行所需的参数，多个参数时用逗号分隔，任务执行时将会把多个参数抓换成数组传入；
    - 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；
    - 负责人：任务的负责人；
+    - 子任务Key：每个任务都拥有一个唯一的任务Key，当本任务执行结束并且执行成功时，将会触发子任务Key所对应的任务的一次主动调度。

 #### 3.1 BEAN模式任务
 Bean模式任务：任务逻辑以JobHandler的形式存在于“执行器”所在项目中，开发流程如下：
@ -207,7 +210,7 @@ Bean模式任务：任务逻辑以JobHandler的形式存在于“执行器”所

 参考上文“配置属性详细说明”对新建的任务进行参数配置，需要注意的是“JobHandler + GLUE复选框”任务属性，需要按照“GLUE模式”任务进行配置；

-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24191939_pWgf.png "在这里输入图片标题")

 #### 3.2 GLUE模式任务
 GLUE模式任务：任务逻辑以GLUE代码的形式存储在DB中，支持通过Web IDE在线更新，实时编译和生效，因此不需要指定JobHandler。开发流程如下：
@ -216,7 +219,7 @@ GLUE模式任务：任务逻辑以GLUE代码的形式存储在DB中，支持通

 参考上文“配置属性详细说明”对新建的任务进行参数配置，需要注意的是“JobHandler + GLUE复选框”任务属性，需要按照“GLUE模式”任务进行配置；

-![输入图片说明](https://static.oschina.net/uploads/img/201607/24123029_GqMy.png "在这里输入图片标题")
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192014_9YEz.png "在这里输入图片标题")

 - **步骤二：开发GLUE代码**：

@ -230,16 +233,16 @@ GLUE模式任务：任务逻辑以GLUE代码的形式存储在DB中，支持通

 ![输入图片说明](https://static.oschina.net/uploads/img/201607/24123920_b9UQ.png "在这里输入图片标题")

-![输入图片说明](https://static.oschina.net/uploads/img/201607/24124140_IxVH.png "在这里输入图片标题")
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192243_9NvE.png "在这里输入图片标题")

 #### 4.2 编辑任务
 进入任务管理界面，选中指定任务。点击该任务右侧“编辑”按钮，在弹出的“编辑任务”界面更新任务属性后保存即可，可参考下图：

 ![输入图片说明](https://static.oschina.net/uploads/img/201607/24124734_UYp2.png "在这里输入图片标题")

-![输入图片说明](https://static.oschina.net/uploads/img/201607/24124821_FHtr.png "在这里输入图片标题")
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192805_Yhmj.png "在这里输入图片标题")

-#### 4.3 编译GLUE代码
+#### 4.3 编辑GLUE代码

 该操作仅针对GLUE任务。

@ -340,13 +343,20 @@ XXL-JOB首先定制了Quartz原生表结构前缀（XXL_JOB_QRTZ_）。
 ##### 5.3.3 架构图（绘制中）
 ![输入图片说明](https://static.oschina.net/uploads/img/201607/24144555_SUI2.png "在这里输入图片标题")

-#### 5.4 调度模块
-##### 5.4.1 RemoteHttpJobBean
+#### 5.4 调度模块剖析
+##### 5.4.1 quartz的不足
+Quartz作为开源作业调度中的佼佼者，是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理，从而可以避免上述问题，但是同样存在以下问题：
+    - 问题一：调用API的的方式操作任务，不人性化；
+    - 问题二：需要持久化业务QuartzJobBean到底层数据表中，系统侵入性相当严重。
+    - 问题三：调度逻辑和QuartzJobBean耦合在同一个项目中，这将导致一个问题，在调度任务数量逐渐增多，同时调度任务逻辑逐渐加重的情况加，此时调度系统的性能将大大受限于业务；
+XXL-JOB弥补了quartz的上述不足之处。
+
+##### 5.4.2 RemoteHttpJobBean
 常规Quartz的开发，任务逻辑一般维护在QuartzJobBean中，耦合很严重。XXL-JOB中“调度模块”和“任务模块”完全解耦，调度模块中的所有调度任务使用同一个QuartzJobBean，即RemoteHttpJobBean。不同的调度任务将各自参数维护在各自扩展表数据中，当触发RemoteHttpJobBean执行时，将会解析不同的任务参数发起远程调用，调用各自的远程执行器服务。

 这种调用模型类似RPC调用，RemoteHttpJobBean提供调用代理的功能，而执行器提供远程服务的功能。

-##### 5.4.2 调度中心HA（集群）
+##### 5.4.3 调度中心HA（集群）
 基于Quartz的集群方案，数据库选用Mysql；集群分布式并发环境中使用QUARTZ定时任务调度，会在各个节点会上报任务，存到数据库中，执行时会从数据库中取出触发器来执行，如果触发器的名称和执行时间相同，则只有一个节点去执行此任务。

 ```
@ -358,7 +368,7 @@ org.quartz.jobStore.isClustered: true
 org.quartz.jobStore.clusterCheckinInterval: 1000
 ```

-##### 5.4.3 调度线程池
+##### 5.4.4 调度线程池
 默认线程池中线程的数量为10个，避免单线程因阻塞而引起任务调度延迟。

 ```
@ -368,12 +378,12 @@ org.quartz.threadPool.threadPriority: 5
 org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true
 ```

-##### 5.4.4 @DisallowConcurrentExecution
+##### 5.4.5 @DisallowConcurrentExecution
 XXL-JOB调度模块的“调度中心”默认不使用该注解，即默认开启并行机制，因为RemoteHttpJobBean为公共QuartzJobBean，这样在多线程调度的情况下，调度模块被阻塞的几率很低，大大提高了调度系统的承载量。

 XXL-JOB的每个调度任务虽然在调度模块是并行调度执行的，但是任务调度传递到任务模块的“执行器”确实串行执行的，同时支持任务终止。

-##### 5.4.5 misfire
+##### 5.4.6 misfire
 错过了触发时间，处理规则。
 可能原因：服务重启；调度线程被QuartzJobBean阻塞，线程被耗尽；某个任务启用了@DisallowConcurrentExecution，上次调度持续阻塞，下次调度被错过；

@ -394,14 +404,14 @@ CronScheduleBuilder cronScheduleBuilder = CronScheduleBuilder.cronSchedule(jobIn
 CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).withSchedule(cronScheduleBuilder).build();
 ```

-##### 5.4.6 日志回调服务
+##### 5.4.7 日志回调服务
 调度模块的“调度中心”作为Web服务单独部署，除此之外，内部嵌入jetty服务器提供日志回调服务。

 “执行器”在接收到任务执行请求后，执行任务，在执行结束之后会将执行结果回调通知“调度中心”，回调端口如下图所示。

 ![输入图片说明](https://static.oschina.net/uploads/img/201607/23223301_I03k.png "在这里输入图片标题")

-##### 5.4.7 任务HA（Failover）
+##### 5.4.8 任务HA（Failover）
 任务“执行器地址”支持配置多个，用逗号分隔，如“127.0.0.1:9998,127.0.0.1:9999”。

 如果任务配置多个执行器地址，当调度中心每次发起调度请求时，会按照地址配置的顺序依次对执行器发出心跳检测请求，第一个检测为存活状态的执行器将会被选定。
@ -411,7 +421,7 @@ CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).w

 “调度备注”可以查看执行器地址选择日志，任务配置的地址“227.0.0.1:9999,127.0.0.1:9999”，首先对第一个执行器地址“227.0.0.1:9999”进行心跳检测，心跳失败因此跳过；然后对第二个执行器地址“127.0.0.1:9999”进行心跳检测，心跳检测成功，选定为“目标执行器”；然后对“目标执行器”发送调度请求，调度流程结束，等待执行器回调执行结果。

-##### 5.4.8 调度日志
+##### 5.4.9 调度日志
 调度中心每次进行任务调度，都会记录一条任务日志，任务日志主要包括以下三部分内容：

 - 任务信息：包括“执行器地址”、“JobHandler”和“执行参数”等属性，根据这些参数，可以精确的定位任务执行的具体机器和任务代码；
@ -433,14 +443,18 @@ CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).w
 - 执行备注：执行器，任务执行的备注信息，如异常日志等；
 - 执行日志：任务执行过程中，业务代码中打印的完整执行日志，见“4.7 查看执行日志”；

-##### 5.4.9 quartz的不足
-Quartz作为开源作业调度中的佼佼者，是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理，从而可以避免上述问题，但是同样存在以下问题：
-    - 问题一：调用API的的方式操作任务，不人性化；
-    - 问题二：需要持久化业务QuartzJobBean到底层数据表中，系统侵入性相当严重。
-    - 问题三：调度逻辑和QuartzJobBean耦合在同一个项目中，这将导致一个问题，在调度任务数量逐渐增多，同时调度任务逻辑逐渐加重的情况加，此时调度系统的性能将大大受限于业务；
-XXL-JOB弥补了quartz的上述不足之处。
+##### 5.4.10 任务依赖
+原理：XXL-JOB中每个任务都对应有一个任务Key，同时，每个任务支持设置属性“子任务Key”，因此，通过“任务Key”可以匹配任务依赖关系。
+
+当父任务执行结束并且执行成功时，将会根据“子任务Key”匹配子任务依赖，如果匹配到子任务，将会主动触发一次子任务的执行。
+
+在任务日志界面，点击任务的“执行备注”的“查看”按钮，可以看到匹配子任务以及触发子任务执行的日志信息，如无信息则表示未触发子任务执行，可参考下图。
+
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24194134_Wb2o.png "在这里输入图片标题")
+
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24194212_jOAU.png "在这里输入图片标题")

-#### 5.5 执行模块
+#### 5.5 执行模块剖析
 ##### 5.5.1 Bean模式任务
 开发步骤：见章节三；
 原理：每个Bean模式任务都是一个Spring的Bean类实例，它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHander(value="名称")”注解，因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”，任务逻辑在execute方法中开发，因为“执行器”在接收到调度中心的调度请求时，将会调用“IJobHandler”的execute方法，执行任务逻辑。
@ -551,30 +565,30 @@ XXL-JOB会为每次调度请求生成一个单独的日志文件，通过重写L
 - 3、【重要】在 “调度中心” 支持HA的基础上，扩展执行器的Failover支持，支持配置多执行期地址；

 #### 6.6 版本 V1.4.0 新特性
- 1、执行器底层实现代码进行重度重构, 优化底层建表脚本;
- 2、执行器中任务线程分组逻辑优化: 之前根据执行器JobHandler进行线程分组,当多个任务复用Jobhanlder会导致相互阻塞。现改为根据调度中心任务进行任务线程分组,任务与任务执行相互隔离;
- 3、执行器调度通讯方案优化, 通过Hex + HC实现建议RPC通讯协议, 优化了通讯参数的维护和解析流程;
- 4、调度中心, 新建/编辑任务, 界面属性调整: 
-    - 4.1、任务新增/编辑界面中去除 "任务名JobName"属性 ,该属性改为系统自动生成: 该字段之前主要用于在 "调度中心" 唯一标示一个任务, 现实意义不大, 因此计划淡化掉该字段,改为系统生成UUID,从而简化任务新建的操作;
-    - 4.2、任务新增/编辑界面中去除 "GLUE模式" 复选框位置调整, 改为贴近"JobHandler"输入框右侧;
-    - 4.3、任务新增/编辑界面中去除 "报警阈值" 属性;
- 5、问题修复:
-    - 5.1、执行器jetty关闭优化,解决一处可能导致jetty无法关闭的问题;
-    - 5.2、执行器任务终止时,执行队列回调优化,解决一处导致任务无法回调的问题；
-    - 5.3、调度中心中列表分页参数优化,解决一处因服务器限制post长度而引起的问题;
-    - 5.4、执行器Jobhandler注解优化,解决一处因事务代理导致的容器无法加载JobHandler的问题;
-    - 5.5、远程调度优化,禁用retry策略,解决一处可能导致重复调用的问题;
+- 1、任务依赖: 通过事件触发方式实现, 任务执行成功并回调时会主动触发一次子任务的调度;
+- 2、执行器底层实现代码进行重度重构, 优化底层建表脚本;
+- 3、执行器中任务线程分组逻辑优化: 之前根据执行器JobHandler进行线程分组,当多个任务复用Jobhanlder会导致相互阻塞。现改为根据调度中心任务进行任务线程分组,任务与任务执行相互隔离;
+- 4、执行器调度通讯方案优化, 通过Hex + HC实现建议RPC通讯协议, 优化了通讯参数的维护和解析流程;
+- 5、调度中心, 新建/编辑任务, 界面属性调整: 
+    - 5.1、任务新增/编辑界面中去除 "任务名JobName"属性 ,该属性改为系统自动生成: 该字段之前主要用于在 "调度中心" 唯一标示一个任务, 现实意义不大, 因此计划淡化掉该字段,改为系统生成UUID,从而简化任务新建的操作;
+    - 5.2、任务新增/编辑界面中去除 "GLUE模式" 复选框位置调整, 改为贴近"JobHandler"输入框右侧;
+    - 5.3、任务新增/编辑界面中去除 "报警阈值" 属性;
+- 6、问题修复:
+    - 6.1、执行器jetty关闭优化,解决一处可能导致jetty无法关闭的问题;
+    - 6.2、执行器任务终止时,执行队列回调优化,解决一处导致任务无法回调的问题；
+    - 6.3、调度中心中列表分页参数优化,解决一处因服务器限制post长度而引起的问题;
+    - 6.4、执行器Jobhandler注解优化,解决一处因事务代理导致的容器无法加载JobHandler的问题;
+    - 6.5、远程调度优化,禁用retry策略,解决一处可能导致重复调用的问题;

 Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段, 地址见分支 [V1.3](https://github.com/xuxueli/xxl-job/tree/v1.3) 。新特性将会在master分支持续更新。


 #### 规划中
- 1、任务依赖: 通过事件触发方式实现, 任务执行成功并回调SUCCESS时, 会主动触发一次依赖任务的调度;
- 2、任务执行规则自定义：假如前一个任务正在执行，后续调度执行规则支持自定义；
-		串行（默认，当前逻辑）：后续调度入调度队列；
-		并行：后续调度并行执行；
-		Pass：后续调度被Pass；
- 3、兼容oracle；
+- 1、任务执行规则自定义：假如前一个任务正在执行，后续调度执行规则支持自定义；
+    串行（默认，当前逻辑）：后续调度入调度队列；
+    并行：后续调度并行执行；
+    Pass：后续调度被Pass；
+- 2、兼容oracle；


 ## 七、其他
@ -583,4 +597,4 @@ Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段
 XXL-JOB托管在Github上，如有问题可在 [ISSUES](https://github.com/xuxueli/xxl-job/issues/) 上提问，也可以加入技术交流群(仅作技术交流)：367260654

 #### 7.2 接入登记
-更多接入公司，欢迎在github [登记](https://github.com/xuxueli/xxl-job/issues/1 ) 
+更多接入公司，欢迎在github [登记](https://github.com/xuxueli/xxl-job/issues/1 )
--- a/xxl-job-admin/src/main/java/com/xxl/job/admin/core/callback/XxlJobLogCallbackServerHandler.java
+++ b/xxl-job-admin/src/main/java/com/xxl/job/admin/core/callback/XxlJobLogCallbackServerHandler.java
@ -43,6 +43,7 @@ public class XxlJobLogCallbackServerHandler extends AbstractHandler {
 		if (log!=null) {

 			// trigger success, to trigger child job, and avoid repeat trigger child job
+            String childTriggerMsg = null;
 			if (!ResponseModel.SUCCESS.equals(log.getHandleStatus())) {
 				XxlJobInfo xxlJobInfo = DynamicSchedulerUtil.xxlJobInfoDao.load(log.getJobGroup(), log.getJobName());
 				if (xxlJobInfo!=null && StringUtils.isNotBlank(xxlJobInfo.getChildJobKey())) {
@ -54,21 +55,23 @@ public class XxlJobLogCallbackServerHandler extends AbstractHandler {
 								boolean ret = DynamicSchedulerUtil.triggerJob(childJobInfo.getJobName(), childJobInfo.getJobGroup());

 								// add msg
-								String msg = requestModel.getMsg();
-								msg += MessageFormat.format("<br> 触发子任务执行, jobKey:{0}, status:{1}, 描述:{2}", xxlJobInfo.getChildJobKey(), ret, childJobInfo.getJobDesc());
-								requestModel.setMsg(msg);
+                                childTriggerMsg += MessageFormat.format("<br> 触发子任务成功, 子任务Key: {0}, status: {1}, 子任务描述: {2}", xxlJobInfo.getChildJobKey(), ret, childJobInfo.getJobDesc());
 							} catch (SchedulerException e) {
 								logger.error("", e);
 							}
-						}
-					}
+						} else {
+                            childTriggerMsg = "<br> 触发子任务失败, 子任务xxlJobInfo不存在, 子任务Key:" + xxlJobInfo.getChildJobKey();
+                        }
+					} else {
+                        childTriggerMsg = "<br> 触发子任务失败, 子任务Key格式错误, 子任务Key:" + xxlJobInfo.getChildJobKey();
+                    }
 				}
 			}

 			// save log
 			log.setHandleTime(new Date());
 			log.setHandleStatus(requestModel.getStatus());
-			log.setHandleMsg(requestModel.getMsg());
+			log.setHandleMsg(requestModel.getMsg() + childTriggerMsg);
 			DynamicSchedulerUtil.xxlJobLogDao.updateHandleInfo(log);
 			responseModel = new ResponseModel(ResponseModel.SUCCESS, null);
 		} else {