- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
ElasticJob的幂等机制,是指作业分片执行的幂等,他需要做到以下两点:
同一个分片在当前作业实例上不会被重复执行 。
一个作业分片不能同时在多个作业实例上执行 。
场景模拟:存在任务A执行周期为10s一次。正常情况下任务处理耗时3-5s。但是某一时刻因为数据量突然增大或者因为数据库压力,导致任务耗时超过了10s。在该过程中,任务每10s调度一次,如果没有幂等,那么会存在一个任务同时多个调度的情况,处理相同的数据.
ElasticJob任务执行:com.dangdang.ddframe.job.executor.AbstractElasticJobExecutor#execute() 。
public final void execute() {
...
// 获取当前作业服务器的分片上下文
ShardingContexts shardingContexts = jobFacade.getShardingContexts();
//是否允许可以发送作业事件
if (shardingContexts.isAllowSendJobEvent()) {
// 发布作业状态追踪事件
jobFacade.postJobStatusTraceEvent(shardingContexts.getTaskId(), State.TASK_STAGING, String.format("Job '%s' execute begin.", jobName));
}
// 在一个调度任务触发后如果上一次任务还未执行,则需要设置该分片状态为mirefire,表示错失了一次任务执行
if (jobFacade.misfireIfRunning(shardingContexts.getShardingItemParameters().keySet())) {
if (shardingContexts.isAllowSendJobEvent()) {
jobFacade.postJobStatusTraceEvent(shardingContexts.getTaskId(), State.TASK_FINISHED, String.format(
"Previous job '%s' - shardingItems '%s' is still running, misfired job will start after previous job completed.", jobName,
shardingContexts.getShardingItemParameters().keySet()));
}
return;
}
...
}
接下来主要看一下jobFacade.misfireIfRunning的实现逻辑 。
public boolean misfireIfHasRunningItems(Collection<Integer> items) {
// 没有分片正在运行,返回false,此次任务调度正常进行,否则设置mirefire
if (!this.hasRunningItems(items)) {
return false;
} else {
this.setMisfire(items);
return true;
}
}
如果存在未完成调度的分片,则调用setMisfire(items)方法。如何判断是否有未完成调度的分片呢,看看hasRunningItems(items)的实现逻辑.
public boolean hasRunningItems(Collection<Integer> items) {
LiteJobConfiguration jobConfig = this.configService.load(true);
if (null != jobConfig && jobConfig.isMonitorExecution()) {
Iterator i$ = items.iterator();
int each;
do {
if (!i$.hasNext()) {
return false;
}
each = (Integer)i$.next();
} while(!this.jobNodeStorage.isJobNodeExisted(ShardingNode.getRunningNode(each)));
// ShardingNode.getRunningNode(each)
/*
public static String getRunningNode(int item) {
return String.format("sharding/%s/running", item);
}*/
return true;
} else {
return false;
}
}
在Elasticjob开启monitorExecution的机制下,分片任务开始时会创建sharding/分片/running节点,任务完成后删除该节点。所以上述代码中,可以看出来,可以通过是否存在该分片的节点来判断是否有分片正在运行.
同时,调用setMisfire(items)方法的时候,根据代码判断,setMisfire(items)方法为分配给该实例下的所有分片创建持久节点/shading/{item}/misfire节点,只要分配给该实例的任何一分片未执行完毕,则在该实例下的所有分片都增加misfire节点,然后忽略本次任务触发执行,等待任务结束后再执行.
public void setMisfire(Collection<Integer> items) {
Iterator i$ = items.iterator();
while(i$.hasNext()) {
int each = (Integer)i$.next();
this.jobNodeStorage.createJobNodeIfNeeded(ShardingNode.getMisfireNode(each));
}
// ShardingNode.getMisfireNode(each)
/**
static String getMisfireNode(int item) {
return String.format("sharding/%s/misfire", item);
}
*/
}
在该执行方法中(com.dangdang.ddframe.job.executor.AbstractElasticJobExecutor#execute()) 。
//执行job
execute(shardingContexts, JobExecutionEvent.ExecutionSource.NORMAL_TRIGGER);
// 如果存在Misfire节点,则清除该节点
while (jobFacade.isExecuteMisfired(shardingContexts.getShardingItemParameters().keySet())) {
// 清除Misfire节点
jobFacade.clearMisfire(shardingContexts.getShardingItemParameters().keySet());
execute(shardingContexts, JobExecutionEvent.ExecutionSource.MISFIRE);
}
总结:在下一个调度周期到达之后,只要发现这个分片的任何一个分片正在执行,则为该实例分片的所有分片都设置为misfire,等任务执行完毕后,再统一执行下一次任务调度.
最后此篇关于Elasticjob执行job幂等的文章就讲到这里了,如果你想了解更多关于Elasticjob执行job幂等的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我在编写数学函数时遇到了麻烦。它应该接受 3 个变量并像这样计算方程。 答案 = x(1 + y/100)^ z 我把它写成: public compute_cert (int years, doub
我正在开发一个计算器,以便更好地学习 Java。我编写了自己的代码来使用 BigDecimal 参数计算幂。截至目前,代码无法处理分数幂,例如 2^2.2。为了解决这个问题,我想在我的代码中实现指数恒
我正在寻找一种算法(或者更好的是,代码!)来生成幂,特别是奇数指数大于 1 的数字:三次幂、五次幂、七次幂等等。然后我想要的输出是 8, 27, 32, 125, 128, 216, 243, 343
在 Codewars 上找到这个。该函数接受两个参数 A 和 B,并返回 A^B 的最后一位。下面的代码通过了前两个测试用例,但不会通过下一个测试用例。 def last_digit(n1, n2):
像 2^(2%1) 这样的表达式在 GHCi 中不会进行类型检查,并且错误消息是神秘的。为什么这不起作用,我需要改变什么? 我无法转换为其他类型,我希望将其用于 27^(1%3) 等表达式。 最佳答案
我的二次幂没有达到应有的水平,所以我想也许我可以 #define 做点什么。 不幸的是,我在预处理器指令方面经验不足,我不知道如何做 for 循环之类的事情。我看了看: http://www.cplu
如何在 Math.net 中获得三角函数的幂? Expr x = Expr.Variable("x"); Expr g = (2 * x).Sinh().Pow(2); g.ToString()给出输
我正在尝试拟合这个渐近接近零(但从未达到它)的数据。 我相信最好的曲线是逆逻辑函数,但欢迎建议。关键是预期的衰减“S 曲线”形状。 这是我到目前为止的代码,以及下面的绘图图像,这是一个非常丑陋的适合。
这个问题在这里已经有了答案: The most efficient way to implement an integer based power function pow(int, int) (2
我试图获得指数非常大的 double 值的幂(Java BigInteger 可以包含它(指数),例如:10^30 ) 也就是说,我想找到类似 1.75^(10^30) 或 1.23^(3423453
我有一个数学表达式,例如: ((2-x+3)^2+(x-5+7)^10)^0.5 我需要更换 ^符号到pow C语言的功能。我认为正则表达式是我需要的,但我不知道像专业人士那样的正则表达式。所以我最终
这是我的 previous question on bit flags 的后续内容,我澄清了一些重大误解。 我需要创建这些函数来查找包含零个或多个标志的 int 中的单个位标志: BitBinaryU
我已经在 java 中为 BigInteger 尝试过 modPow() 函数。 但它需要太长时间。 我知道模乘法,甚至也知道求幂。 但由于条件限制,我无法解决这个问题。 a、b 的值可以包含 100
我是一名优秀的程序员,十分优秀!