30
4
I need to scale spring batch job by remote partitioning with kafka.
我需要通过使用Kafka远程分区来扩展春季批处理作业。
I want to run manager step on one VM and worker steps on different VMs. For that I have some questions -
我要在一台VM上运行管理器步骤，在不同的VM上运行Worker步骤。为此，我有几个问题-
If my manager VM instance goes down in between before the completion of all worker steps. So it possible for another VM to become manager and complete the manager step?
I have noticed that when I have 3 worker step VMs running with kafka based remote partitioning then first or one of the worker is picked more partitions compare to other worker VMs. Can it possible to equally distribute the equal no of partitions between all these workers ?
If my manager VM instance goes down in between before the completion of all worker steps. So it possible for another VM to become manager and complete the manager step?
No, there is no manager (re)election in Spring Batch. If the manager VM fails, you need to restart the job instance.
不，春季批次没有经理(连任)选举。如果管理器VM出现故障，则需要重新启动作业实例。
I have noticed that when I have 3 worker step VMs running with kafka based remote partitioning then first or one of the worker is picked more partitions compare to other worker VMs. Can it possible to equally distribute the equal no of partitions between all these workers ?
This depends on how you distribute work and how you configure workers. If you put step execution requests in the same queue, then all workers will pick up requests from the same queue. Therefore, if one worker is faster than others, it will do more work. If you want to equally distribute work among workers, then you need to setup a queue for each worker and distribute step execution requests in round-robin fashion to equally assign partitions.
这取决于您如何分配工作以及如何配置worker。如果您将步骤执行请求放在同一个队列中，那么所有工作进程都将从同一个队列中拾取请求。因此，如果一个工人比其他工人更快，它将做更多的工作。如果您希望在worker之间平均分配工作，那么您需要为每个worker设置一个队列，并以循环方式分配步骤执行请求，以平均分配分区。
thanks @Mahmound Ben Hassine. So in that case if steps are still working or not failed Spring batch mark that job is failed ? Or how to identify that only manager is failed.
谢谢@Mahmound Ben Hassine。那么，在这种情况下，如果步骤仍在工作或没有失败，Spring Batch会将作业标记为失败吗？或者如何识别唯一失败的经理。
When workers finish their work, they update their status in the db and shutdown. When you restart the job instance, the manager will reconcile the status of the partitioned step and resume execution.
当工人完成他们的工作时，他们在数据库中更新他们的状态并关闭。当您重新启动作业实例时，管理器将协调分区步骤的状态并恢复执行。
Ok thanks @Mahmound Ben Hassine Then may be I will try find some solution to auto restart job on another node if manager goes down on one node.
好的，谢谢@Mahmound Ben Hassine，那么如果管理器在一个节点上出现故障，我可能会尝试找到一些解决方案来自动重新启动另一个节点上的作业。
30
4
0
我有什么: 简单的服务器，配备一个具有 8 个逻辑内核的至强处理器、16 GB 内存、2 个 7200rpm 驱动器的 mdadm raid1。 PostgreSQL 需要处理大量数据。每天导入多达
当消息排入分区队列时，服务总线会检查分区键是否存在。如果找到，它将根据分区键选择片段。 但是当该片段已满时会发生什么，该片段中没有剩余空间。服务总线是否给出错误/消息被丢弃或任何其他片段将用于存储该消
我想知道将集合拆分为子集的有效方法是什么？ Iterable> partitions = Iterables.partition(numbers, 10); 或 List> partitions =
有人可以告诉我 DATETIME 列上 HASH PARITION 与 RANGE PARTITION 的优缺点吗？假设我们有一个包含 2000 万条记录的 POS 表，并且想要根据交易日期的年份创建
我们有一个 cosmos-db 容器，其中包含大约 1M 条记录，其中包含有关客户的信息。 documentDb 的分区键是 customerId，它保存客户的唯一 GUID 引用。我已阅读parti
因此，我在写入数据库的步骤中有 2 个分区。我想记录每个分区写入的行数，得到总和，打印到日志中； 我正在考虑在编写器中使用static变量，并使用Step Context/Job Context在St
Bigquery 文档说可以更新分区表的分区时间到期。而我只能为摄取时间分区表执行此操作。我尝试了以下方法: bq query --use_legacy_sql=false ' CREATE
这是一个两部分的问题: 1) 是否可以根据数据的 ROWID 或其他标识符使用 select 语句检索数据所在分区的名称？ 例如。 SELECT DATA_ID, CATEGORY, VALUE, *
注意:这几乎是 this question 的副本区别在于，在这种情况下，源表是日期分区的，而目标表尚不存在。此外，该问题的公认解决方案在这种情况下不起作用。 我试图将一天的数据从一个日期分区表复制到
我已经搜索了很多，但找不到有关以下场景的任何信息。 考虑一个包含超过 500,000 行、约 20 列和约 5 列上的 INDEX 的 InnoDB 表。 当该表处于以下情况时，执行“ALTER TA
如何将分区表(在 Oracle 10g 数据库中)更改为不仅用于分区而且还用于表本身的新表空间？我的意思是，我可以毫无问题地进行以下操作， --sql 改变表 abc 移动分区 abc01 表空间 n
我们正在尝试基于 BigQuery 在云中构建(或者更好地说重建)我们的 DWH。我们决定对原始数据使用“按日期字段分区”表(如“created_date”字段)，而不是摄取时间分区，因为通过此功能，
给定一个使用分区的 Spring Batch 作业:
“每个分区中可以有许多键(及其相关值)，但任何给定键的记录都在一个分区中。”这是一本著名的hadoop教科书的一行。我没有理解它的第二部分的全部含义，即“但是任何给定键的记录都在一个分区中。”这是否意
Let's say I have an Athena table mytable partitioned by columns A, B, and C.假设我有一个由列A、B和C分区的Athen
我正在寻找一些文档来了解 hive.exec.max.dynamic.partitions 和 hive.exec.max.dynamic.partitions.pernode 之间的区别。 我们什么
我看过一些关于创建分区的表的很好的解释，这些分区是 CLUSTERED BY 和 SORTED BY。这与创建带分区的表，然后使用 CLUSTER BY 填充表(例如使用 INSERT OVERWRI
使用摄取时间分区表，可以免费查询每个分区的行数。字节计费为 0。 SELECT DATE(_PARTITIONTME) AS dd, COUNT(*) FROM ds.ingestion_time_p
此处提供示例项目: https://github.com/codependent/micronaut-aws-lambda-proxy-graal 我在 Amazon AWS 上部署了一个 Micro
是否可以在不指定分区键的情况下通过其 ID 检索文档？ 我的理解来自阅读 documentation是当未指定分区键时查询将在所有分区中扇出: The following query does not
个人中心
文章发布
退出
我是一名优秀的程序员,十分优秀！