gpt4 book ai didi

spring - 我应该在Spring Batch流程中的哪里索引项目?

转载 作者:行者123 更新时间:2023-12-02 23:37:35 25 4
gpt4 key购买 nike

我正在从多个平面文件中读取项目,并通过一些数据验证步骤对其进行处理,然后将其写入Cassandra。在流程中的某个地方,我还需要向ElasticSearch发送索引请求。我想使用ES Bulk API,因此索引步骤应在一定程度上进行批处理。

我的问题是,索引步骤应该是ItemProcessor,ItemWriter还是其他对象?

最佳答案

我将在ItemWriter中进行批量索引,因为它在一次调用中接收了块的所有项目。这样一来,您就可以对所有项目进行批量索引。 This example有点复杂,但是write方法将向您展示这个想法。您可以在Spring Batch Extensions中找到替代方法

我可以使用unlogged batches对Cassandra进行相同操作

最后,您可以使用CompositeItemWriter将多个ItemWriters(Cassandra和Elasticsearch)包装在一起

关于spring - 我应该在Spring Batch流程中的哪里索引项目?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28621680/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com