apache-spark - 我可以将es.batch.write.retry.count设置为零值吗

Question

如果将数据写入ES时发生任何异常，我只是想停止spark工作。
es.batch.write.retry.count有一个配置，其默认值为3。
可以将es.batch.write.retry.count = 0设置为有效，以便如果根据我的要求出现问题而将spark数据帧写入停在ES处吗？

Answer 1

es.batch.write.retry.count的配置仅处理在放弃放弃并移至下一个批次之前尝试为每个批次写入 flex 文件的时间，它不会影响您的 Spark 作业。
您可以执行的解决方法是设置spark.task.maxFailures = 1，但这将影响您的整个工作，而不仅是对Elasticsearch的写入。

您可能会注意到，由于写入 flex 不是事务性的，因此，如果写入 flex 的一项任务失败，则并不意味着您的某些数据已被写入 flex 。

我不知道这里的用例是什么，但是如果要确保将所有数据都写入elasticsearch，则应进行_count查询，并在写入后检查它是否等于df.count()。正在写入新索引)。