java - 导入大型 csv 文件 spring

Question

关闭。这个问题是 opinion-based 。目前不接受答案。

---

想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 .

已关闭 3 年前。

Improve this question

到目前为止，我还没有使用过 Spring Batch，我想知道现在是否是打破僵局的时候了。

我有 10k 到 30k 行的大型 csv 文件，我需要将其导入数据库。我还需要对这些数据进行一些处理。就像检查某些字段是否存在于数据库中一样(如果不存在，则应忽略该行)。我从未使用过 Spring Batch，所以我需要花一些时间来了解它，以便我可以使用它。但我对此也有一个非常严格的截止日期。

但是这样的工作真的值得吗？因为它不像预定的工作那样每天、每周或每月完成。这将根据需要完成。也许几个月一次。

那么使用批处理是否“过度”，或者使用一些缓冲读取器逐行迭代就可以了？

Answer 1

如果这是“仅仅”10k-20k 行的一次性工作，Spring Batch 就完全是大材小用了，你最好自己编写一些更小的东西。