java - 在插入下一批数据之前确定 CSV 大小

Question

我正在开发一个功能，需要从 Oracle 表中获取数据，并且表的每一行都映射到一个 Java 对象。所以我将拥有记录列表，并且需要使用此数据创建一个 CSV 文件。

这里要考虑的不同场景:

1. 将会有数百万条记录，我将分 10k 批处理获取数据。

2. 每批 10k 条记录将附加到 csv 中。

限制:

1. CSV 文件不应超过 100 MB。

2. 如果在任何时候大小超过 100 MB，我应该创建一个新的 CSV 文件。

问题:

1. 如何确保 CSV 文件大小达到 100 MB 后不会插入记录？
2. 假设我有包含 10k 员工对象的记录列表，并且我以某种方式计算出该列表的大小为 1MB。那么如果我把这些记录放入csv中，csv的大小也会是1MB吗？

Answer 1

我提出以下解决方案。 首先，我们不应该在一次查询中从 Oracle 读取数百万条记录。 Oracle 表应按日期、月份、年份或任何其他条件进行分区。您可以限制记录数量并写入文件。

其次，csv 文件大小。您无需在追加到 csv 文件之前查看 csv 文件大小，而是可以查看 java 中结果对象的大小，并确定要在批量追加中追加多少条记录。