java-8 - 使用 Java 8 并行流读取文件行是个好主意吗？

Question

使用 Java 8 并行流读取文件行是个好主意吗？每一行都是一个 URL，所以任务是

1. 读取 URL
2. 连接到适当的 URL 地址
3. 将资源保存到合适的文件夹

有时使用并行流会导致神秘的错误，那么使用并行流是直接的情况吗？

Answer 1

这取决于，如果您的文件没有多行，您可能根本无法从并行处理中获益，原因有二:1) 因为所有并行基础设施并不便宜，以及 2) 因为一个流不知道有多少行File 的行。因此，它将读取行并为每个 Spliterator( chunk )创建一个缓冲区，IIRC 它以 1024 行开始并添加 1024 等等......所以并行可能会变得非常昂贵在这种情况下很可能没有任何好处。另一方面，如果你有巨大的文件......测量以了解你是否真的需要 parallel

另请注意，您将要执行一些 IO，并行并不是一个好主意。