java - 我如何在 java 中实现多线程来处理 200 万个文本文件？

Question

我必须处理大约 200 万个文本文件 并在其中生成三元组。

假设我有一个txt文件xyz.txt(200万输入的文件之一)，它的处理如下:

start(xyz.txt)---->module1(xyz.tpd)------>module2(xyz.adv)-------->module3(xyz.tpl )

给我建议一个逻辑或概念，以便我可以在 x64 4GB Windows 系统上以优化的方式更快地处理。

module1(工作):它使用调用解析器的 .bat 文件解析 txt 文件，它是一个单独的系统线程，15 秒后它再次开始解析另一个 txt 文件，依此类推....

module2(working): 它接受.tpd 文件作为输入并生成.adv 文件。模块 3(工作):它接受 .adv 文件作为输入并生成 .tpl(三元组)。

我应该从 txt 文件开始线程还是在其他点..？我担心如果我的 CPU 卡在上下文切换中。

谁能有更好的逻辑，这样我就可以试试……!？

Answer 1

使用 ThreadPoolExecutor .调整它的参数，如 Activity 线程数和其他参数以适应您的环境和系统。