java - 应用并行性来计算文件中单词的出现次数

Question

我编写了一个程序来计算文件中目标字符串的出现次数。它应该使用并行性来完成此任务，但我似乎无法弄清楚如何编写 run() 来仅评估文件的一部分，以便它的不同线程可以评估文件的其余部分。至少，这是我对并行性的理解。我已经看了几天文档和视频了，真的只需要有人向我解释一下；不是如何一步一步解决我的特定问题本身，而是使用不仅仅是带有打印线程 ID 的循环的主方法的方法来解释多线程。我知道我的类需要实现 Runnable 并且需要重写 run() 。我不确定当我无法传递参数时应该如何编写 run() 来仅处理文件的一部分。

    public static void main(String[] args) {
        new Thread(new Test()).start();
        new Thread(new Test()).start();
        System.out.println("My program counts: " + Test.getTotal() + " occurences of 'the'.");
    }
}
public class Test implements Runnable {

    private File alice = new File(getCurrentDir() + "/alice.txt");
    private String[] words;
    private BufferedReader reader;
    private StringBuilder sb;
    private int count;
    private static int total;

    public void run() {
        getAlice();
        for(int i = 0; i < words.length; i++) {
            if(words[i].toLowerCase().equals("the")) {
                count++;
            }
        }
        total = count;
    }
    public void getAlice() {
        try{
            reader = new BufferedReader(new FileReader(alice));
            sb = new StringBuilder();
            String line = "";
            while((line = reader.readLine()) != null) {
                sb.append(line);
            }
            words = sb.toString().split(" ");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    public String getCurrentDir() {
        String currDir = System.getProperty("user.dir");
        return currDir;
    }
    public String[] getWords() {
        return words;
    }
    static int getTotal() {
        return total;
    }
}```

Answer 1

如果没有一种方法来干净地分割文件，这将很难做到:任意分割文件可能会 split 单词。

如果文件被分成行，并且行从不分割单词，那么这就给了我们一些可以使用的东西。

一种设计将具有单个阅读器线程和字数计数线程池。

读取器线程将获取一个停止的计数线程，从该线程获取读取缓冲区，将下一行读入缓冲区，然后恢复计数线程。

计数线程将逐步遍历其读取缓冲区，该缓冲区将保存单行文本，并通过将该行上的单词计数添加到全局单词计数总数来完成。完成后，计数线程会将自身放回可用线程池中。

这是否是性能提升将取决于执行 IO 所花费的相对时间与计算单词所花费的时间相比。计算字数可能比 IO 快得多，以至于并行性不会加快处理速度，甚至可能因线程管理开销而减慢速度。

或者，如果文件已被读取并分割成行，这意味着 IO 不包含在性能中，则可能会获得性能提升。

此外，有多少个线程以及计数线程是否占用一行或多行可能很重要。