Java:如何创建一个返回大数据文件每一行的迭代器(columnList)的通用方法

Question

这个问题更多的是关于架构，也是为了增强我自己的理解。

每当我分析制表符分隔的数据文件时，我都会一遍又一遍地编写下面的代码。

BufferedReader reader = new BufferedReader(new FileReader(new File(filename)));
String line="";
while ( (line=reader.readLine())!=null) {
     List<String> columnList = Splitter.on('\t').splitToList(line);
     //Do something with columns  

}

有关 Splitter 的更多信息

虽然上面的代码没有任何问题，但我想知道是否有一种方法可以概括上面的内容，以便我可以将这段代码放在某个实用程序类中并继续调用它。

因为数据文件将以千兆字节为单位，所以我不想使用Files.readLines()，我仍然想一次使用一行并在移动到之前处理该行下一行。

问题:

那么，有没有办法创建一些东西 getFileLineColumnListIterator(String fileName,String delimiter) 我可以简单地在该迭代器上发出 .next() 来获取下一行columnList，同时仍然保留原始的行顺序？

希望我的问题不会转向函数式编程范式。

额外加分，如果您能回答如何在读取上述文件时指定编码。

附注请随意为这个问题建议一个更好的标题，这是我能想到的最好的标题。

Answer 1

要指定编码，您需要使用InputStreamReader:

try (final BufferedReader reader = 
    new BufferedReader(new InputStreamReader(new FileInputStream(myFile), Charset.forName("UTF-8")))) {
}

为了避免每次使用 OpenCSV 等库时都重写代码 - 不要重新发明轮子。例如，您的代码无法处理转义分隔符或用引号引起来的数据。

与 OpenCSV你可以这样做:

try (final CSVReader reader = 
    new CSVReader(new InputStreamReader(new FileInputStream(myFile), Charset.forName("UTF-8")), '\t')) {
    String[] line;
    while ((line = reader.readNext()) != null) {

    }
}

如果您确实想自己执行此操作，忽略上面的警告并假设您正在使用 Guava，您可以执行以下操作:

public final class TsvProcessor extends AbstractIterator<List<String>> {

    private final Splitter splitter = Splitter.on('\t');
    private final Scanner s;

    public TsvProcessor(final File file, final String charset) throws FileNotFoundException {
        s = new Scanner(file, charset);
    }

    @Override
    protected List<String> computeNext() {
        if (!s.hasNext()) {
            s.close();
            return endOfData();
        }
        return splitter.splitToList(s.nextLine());
    }
}

用法是:

final Iterator<List<String>> lines = new TsvProcessor(myFile, "UTF-8");
while(lines.hasNext()) {

}

请注意，在 Java 8 中，您可以使用新的 Stream API:

final Splitter s = Splitter.on('\t');
Files.lines(myFile.toPath()).map(x -> s.splitToList(x)).forEach(new Consumer<List<String>>() {

    @Override
    public void accept(final List<String> t) {
        //do stuff
    }
});

正如 @JBNizet 建议的那样，您还可以使用采用 LineProcessor 的 Files.readLines 的流方法:

Files.readLines(myFile, Charsets.UTF_8, new LineProcessor<T>() {

    @Override
    public boolean processLine(final String line) throws IOException {
        //process line
    }

    @Override
    public T getResult() {
        //return result
    }
});

您可以实现自己的LineProcessor并重用它。将拆分行为封装到该实现中。

来自 JavaDoc:

Streams lines from a File, stopping when our callback returns false, or we have read all of the lines.