csv - 如何读取大型 CSV 文件

Question

读取大型 CSV 文件的最佳方法是什么，目前我一次读取一条记录而不是使用 ReadAll()。

reader := csv.NewReader(csvFile)
reader.FieldsPerRecord = -1

for {
    // read just one record at a time
    record, err := reader.Read()
    if err == io.EOF {
        break
    } else if err != nil {
        checkErr(err)
        return
    }

有没有更好的方法来节省内存？

我通过 GRPC 将数组发送到单独的服务，将每条记录/行写入数据库。

Answer 1

是的，您可以使用一个选项来改进它。
可以允许读取器在每次 Read 方法调用时重用它返回的 slice 。
为此，您需要设置 reader.ReuseRecord = true。
但要小心，因为返回的 slice 可能会在下一次调用 Read 后发生变化!