c - 运行时关键，C 中 CSV 文件的读取操作

Question

有没有一种方法可以编写一种快速、高效的方式来读取 csv 文件？[这里需要注意的是:我说的是一个包含一百万行以上的 csv 文件]

运行时间是这里的关键指标。

互联网上的一个资源集中于使用二进制文件操作来批量读取。但我确信，这对读取 CSV 文件是否有帮助

还有其他方法，例如 Robert Gamble 编写的 SourceForge 代码。有没有办法使用 native 函数编​​写它？

编辑:让我们以更清晰、更好的方式拆分整个问题:

1. 是否有一种有效的(运行时关键的)方法来读取 C 中的文件？ (在本例中是一百万行长的 .csv 文件)

2. 有没有一种快速有效的方法来解析 csv 文件？

Answer 1

没有一种方法可以始终最快地读取和解析任何类型的文件。但是，您可能想要构建一个 Ragel CSV 语法；这些往往相当快。您可以将其调整为适合您的特定 CSV 类型(逗号分隔、; 分隔、仅数字等)，并且可能会跳过您不会使用的任何数据。我在使用特定于数据集的 SQL 解析器方面拥有丰富的经验，这些解析器可以跳过大部分输入(数据库转储)。

批量读取可能是一个好主意，但您应该根据实际数据来衡量它是否真的比 stdio 缓冲更快。在 Windows 上使用二进制 I/O 可能会加快速度，但随后您需要在其他地方处理换行符。