c++ - 在 C++ 中逐行使用来自 csv 的数据的有效方法

Question

在 C++ 中逐行处理来自文件的数据的最有效(不易出错/通常“正确”)方式是什么(如果存在)？也就是说，在移动到下一个之前，一次只会使用文件中的一行来执行一些冗长的计算。我考虑过以下选项，但无法决定哪一个更合适。

1. 目前我正在做类似的事情(打开，做所有事情，最后关闭):

   string line; 
   fstream myfile;
   int numlines = 1000;
   myfile.open("myfile.csv");
   for(int i = 0; i < numlines; i++){
       getline(myfile, line); 
       // do something using read data
   };
   myfile.close();
   

2. 读取数据后立即打开和关闭(不会对速度造成太大影响，因为计算时间比数据导入时间长得多):

   string line; 
   fstream myfile;
   int numlines = 1000;
   for(int i = 0; i < numlines; i++){
       myfile.open("myfile.csv");
       for(int j = 0; j < i+1; j++)
           getline(myfile, line); 
       myfile.close();
       // do something using read data
   };
   

3. 一次读取所有数据(需要存储在 ~30x1000 二维数组中，因为 line 被逗号分割成数组):

   string line; 
   fstream myfile;
   int numlines = 1000;
   double data[numlines][30];
   myfile.open("myfile.csv");
   for(int i = 0; i < numlines; i++){
       getline(myfile, line);
       // split by comma, store in data[][]
   } 
   myfile.close();      
   for(int i = 0; i < numlines; i++){
       // do something using data[i][]
   };
   

这里是否有任何陷阱或上述任何解决方案是否有效？我在想也许将文件保持在打开状态几个小时不是一个好主意(也许吧？)，但是在内存中保持一个大的双二维数组听起来也不对...

Answer 1

如果可以，请使用 1。如果必须，请使用 3。永远不要使用 2。

为什么？选项 1 仅将存储用于单行缓冲区。它只遍历文件一次。由于打开的文件通常不是昂贵的资源，因此它很可能是最便宜和最简单的。

但是，选项 1 并不总是足够的。有时您需要以随机顺序处理行。这是选项 3 最好的地方。在这种情况下，如果有足够的内存，最简单的方法就是读取整个文件并将内容提取到内存中。在许多情况下，字符串数组就足够了。在你的行中，这些行似乎包含 double 的文本表示。因此，在您阅读时提取这些内容是合适的。通常，您希望以存储和/或访问高效的形式进行提取。

如果文件太大，内存放不下，则必须使用随机文件访问(C++ 中的fseek 或seek)。对于文本行，通读它以找到行开始的偏移量。将这些存储在数组中以用作行索引。通过使用适当的索引条目查找行开始来访问行。然后阅读下一个换行符。索引将为每行 8 个字节加上单行的缓冲区。如果文件真的很大，那么您可以将索引存储在一个文件中，并且每行访问查找两次。最好将索引和数据放在不同的磁盘驱动器上以减少寻道时间。消除索引的另一种选择是要求所有行具有相同的长度，因此算术足以找到任何行。

只有当您在处理一行时维护一个打开的文件会带来过高的成本时，选项 2 才有意义。实际上永远不会是这种情况。您的代码将必须读取 O(n^2) 个单位的数据以获取 n 个单位的文件。随着问题变得越来越大，对性能非常不利。由于文件 IO 通常是程序的瓶颈，这确实非常糟糕。

此外，文件打开和关闭是相当昂贵的操作，不能随意进行。我曾经在一个大型仿真系统上工作，并被要求看看我是否可以加快速度。事实上，考虑到它正在做的事情，它似乎过分缓慢。经过几个星期的逆向工程代码后，我终于发现在事件循环中每次迭代都会打开一个跟踪文件进行追加和关闭一次。我将打开和关闭移到循环外(在循环内添加一个偶尔的刷新来替换)，哇哦!模拟速度提高了 20 倍或更多。至少可以说客户很高兴。