c++ - 更快的阅读和更快的处理

Question

我有一个大文件要逐行读取并对每一行做一些处理。我在 c/c++ 中想出了最简单的程序，如下所示，但我想知道我是否可以得到一些帮助以使其更快(使用 threading 或 fopenmp 等) .

FILE *fp=fopen(argv[1], "r");
char line[500];
while(fgets(line, 500, fp) != NULL){
  line[strlen(line)-1] = '\0';
  /* do dome processing on each line */
  for(int i=0; i<strlen(line)-k+1; i++){
    /* do something for each k-length substring  */    
  } 
}

这需要大量时间，因为我的文件包含 5 亿行。我尝试通过首先存储行然后逐行处理行来使用较小的文件，这样速度更快。在这里我不能存储所有 5 亿行，因为它们会占用巨大的空间。

我是编程新手，所以任何有助于提高编程效率的帮助都将不胜感激。

Answer 1

这个问题更适合代码审查。不管怎样，如果你在 Windows 上，你可以做一些优化。

• 将 CreateFile 与 OVERLAPPED 参数一起用于异步 IO。
• ReadFile 将文件 block 读入内存
• 在您的 ReadFile 子例程中创建多个 std::thread，每个在文件的不同部分。