c - 逐行读取文件增加内存？

Question

我是 c 的新手。我有一些代码试图在 Cuda 中测试，但在提取数据时遇到了一些麻烦。我的数据驻留在一个文件(19GB)中，我基本上计划读取一定数量的行，将它们保存到列表中，发送他们对整个文件进行处理并再次执行此操作。

我刚开始学习如何执行此操作并且遇到了我不确定的 C 问题，当我运行该程序时我的内存不断增加(当我在我的 mac 上使用事件监视器时)，但它似乎与 c 程序无关，它只是显示非事件内存在不断增长。即使在程序停止后，内存仍然处于非事件状态(恢复它的唯一方法是重新启动)。据我所知，它不会影响程序，但看起来很奇怪，我很想知道为什么以及是否/我能做些什么？

我对 malloc 和 free 有一点了解(抱歉，我更了解 Java/Python，从来没有这样做过)但我不确定我是否应该在这段代码中这样做，因为我认为 行 变量不断被覆盖。

代码如下:

int main() {
    printf("Starting..");
    char line[1024];
    FILE *fp = fopen("output.txt","r");

    if( fp == NULL ) {
        return 1;
    }
    int count = 0;
    while( fgets(line,1024,fp) ) {
        //printf("%s\n",line);
        count++;
    }
    printf(" num of lines is %i \n", count);

    return 0;
}

我很感激任何关于这里发生的事情的提示/建议，以及是否有更好的方法来做到这一点？

更新:对不起，我没有提到，我注意到的行为是在程序运行时发生的。当它运行时，非事件内存会不断增长。我有大约 4 个可用的演出，30 秒后它全部满了，重启是释放它的唯一方法(即使 c 程序被杀死，内存也没有被释放)。

Answer 1

这是完全正常的。释放内存需要付出努力。这种努力完全是浪费，因为一旦需要内存，系统就必须将其从空闲池中删除。直接将内存从一种用途转移到另一种用途效率更高。所以这个系统是聪明的而不是愚蠢的。

这不像今天使用一半的内存，明天可以使用两倍的内存。所以释放内存没有任何好处。

当您从文件中读取行时，操作系统会从文件中读取整个 block 。如果可能的话，它会尝试将这些 block 保留在内存中，因为这样可以避免将来不得不从磁盘读取数据。如果它没有更好的用途来放置内存，它会将这些文件 block 保留在内存中。这既节省了释放内存以再次使用内存的努力，又加快了以后对同一文件 block 的访问速度。

释放此内存没有任何好处。只是需要操作系统方面的努力让它免费，操作系统方面的努力让它在未来再次使用，操作系统失去了避免磁盘读取的机会。因此，释放内存将是完全愚蠢的。