C 程序在 41 秒后给出段错误

Question

我正在编写一个程序来将文件解析为另一种格式。输入文件的大小为 20Gb，因此我转向 C 来解析它，但是当我的输出文件达到 4.3Gb(这大约是 41 秒标记)时，程序会出现段错误。

当拖尾输出文件时，它显示它已停止在写入过程中提供输出。

输入文件位于 ftp://ftp.uniprot.org/pub/databases/uniprot/current_release/knowledgebase/idmapping/文件被压缩为 idmapping.dat.gz

程序应该解析整个文件，而不仅仅是给出段错误。

int main()
{
    char line[256];
    char placeholdertoken[256];
    char placeholderline[256];
    char *token1, *token2, *token3;
    char *chdup;
    char *tab, *newline, *semicolom, *empty;
    FILE *fp;
    FILE *fs;
    fp = fopen("idmapping.dat", "r");
    fs = fopen("parsedidmapping.dat", "w");

    if( fp == NULL )
    {
        perror("Error while opening the file.\n");
        exit(EXIT_FAILURE);
    }

    strcpy(tab,"\t");
    strcpy(newline,"\n");
    strcpy(semicolom,";");
    strcpy(empty,"");
    strcpy(placeholdertoken,"");

    while (fgets(line, sizeof(line), fp) != NULL)
    {

    token1 = strtok(line, "\t");
    token2 = strtok(NULL, "\t");
    token3 = strtok(NULL, "\n");

    if (strcmp(token1, placeholdertoken) == 0) {
        strcat(placeholderline, token2);
        strcat(placeholderline, semicolom);
        strcat(placeholderline, token3);
        strcat(placeholderline, tab);
    }
    else {
        strcat(placeholderline, newline);
        strcpy(placeholdertoken,token1);
        fputs(placeholderline, fs);
        strcpy(placeholderline, empty);
        strcat(placeholderline, token1);
        strcat(placeholderline, tab);
        strcat(placeholderline, token2);
        strcat(placeholderline, semicolom);
        strcat(placeholderline, token3);
        strcat(placeholderline, tab);
        }
    }

    fclose(fs);
    fclose(fp);
    return 0;
}

Answer 1

您的placeholdertoken[]未初始化。您的 placeholderline 未分配任何内存。

我很惊讶它运行了 41 秒。