c - 无法使用 memmem 进行字符串搜索

Question

我不喜欢把一大堆代码放在这里然后让人们帮我调试它，但我对 C 有点缺乏经验，我完全被难住了。

总体目标是对一个非常大的日志文件 (11G+) 进行一些清理，我一次读取 2048 字节，然后扫描各个行，将它们写入输出文件。我最初使用 strstr 来查找行结尾，但是我发现这不适用于读取缓冲区末尾的部分行 - 我认为这是因为我正在从文件中读取的“字符串”没有一个\0 在它的末尾，strstr 感到困惑。

因此，经过一番谷歌搜索后，我想我应该试试 memmem，它似乎是 strstr 的“二进制安全”替代品。这就是我卡住的地方，我的程序在调用 memmem 期间出现段错误。

#include <stdio.h>
#include <string.h>

#define BUFF_LEN 2048

int main (void)
{
    char file_buff[BUFF_LEN], prev_line[BUFF_LEN], curr_line[BUFF_LEN];
    char *p_line_start, *p_lf;
    int bytes_consumed, bytes_read;
    FILE *in_fp, *out_fp;

    in_fp = fopen("208.log", "r");
    out_fp = fopen("expanded.log", "w+");

    int sane = 0;
    while (1) {
        bytes_read = fread(file_buff, 1, BUFF_LEN, in_fp);
        if (bytes_read == 0) {
            break;
        }

        // Set the pointer to the beginning of the file buffer
        p_line_start = file_buff;
        bytes_consumed = 0;

        // Chomp lines
        while (bytes_consumed < bytes_read) {
            printf("Read to go with bytes_read = %d, bytes_consumed = %d\n",
                bytes_read, bytes_consumed);
            p_lf = (char *) memmem(p_line_start, bytes_read - bytes_consumed,
                "\n", 1);
            if (p_lf == NULL) {
                // No newline left in file_buff, store what's left in
                // curr_line and break out to read more from the file.
                printf("At loop exit I have chomped %ld of %d\n",
                    p_line_start - file_buff, bytes_read);
                //break;
                goto cleanup;
            }
            // Copy the line to our current line buffer (including the newline)
            memcpy(curr_line, p_line_start, p_lf - p_line_start + 1);
            printf("Chomped a line of length %ld\n", p_lf - p_line_start + 1);
            fwrite(curr_line, 1, p_lf - p_line_start + 1, out_fp);
            p_line_start = p_lf + 1;
            bytes_consumed += p_lf - p_line_start + 1;
        }

有人可以在这里给我留言吗？!
也欢迎提供有关如何为我自己更好地调试它的提示。

Answer 1

来自您的评论之一:

I'm casting the return value because gcc was kicking out warnings: "warning: assignment makes pointer from integer without a cast".

您只是通过转换返回值来隐藏问题。

memmem 返回一个指针。今天，指针通常是 64 位的。如果你没有声明函数，编译器不知道它返回一个指针，而是假定它返回一个整数。今天通常一个整数是 32 位。生成的代码将查找返回该整数的位置，并从那里取出 32 位。它实际得到的是返回指针的一半。

尝试在你调用 memmem 之后添加这一行，看看你声明或不声明 memmem 时打印输出是否不同:

printf("[p_lf = %p]\n", (void*)p_lf);

当我使用您的原始程序(没有声明)运行它时，它打印了 0xffffffffffffda67，然后崩溃了，因为那是一个无效指针。通过声明(使用#define _GNU_SOURCE)它打印出 0x7fffffffda67，并且没有崩溃。请注意，如果您只取 0x7fffffffda67 的低 32 位，您将得到 0xffffda67，如果您随后将其扩展为 64 位，您将得到 0xffffffffffffda67，即来自原始程序的指针。 (地址空间布局随机化已关闭。)

这就是为什么你不应该转换返回值。