c - 如何获取大型(二进制)文件中字符串的偏移量？

Question

我目前正在尝试查找大文件中字符串的偏移量。我知道该字符串只出现一次，但文件中的位置可能会有所不同。

我的第一个想法是先将文件(可能有几百兆)读入内存，以加快搜索速度。

然而，这很可能会导致获取内存中的偏移量，而不是实际的文件偏移量。

我如何获得文件偏移量？我能以某种方式将内存偏移量映射到文件偏移量吗？或者是否有直接在文件系统上执行此操作的高效方法？

一些引用代码:

char *buffer;
long fsize = 0;

FILE *fd = fopen("data.bin", "r");

if (fd == NULL)
{
    printf("file I/O error.\n");
    return 0;
}

fseek(fd, 0, SEEK_END);
fsize = ftell(fd);
fseek (fd, 0, SEEK_SET);

buffer = malloc(fsize);

if (buffer == NULL)
{
    printf("error allocating memory.\n");
    return 0;        
}

fread(buffer, fsize, 1, fd);
fclose(fd);

// FIND STRING "MAGIC" and return FILE offset

如何从这里开始？如上所述，性能是一个重要方面。

Answer 1

最简单、最有效和最节省资源的方法不是将文件读入缓冲区，而是将其内存映射并搜索字符串，然后像这样:

int fd = open(filename, O_RDONLY);
off_t length = lseek(fd, 0, SEEK_END);
void *data = mmap(NULL, length, PROT_READ, MAP_PRIVATE, fd, 0);
void *ptr = memmem(data, length, key, keylen);
size_t offset = ptr-data;
munmap(data, length);
close(fd);

这有很大的优势，你不必关心读取文件的内存管理，操作系统会为你做这一切(包括缓存，预读等。pp.)。如果系统内存不足，操作系统将自动丢弃文件的内存页面。