matlab - 对包含大量行的文件进行文本扫描

Question

我正在尝试在 MATLAB 中使用 textscan 分析一个非常大的文件。有问题的文件大小约为 12 GB，包含大约 2.5 亿行，每行有七个( float )数字(由空格分隔)；因为这显然不适合我的桌面 RAM，所以我使用了 MATLAB documentation 中建议的方法。 (即一次加载和分析较小的文件 block 。根据文档，这应该允许处理“任意大的分隔文本文件[s]”)。这只允许我扫描大约 43% 的文件，之后 textscan 开始返回空单元格(尽管文件中仍有数据要扫描)。

为了调试，我尝试使用 fseek 函数转到文件中的多个位置，例如:

fileInfo = dir(fileName);
fid = fileopen(fileName);
fseek(fid, floor(fileInfo.bytes/10), 'bof');
textscan(fid,'%f %f %f %f %f %f %f','Delimiter',' ');

我假设我在这里使用 fseek 的方式将位置指示器移动到我文件的大约 10%。 (我知道这并不一定意味着指示器位于一行的开头，但如果我运行 textscan 两次，我会得到一个满意的答案。)现在，如果我替换 fileInfo .bytes/10 by fileInfo.bytes/2(即将其移动到文件的大约 50%)一切都崩溃了，textscan 只返回一个空的 1x7单元格。

我使用大型文件的文本编辑器查看了该文件，这表明整个文件看起来都很好，并且 textscan 应该没有理由混淆。我能想到的唯一可能的解释是，在我几乎不了解的更深层次上出现了问题。任何建议将不胜感激!

编辑

我的代码的相关部分曾经是这样的:

while ~feof(fid)
    data = textscan(fid, FormatString, nLines, 'Delimiter', ' '); %// Read nLines
        %// do some stuff
end

首先，我尝试按照下面 Hoki 的建议使用 ftell 和 fseek 修复它。这给出了与我之前得到的完全相同的错误:MATLAB 无法读取超过大约 43% 的文件。然后我尝试使用 HeaderLines 解决方案(也在下面建议)，如下所示:

i = 0;
while ~feof(fid)
    frewind(fid)
    data = textscan(fid, FormatString, nLines, 'Delimiter',' ', 'HeaderLines', i*nLines);
        %// do some stuff
    i = i + 1;
end

这似乎读入了数据而没有产生错误；然而，它非常慢。

我不完全确定我理解 HeaderLines 在这种情况下的作用，但它似乎使 textscan 完全忽略指定行之前的所有内容。当以“适当”的方式使用 textscan 时(有或没有 ftell 和 fseek)似乎不会发生这种情况:在这两种情况下它试图从它的最后一个位置继续，但由于某种我还不明白的原因而无济于事。

Answer 1

fseek 只有当您准确知道要将光标移动到何处(或移动多少字节)时，文件中的指针才有用。当您只想跳过一些已知 长度的记录时，它对二进制文件非常有用。但是在文本文件上，它比任何东西都更危险和令人困惑(除非您绝对确定每行的大小相同并且行中的每个元素都位于相同的位置/列，但这种情况不会发生经常)。

有几种方法可以逐 block 读取文本文件:

1) 使用HeaderLines选项

要简单地跳过文本文件中的一行，可以使用 textscan 的 HeaderLines 参数，例如:

readFormat = '%f %f %f %f %f %f %f' ;   %// read format specifier
nLines = 10000 ;                        %// number of line to read per block

fileInfo = dir(fileName);

%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' '); %// read the first 10000 lines
fclose(fid)
    %// Now do something with your "M" data

然后当你想读取第二个 block 时:

%// later read the SECOND block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', nLines); %// read lines 10001 to 20000
fclose(fid)

如果你有很多 block ，对于 Nth block ，只需适应:

%// and then for the Nth BLOCK block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', (N-1)*nLines);
fclose(fid)

如有必要(如果您有很多 block )，只需在循环中编写最后一个版本即可。

请注意，如果您在每次 block 读取后关闭您的文件，这是很好的(这样当您再次打开文件时，文件指针将从文件的开头开始)。如果您的处理可能需要很长时间或可能出错，则在读取数据 block 后关闭文件会更安全(如果您不希望文件保持打开时间过长或丢失 fid崩溃)。

---

2)分块读取(不关闭文件)

如果 block 的处理速度足够快且足够安全，因此您可以确定它不会炸毁，您可以不关闭 文件。在这种情况下，textscan 文件指针将停留在您停止的位置，因此您也可以:

• 读取一个 block (不关闭文件):M = textscan(fid, readFormat, nLines)
• 处理它然后保存你的结果(并释放内存)
• 使用相同的调用读取下一个 block :M = textscan(fid, readFormat, nLines)

在这种情况下，您不需要 headerlines 参数，因为 textscan 会从它停止的地方恢复读取。

---

3) 使用ftell 和fseek

最后，您可以使用 fseek 在您想要的精确位置开始读取文件，但在这种情况下我建议将它与 ftell 结合使用.

ftell 将返回打开文件中的当前位置，因此使用它来了解您上次停止阅读的位置，然后在下次使用 fseek 继续阅读在这个位置。像这样的东西:

%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)

%// do some stuff

%// then read another block:
fid = fileopen(fileName);
fseek( fid , 'bof' , lastPosition ) ;
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)
%// and so on ...