delphi - 为什么 Tstringlist.LoadFromfile 无法加载合理大小的文件？

Question

在 32 位、8GB 内存的 Win 10 系统上编译。

尝试使用 Tstringlist.Loadfromfile 加载 150Mb ASCII 文件会出现“内存不足错误”，任务管理器报告已使用 1200Mb。

即使有 50% 的 Unicode 冗余也无法解释这种低效率!

知道发生了什么吗？

示例代码。

unit Unit3;

interface

uses
  Winapi.Windows, Winapi.Messages, System.SysUtils, System.Variants, System.Classes, Vcl.Graphics,
  Vcl.Controls, Vcl.Forms, Vcl.Dialogs, Vcl.StdCtrls;

type
  TForm3 = class(TForm)
    OpenDialog1: TOpenDialog;
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form3: TForm3;

implementation

{$R *.dfm}

procedure TForm3.Button1Click(Sender: TObject);
var f:tstringlist;
begin
  if opendialog1.Execute then
  begin
    f:=Tstringlist.create;
    try
      f.Loadfromfile(Opendialog1.Filename);
    finally
      f.free
    end
  end;
end;

end.

根据要求，下面文件中的一些代表性文本......

AcDbPolyline
 90
5
 70
0
 10
100091.01
 20
59019.75
 10
100077.39
 20
59001.49
 10
100070.7
 20
58974.72
 10
100066.85
 20
58942.73
 10
100065.12
 20
58920.69
  0
LWPOLYLINE
  5

Notepad++ 报告该文件有 2700 万行。

Answer 1

每个字符串都需要单独的堆分配。每个堆分配都会产生一个内存块，但也会产生内存管理器使用的一些元数据。最重要的是，字符串有自己的元数据、引用计数和长度。

如果您的文件包含许多非常短的行，那么元数据很容易占据主导地位。在极端情况下，单个字符串很容易消耗 20 个字节或更多。从我的头脑中，我不知道实际的开销数字，所以这是一个猜测。

如果行很短，就会有很多字符串。字符串列表所拥有的指针数组本身可能非常大。如果通过调整内存大小来分配可能会导致碎片。你说有2700万行。每行有两个指针，一个是字符串，一个是其关联对象，仅此一项就超过 200MB。

总而言之，TStringList 对于您的任务来说是错误的类型。您最好使用字符串读取器对象逐行读取文件。或者将整个文件加载到内存中并使用专用类型将行映射到偏移量，就像文本编辑器一样。事实上，文本编辑器通常使用内存映射来避免地址空间危机。如果不知道您想如何处理该文件，就很难提出建议，但我希望我已经帮助您理解为什么您当前的方法没有 future 。