delphi - 使用普通 csv 文件的 TStreamReader 中的编码问题

Question

我在读取使用 Excel 2013 生成的普通 csv 文件时遇到问题。似乎编码在 TStreamReader 类中无法正常工作。奇怪的是，一个文件在工作，另一个文件不工作。读取第二个文件时，TStreamReader 返回一个空字符串:

LString := FEncoding.GetString(LBuffer, StartIndex, ByteBufLen);

两个文件都有 1 字节的 ANSI 编码。但是 TStreamReader 使用的是 UTF8 编码。

我的代码:

  fs := TFileStream.Create(aFileName, fmOpenRead or fmShareDenyNone);
  sr := TStreamReader.Create(fs);
  while (not sr.EndOfStream) do //sr.EndOfStream is always true!!!!
  begin
    //some code here
  end;

到目前为止，我发现以下函数返回一个空字符串:

function TMBCSEncoding.GetCharCount(Bytes: PByte; ByteCount: Integer): Integer;
begin
  Result := UnicodeFromLocaleChars(FCodePage, FMBToWCharFlags,
    PAnsiChar(Bytes), ByteCount, nil, 0);
end;

当我比较这两个文件时，它们在 Bytes 和 ByteCount 变量旁边有相同的输入。但是字节以相同的值开始(相同的 csv header 名称)。

所以我的问题是，为什么一个文件有效而另一个无效？我该怎么做才能正确读取文件？

Answer 1

您调用的 TStreamReader 的构造函数是这个:

constructor TStreamReader.Create(Stream: TStream);
begin
  Create(Stream, TEncoding.UTF8, True);
end;

True 参数是 DetectBOM。如果遇到 BOM，将确定编码。否则文件将被视为 UTF-8。您的文件没有 BOM。因此，您得到的正是您所要求的。即文件被视为 UTF-8。

如果您希望文件被视为 ANSI，您必须指定编码:

sr := TStreamReader.Create(fs, TEncoding.Default);

或者如果你想在找不到 BOM 时默认为 ANSI，否则尊重 BOM，你可以这样做:

sr := TStreamReader.Create(fs, TEncoding.Default, True);

为什么您的代码适用于一个文件而不适用于另一个文件？大概一个文件完全在 ASCII 范围内，而另一个文件的字符超出该范围。 UTF-8 以单个字节对 ASCII 范围内的字符进行编码，这意味着 ASCII 编码的文件可以由 UTF-8 编码正确解释。这是 UTF-8 的主要设计目标之一。