c++ - 文本文件编码方案

Question

应用程序(例如 vim)如何在读取给定文本文件之前知道其格式(即 ASCII、unicode 等)？

另外，我们如何编写一个 C++ 程序来检测相同的内容？

Answer 1

他们通常在阅读之前并不知道。有时他们在阅读文件后并不知道——大多数人查看文件的开头，并试图猜测其中包含的数据的编码。

在某些情况下，这可能非常容易(例如，如果它以 Unicode BOM 开头)，但在其他情况下则相当困难。有一次，微软的“IsTextUnicode”对相当多的英文文本做出了错误的猜测，所以记事本(对于一个使用它的程序)会让你在文件中输入一个东西，然后当你再次打开文件时，它会显示你完全不同，因为你输入的英文被解释为以 Unicode 编码的汉字。