c - 使用 fgetws() 和 UTF-8 的 EILSEQ

Question

以下 C 代码使用 fgetws() 从 stdin 读取行并将其写入 stdout。

#include <stdio.h>
#include <locale.h>
#include <wchar.h>

#define STR_LEN 128

int main(int argc, char **argv)
{
    FILE *infile = stdin, *outfile = stdout;
    wchar_t str[STR_LEN];

    if (setlocale(LC_ALL, "en.UTF-8") == NULL) {
        fprintf(stderr, "Cannot set locale\n");
        return 1;
    }


    for (;;) {

        if (!fgetws(str, STR_LEN, infile)) {
            if (feof(infile)) {
                break;
            }
            perror("fgetws()");
            continue;
        }
        str[wcscspn(str, L"\r\n")] = L'\0';

        if (fwprintf(outfile, L"%ls\n", str) < 0) {
            perror("fwprintf()");
        }

    }

    return 0;
}

它总是可以完美地处理 ASCII 文件，但有时在读取 UTF-8 数据时会从 fgetws() 收到 EILSEQ 错误(非法字节序列)，而我无法找出原因。

在输出文件中，导致错误的行被截断，然后缺少一些字符，剩余部分位于下一行。奇怪的是，如果我只给出那一行，那么我不会收到任何错误。

例如，如果我读取一个只有几行 UTF-8 行的文件，那就没问题；如果我多次重复相同的行，那么我会得到 EILSEQ。

我几乎确定该文件已正确编码。

我使用带有 musl-libc 的 Linux。

我的代码有什么问题？

编辑:我收到几个 EILSEQ 错误，具体取决于输入大小，但我不知道两者之间的确切关系。

使用相同的输入，我在同一行得到相同的错误。

它似乎不是触发错误的特定偏移量或字符，但我可能是错的。

编辑2:我也在 OpenBSD 上测试了代码并且它可以工作。此时我怀疑这个问题与Linux或musl-libc有关。

Answer 1

UTF-8使用char来存储字符，其工作方式与ANSI相同。唯一的区别是语言字符可以比一个字符长。

wchar_t 和 Wide-C 字符串函数用于 Windows 中的 UTF-16。在 Linux 中，您可以使用 char16_t 来存储 UTF-16，但前提是您正在使用 UTF-16 文件。显然这里的情况并非如此。

只需使用 char 函数来处理 UTF-8，与处理 ANSI 的方式完全相同:

char str[STR_LEN];
while(fgets(str, STR_LEN, infile))
{
    str[strcspn(str, "\r\n")];
    fprintf(outfile, "%s\n", str);
}