c - 字符/字符串文字存储在什么编码中？ (或者如何从输入的字符串中找到文字字符？)

Question

正如我们所知，不同的编码将不同的表示映射到相同的字符。使用 setlocale 我们可以指定从输入中读取的字符串的编码，但这是否也适用于字符串文字？我会觉得这很令人惊讶，因为它们是编译时的!

这对于简单的任务很重要，例如，确定从输入中读取的字符串是否包含特定字符。从输入中读取字符串时，将区域设置设置为用户的区域设置 (setlocale("LC_ALL", "");) 似乎是明智的，以便正确读取和处理字符串。但是当我们将这个字符串与字 rune 字进行比较时，会不会因为编码不匹配而出现问题？

换句话说:以下片段似乎对我有用。但这不只是因为巧合吗？因为——比如说？ - 源代码恰好保存在运行时机器上使用的相同编码中？

#include <stdio.h>
#include <wchar.h>
#include <stdlib.h>
#include <locale.h>

int main()
{
        setlocale(LC_ALL, "");

        // Read line and convert it to wide string so that wcschr can be used
        // So many lines! And that's even though I'm omitting the necessary
        // error checking for brevity. Ah I'm also omitting free's
        char *s = NULL; size_t n = 0;
        getline(&s, &n, stdin);
        mbstate_t st = {0}; const char* cs = s;
        size_t wn = mbsrtowcs(NULL, &cs, 0, &st);
        wchar_t *ws = malloc((wn+1) * sizeof(wchar_t));
        st = (mbstate_t){0};
        mbsrtowcs(ws, &cs, (wn+1), &st);

        int contains_guitar = (wcschr(ws, L'🎸') != NULL);
        if(contains_guitar)
                printf("Let's rock!\n");
        else
                printf("Let's not.\n");
        return 0;
}

如何正确地做到这一点？

Answer 1

Using setlocale we can specify the encoding of strings that are read from input, but does this apply to string literals as well?

没有。字符串文字使用执行字符集，它由您的编译器在编译时定义。

执行字符集不必与源字符集相同，即源代码中使用的字符集。 C 编译器负责翻译，并且应该有选择/定义它们的选项。默认值取决于编译器，但在 Linux 和大多数当前的 POSIXy 系统上，通常是 UTF-8。

The following snippet seems to work for me. But doesn't it work only because of coincidence?

该示例之所以有效，是因为您的区域设置的字符集、源字符集和构建二进制文件时使用的执行字符集都恰好是 UTF-8。

How to do this correctly?

两个选项。一种是使用宽字符和字符串文字。另一种是使用UTF-8 everywhere .

对于宽输入和输出，参见例如this example在这里的另一个答案。

请注意 getwline() 和 getwdelim() 不在 POSIX.1 中，而是在 C11 Annex K 中。这意味着它们是可选的，并且从这里开始写作，根本无法广泛使用。因此，围绕 fgetwc() 的自定义实现建议改为。 (基于 fgetws() 、 wcslen() 和/或 wcscspn() 的一个将无法正确处理嵌入的空值 L'\0'。)

在一个典型的宽 I/O 程序中，你只需要 mbstowcs()将命令行参数和环境变量转换为宽字符串。

在任何地方都使用 UTF-8 也是一种完全有效的实用方法，至少如果它有很好的文档记录，这样用户就知道程序输入和输出 UTF-8 字符串，并且开发人员知道确保他们的 C 编译器在编译这些二进制文件时使用 UTF-8 作为执行字符集。

您的程序甚至可以使用例如

    if (!setlocale(LC_ALL, ""))
        fprintf(stderr, "Warning: Your C library does not support your current locale.\n");
    if (strcmp("UTF-8", nl_langinfo(CODESET)))
        fprintf(stderr, "Warning: Your locale does not use the UTF-8 character set.\n");

验证当前语言环境使用 UTF-8。

这两种方法我都用过，视情况而定。很难说哪一个在实践中更便携，因为像往常一样，两者都可以在非 Windows 操作系统上正常工作，没有问题。