php - Sphinx - 在 sphinx 记录上调用 json_encode() 时参数错误中的 UTF-8 序列无效

Question

我正在使用 Yii2 框架和 Sphinx 搜索服务器编写一个用于多语言搜索的 Web 服务。网站中的搜索工作完全正常，但在访问此网络服务时抛出错误；

{
  "name": "PHP Warning",
  "message": "json_encode(): Invalid UTF-8 sequence in argument",
  "code": 2,
  "type": "yii\\\\base\\\\ErrorException",
  "file": "C:\\\\xampp\\\\htdocs\\\\my-website\\\\vendor\\\\yiisoft\\\\yii2\\\\helpers\\\\BaseJson.php",
  "line": 38,
  "stack-trace": [
    "#0 [internal function]: yii\\\\base\\\\ErrorHandler->handleError(2, 'json_encode(): ...', 'C:\\\\xampp\\\\htdocs...', 38, Array)",
    "#1 C:\\\\xampp\\\\htdocs\\\\my-website\\\\vendor\\\\yiisoft\\\\yii2\\\\helpers\\\\BaseJson.php(38): json_encode(Array, 320)",
    "#2 C:\\\\xampp\\\\htdocs\\\\my-website\\\\vendor\\\\yiisoft\\\\yii2\\\\web\\\\JsonResponseFormatter.php(53): yii\\\\helpers\\\\BaseJson::encode(Array)"
  ]
}

我使用 fzaninotto/Faker 包以英语和法语将大量虚拟真实文本植入数据库。 sphinx 搜索的工作方式为“按标题搜索”和“按类别 ID 搜索”。我发现，当使用某些具有法语翻译的特定类别 ID 进行搜索时，会出现此错误。因此，当 Sphinx 索引类别时，它会更改其排序规则 (UTF-8)，当从 sphinx 检索时会发生错误。并且在没有 json_encode() 的情况下转储数据会给出一些数据库表中不存在的垃圾类别文本，

这是我的 sphinx 配置

index tender
{
    source          = post
    path            = C:/xampp/htdocs/sphinx/data/posts
    min_infix_len   = 3
    enable_star     = true
    charset_type    = utf-8
    charset_table   = 0..9, A..Z->a..z, _, a..z, \
                    U+410..U+42F->U+430..U+44F, U+430..U+44F, \
                    U+C5->U+E5, U+E5, U+C4->U+E4, U+E4, U+D6->U+F6, U+F6, U+16B, U+0c1->a, U+0c4->a, \
                    U+0c9->e, U+0cd->i, U+0d3->o, U+0d4->o, U+0da->u, U+0dd->y, U+0e1->a, U+0e4->a, \
                    U+0e9->e, U+0ed->i, U+0f3->o, U+0f4->o, U+0fa->u, U+0fd->y, U+104->U+105, U+105, \
                    U+106->U+107, U+10c->c, U+10d->c, U+10e->d, U+10f->d, U+116->U+117, U+117, \
                    U+118->U+119, U+11a->e, U+11b->e, U+12E->U+12F, U+12F, U+139->l, U+13a->l, \
                    U+13d->l, U+13e->l, U+141->U+142, U+142, U+143->U+144, U+144, U+147->n, \
                    U+148->n, U+154->r, U+155->r, U+158->r, U+159->r, U+15A->U+15B, U+15B, U+160->s, \
                    U+160->U+161, U+161->s, U+164->t, U+165->t, U+16A->U+16B, U+16B, U+16e->u, \
                    U+16f->u, U+172->U+173, U+173, U+179->U+17A, U+17A, U+17B->U+17C, U+17C, U+17d->z, U+17e->z
}

在源配置中，类别属性是这样的

source post    
{
    # above is the query, config and other attributes
    sql_field_string    = cat_name_attr      # English category
    sql_field_string    = cat_name_attr_fr   # French category
}

以及 Yii2 中的 sphinx 配置

    'sphinx' => [
        'class' => 'yii\sphinx\Connection',
        'dsn' => 'mysql:host=127.0.0.1;port=9306;',
        'username' => 'root',
        'password' => '',
        'charset' => 'utf8',
    ],

我尝试为 UTF-8 排序规则配置所有内容，甚至调用

json_encode($record, JSON_UNESCAPED_UNICODE) // $records stores the data

但他们没有工作:'(

已确认，当翻译的类别被索引到 sphinx 存储中时，它的字符集会发生变化，这是 JSON 无法读取的。例如，存储在 MySQL 表中的“电气和电子”类别法语翻译如下

“电力与电子”

但是当索引到 Sphinx 中时，它会变成这样，

“电力和电子”

并且该文本不是由 json_encode 编码的。

Answer 1

黑色菱形 (�) 是浏览器表示“wtf”的方式。它来自具有 latin1 字符，但告诉浏览器显示utf8字符。

您可以告诉浏览器显示 <meta ... charset=ISO-8859-1> .

有时这会与问号一起出现，在这种情况下您必须重新开始。