amazon-redshift - 字符串包含无效或不受支持的UTF8代码点。错误的UTF8十六进制序列:

Question

团队，
我正在使用redshift版本*(8.0.2)。使用COPY命令加载数据时，出现错误:-“字符串包含无效或不受支持的UTF8代码点，错误的UTF8十六进制序列:bf(错误3)”。
似乎COPY试图将UTF-8“bf”加载到VARCHAR字段中。根据Amazon redshift，此错误代码3定义如下:

error code3: 
The UTF-8 single-byte character is out of range. The starting byte must not be 254, 255
or any character between 128 and 191 (inclusive).

亚马逊建议将此作为解决方案-我们需要使用有效的UTF-8代码序列替换字符或删除字符。

您能帮我如何用有效的UTF-8代码替换字符吗？

当我在PG-ADMIN中检查数据库属性时，它显示为UTF-8编码。

请指导我如何替换输入分隔文件中的字符。

谢谢...

Answer 1

在加载TPC-DS数据集进行实验时，我在RedShift中遇到了这个问题。

这是我通过AWS找到的文档和论坛讨论:https://forums.aws.amazon.com/ann.jspa?annID=2090

以下是可用于解决数据转换错误的显式命令:http://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-acceptinvchars

您可以通过声明ACCEPTINVCHARS来显式替换无效的UTF-8字符，或在COPY阶段一起忽略所有无效的UTF-8字符。

试试这个:

copy table from 's3://my-bucket/my-path
credentials 'aws_iam_role=<your role arn>'
ACCEPTINVCHARS 
delimiter '|' region 'us-region-1';

Warnings:
Load into table 'table' completed, 500000 record(s) loaded successfully.
Load into table 'table' completed, 4510 record(s) were loaded with replacements made for ACCEPTINVCHARS. Check 'stl_replacements' system table for details.

0 rows affected
COPY executed successfully

Execution time: 33.51s