encoding - 数据编码错误

Question

我的问题是在将数据从 csv 文件复制到数据库表时出现以下编码错误。

psycopg2.DataError:编码“UTF8”的无效字节序列:0xf8
提示:如果字节序列与由“client_encoding”控制的服务器预期的编码不匹配，也会发生此错误。

我没有使用任何编码和解码命令。为了将文件中的数据复制到表中，我使用了以下代码。

cur.copy_from(myFile, myTable)

这些文件包含很多特殊字符和奇怪的数据。但我想存储所有这些数据。

EDIT

该表是:

创建表 myTable(id 整数，名称字符变化(10000))；

csv文件的样本是:

 "1";"This is  |_|¨^~~ || ¨text wuth special charater like Bjш;; ø"
 "2";"Test data  -._.- (2010/10/11) "

Answer 1

你写道你没有指定任何编码，似乎 psycopg2 默认为 UTF-8然后。 0xf8不是有效的单字节 UTF-8 代码点。

您的源文件可能在 ISO-8859-1 中吗？哪里0xf8对应于 ø ?

编辑:

有几个地方可以解决此问题，其中哪个是正确的取决于您的情况。

如果您需要反复导入 ISO-8859-1 文件，您可能希望使用 encoding使您的脚本保持一致。

如果您只需要执行一次此导入，为什么不简单地将文件转换为 Python 之外的预期格式，例如 iconv或 recode ?