sqlite - 修复 Unicode 字节序列

Question

有时，在将内容复制到 PostgreSQL 时，我会收到错误消息，指出存在无效的字节序列。

是否有一种简单的方法使用 vim 或其他实用程序来检测导致错误的字节序列，例如:invalid invalid byte sequence for encoding "UTF8": 0xde70 等等，以及可能且简单的方法进行转换？

编辑:

我的工作流程是什么:

1. 转储 sqlite3 数据库(来自 trac)
2. 尝试在 postgresql 中重放它

也许有更简单的方法？

更多编辑:

还尝试了这些:

1. 运行 enca 来检测文件的编码

   • 告诉我这是 ASCII

2. 尝试将 iconv 从 ASCII 转换为 UTF8。出错了

有效的是删除它提示的几行错误行。但这并没有真正解决真正的问题。

Answer 1

根据一个简短的句子，听起来您的文本采用一种编码(例如 ANSI/ASCII)并且您告诉 PostgreSQL 它实际上采用另一种编码(Unicode UTF8)。您将使用的所有不同工具:PostgreSQL、Bash、一些编程语言、另一种编程语言、来自其他地方的其他数据、文本编辑器、IDE 等，都有可能不同的默认编码，以及一些步骤顺便说一句，没有进行正确的转换。我会检查跨越这些边界的数据流，以确保编码对齐，或者正确检测到编码并正确转换文本。