python - 使用 Python 的正确编码从 Oracle 导入

Question

我很抱歉提出一个字符编码问题，因为我知道你们每天都会遇到很多问题，但我无法弄清楚我的问题，所以我还是问了。

这是我们正在做的:

1. 使用 Python 和 cx_Oracle 从 Oracle 数据库中获取数据。
2. 使用 Python 将数据写入文件。
3. 使用 Python 和 psycopg2 将文件导入 Postgres。

以下是重要的 Oracle 设置:

SQL> select * from NLS_DATABASE_PARAMETERS;

PARAMETER                      VALUE
------------------------------ ----------------------------------------
NLS_LANGUAGE                   AMERICAN
NLS_TERRITORY                  AMERICA
NLS_CURRENCY                   $
NLS_ISO_CURRENCY               AMERICA
NLS_NUMERIC_CHARACTERS         .,
NLS_CHARACTERSET               US7ASCII

根据这个NLS_LANG faq ，您应该根据您的客户端操作系统使用的内容来设置 NLS_LANG。

运行 locale 给我们:LANG=en_US.UTF-8(所有其他字段也是 en_US.UTF-8)。

因此，在我们的 Python 脚本中，我们将其设置为:

os.environ["NLS_LANG"] = "AMERICAN_AMERICA.AL32UTF8"

然后我们导入数据并将其写入文件。

row = cur.fetchall()
fil.write(row[0][0]) #For this test, I am only writing one row and one field.

我们将该文件提取到我们的 UTF-8 Postgres 数据库中。

不幸的是，出于某种原因，我们得到了这个符号:� 在我们的文件和随后的 PG 表中。如果我的理解是正确的，这是 Replace Character .我相信如果 Unicode 无法识别符号，字符就会出现。

(在某些文本编辑器中，该符号显示为 �)。

我不明白的是为什么会这样？我认为 UTF-8 向后兼容 7 位 ASCII？

即使我们使用区域页面，它不应该仍然有效吗，因为客户端使用的是美国而 Oracle 服务器使用的是美国？

我如何检查数据是否正确导入，如果不正确，我该如何修复以便将来导入？

注意:Oracle 字段是CHAR 字段而不是NCHAR 字段。

注意 2:我们使用的是 Python 2.4，因此我们在 Python 3.X 中没有原生的 Unicode 内容。因此，Python 可能在某个地方搞砸了，尽管我认为 cx_Oracle 已经解决了所有问题。

感谢您抽出时间，希望您今天过得愉快。

Answer 1

Unfortunately, for some reason, we get this symbol: � in our file and the subsequent PG table as well. If my understanding is correct, this is the Replace Character. I believe that character is meant to show up if Unicode does not recognize a symbol.

大部分正确但不完全正确。使用该编码时，PostgreSQL 将拒绝插入非 UTF8 文本字符(在 StackOverflow 上搜索“无效的 UTF8 postgresql”)。您看到的字符很可能是您的字体 无法识别的有效 UTF8 字符，因此显示的是替换字符。如果该符号在您的 Oracle 数据库中并且实际上是那里的替换符号，那么您想用什么替换它？如果是这样，则信息已经丢失。

What I don't understand is why is this happening? I thought UTF-8 was backwards compatible with 7-bit ASCII?

是的。

How can I check if the data is imported correctly and if it isn't correct, how can I fix it so future imports are?

很可能您的问题出在 Oracle 数据库的上游。我会找出实际上是什么将问题数据插入到 Oracle 数据库中并在那里修复它。如果您可以对照 Oracle 中的数据检查 Pg 中的数据，您应该能够确定数据的字符是否相同(并标记任何差异)。这就是检查当前导入的方法。

Note2: We are using Python 2.4, so we don't have the native Unicode stuff in Python 3.X. So, it is possible that Python is messing up somewhere though I thought cx_Oracle took care of it all.

这是另一种可能性。就文件转换而言，我个人更喜欢 Perl，因为它集成了正则表达式和绝对一流的 PostgreSQL 支持。但是，我知道此时您的导入例程可能无法轻松转换。我对在 Perl 中解决 UTF8 转换问题比在 Python 中更熟悉一些。不过，我确实想知道您是否可以检查以二进制格式输出的数据中是否有此类符号。