python - GCP 中的 PySpark 内核 - unicode 字符串

Question

我有一个数据框，其中有一列包含字符串。当我调用该函数时:

df = spark.read.csv(path, header=True).show()

我得到了正确的“ View ”，但是当我打印时

print("dataframe as a RDD object (list of Row objects):\n\t", df.collect())

结果是带有 unicode 符号的字符串，如 u'mystring'

如何解决这个问题

Answer 1

在 Python 2.x 中，有 str 和 unicode。 u'mytext' 包围的对象是 Unicode。

从 unicode 转换为 str:

mystr = unistr.encode('utf-8')

将 str 转换为 unicode:

unistr = mystr.decode('utf-8')

在 Python 2.x 中，我通常将字符串保留为 Unicode，直到需要将它们写入文件等。在 Python 3.x 中，所有字符串都是 Unicode。

以下文档将有助于理解:

Unicode HOWTO