python-3.x - 无法将文件从 AWS Glue dynamic_frame 解析为 Pyspark 数据框

Question

我是 AWs glue 的新手。

我在将胶水数据框转换为 pyspark 数据框时遇到问题:

下面是我为读取csv文件创建的爬虫配置glue_cityMapDB="csvDb"glue_cityMapTbl="csv 表"

datasource2 = glue_context.create_dynamic_frame.from_catalog(database = glue_cityMapDB, table_name = glue_cityMapTbl, transformation_ctx = "datasource2")

datasource2.show()

print("Show the data source2 city DF")
cityDF=datasource2.toDF()
cityDF.show()

输出:

在这里，我从胶水 dydf 获取输出 - #datasource2.show()但是在转换为 pyspark DF 之后，我得到以下错误

S3NativeFileSystem (S3NativeFileSystem.java:open(1208)) - Opening 's3://s3source/read/names.csv' for reading 2020-04-24 05:08:39,789 ERROR [Executor task launch worker for task

感谢是否有人可以提供帮助？

Answer 1

使用UTF-8编码的文件。您可以使用文件检查或使用 inconv 或任何其他文本编辑器(如 sublime)进行转换。

您还可以使用以下方法将文件作为数据框读取:

df = spark.read.csv('s3://s3source/read/names.csv')

然后使用 fromDF() 转换为动态帧