amazon-web-services - 哪些选项可以传递给 AWS Glue DynamicFrame.toDF()？

Question

toDF() 方法的文档指定我们可以将选项参数传递给此方法。但它没有指定这些选项可以是什么( https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html )。有谁知道是否有关于此的进一步文件？
我对从 DynamicFrame 创建 DataFrame 时传入架构特别感兴趣。

Answer 1

不幸的是，可用的文档不多，但对 dynamicframe 的源代码进行了研发和分析。建议如下:

toDF 中可用的选项更多地与 ResolveOption 有关class 然后 toDF 本身，因为 ResolveOption 类为参数添加了含义(请阅读代码)。

ResolveOption 类将 ChoiceType 作为参数。

文档中可用的选项示例类似于 specs在 ResolveChoice 中可用还提到了ChoiceType。

选项进一步转换为序列并引用来自 _jdf here 的 toDF 函数.

看到 specs后的我的理解, dynamicFrame 和 toDF 的 toDF 实现来自 spark 的原因是我们在从 DynamicFrame 创建 DataFrame 时无法传递架构，但只能进行较小的列操作。
话虽如此，一种可能的方法是从动态帧中获取数据帧，然后对其进行操作以更改其架构。