dictionary - 如何将数据集转换为 repo 中的字典。我在类型转换厂内使用 pyspark

Question

我创建了要同步到数据集的融合表数据。现在，我想使用该数据集在 repo 中创建字典。我在 repo 中使用 pyspark。稍后我想使用该字典来传递，以便它填充 Is there a tool available within Foundry that can automatically populate column descriptions? If so, what is it called? 中的描述。 .
如果有人可以帮助我使用 repo 中的 pyspark 从数据集创建字典，那就太好了。

Answer 1

以下代码会将您的 pyspark 数据框转换为字典列表:

fusion_rows = map(lambda row: row.asDict(), fusion_df.collect())

但是，在您的特定情况下，您可以使用以下代码段:

col_descriptions = {row["column_name"]: row["description"] for row in fusion_df.collect()}
my_output.write_dataframe(
    my_input.dataframe(),
    column_descriptions=col_descriptions
)

假设您的 Fusion 表如下所示:

+------------+------------------+
| column_name|       description|
+------------+------------------+
|       col_A| description for A|
|       col_B| description for B|
+------------+------------------+