palantir-foundry - Foundry 中是否有可以自动填充列描述的工具？如果是这样，它叫什么？

Question

我们正在寻找 Foundry 平台中是否有一个工具可以让我们拥有一个字段描述列表，并且当数据集构建时，它可以自动填充这些描述。这是否存在？如果存在，该工具叫什么？

Answer 1

如果您将您的代码存储库升级到版本 1.184.0+，此版本将从此时开始发布并可用。

用于推送输出列描述的方法是为您的 TransformOutput.write_dataframe() 提供一个新的可选参数，即 column_descriptions。

此参数应该是一个 dict，其中包含列名称的键和列描述的值(出于稳定性原因，长度最多为 200 个字符)。

该代码将自动计算您的 pyspark.sql.DataFrame 中可用的列名称与您提供的 dict 中的键的交集，因此它不会尝试对不存在的列进行描述。

您用来运行此过程的代码如下所示:

from transforms.api import transform, Input, Output


@transform(
    my_output=Output("/my/output"),
    my_input=Input("/my/input"),
)
def my_compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        column_descriptions={
            "col_1": "col 1 description"
        }
    )