palantir-foundry - 如何从 Palantir Foundry 中的 PySpark 模式创建空数据集？

Question

我有一个 PySpark 模式，它描述了数据集的列及其类型(我可以手写，或者通过转到“列”选项卡，然后“复制 PySpark 模式”从现有数据集中获取)。

我想要一个具有此模式的空数据集，例如，它可以用作仅写回本体对象的支持数据集。我如何在 Foundry 中创建它？

Answer 1

要在 Python 中执行此操作，您可以使用上下文中的 Spark session 创建一个空数据集，以使用该架构创建 DataFrame，例如:

from pyspark.sql import types as T
from transforms.api import transform_df, configure, Output

SCHEMA = T.StructType([
    T.StructField('entity_name', T.StringType()),
    T.StructField('thing_value', T.IntegerType()),
    T.StructField('created_at', T.TimestampType()),
])


# Given there is no work to do, save on compute by running it on the driver
@configure(profile=["KUBERNETES_NO_EXECUTORS_SMALL"])
@transform_df(
    Output("/some/dataset/path/or/rid"),
)
def compute(ctx):
    return ctx.spark_session.createDataFrame([], schema=SCHEMA)