gpt4 book ai didi

apache-spark - Spark 数据帧 : How to specify schema when writing as Avro

转载 作者:行者123 更新时间:2023-12-05 03:06:43 32 4
gpt4 key购买 nike

我想使用提供的 Avro 模式而不是 Spark 自动生成的模式以 Avro 格式编写 DataFrame。我如何告诉 Spark 在写入时使用我的自定义架构?

最佳答案

应用 https://github.com/databricks/spark-avro/pull/222/ 中的补丁后,我能够在写入时指定一个模式,如下所示:

df.write.option("forceSchema", myCustomSchemaString).avro("/path/to/outputDir")

关于apache-spark - Spark 数据帧 : How to specify schema when writing as Avro,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48896452/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com