gpt4 book ai didi

azure - 将 DataFrame 从 Azure Databricks 笔记本写入 Azure DataLake Gen2 表

转载 作者:行者123 更新时间:2023-12-02 06:00:26 24 4
gpt4 key购买 nike

我已经创建了一个 DataFrame,我想将其写入/导出到表中的 Azure DataLake Gen2 旁边(需要为此创建新表)。

将来我还需要使用新的 DataFrame 更新此 Azure DL Gen2 表。

在 Azure Databricks 中,我创建了一个连接 Azure Databricks -> Azure DataLake 以查看我的文件:

enter image description here

感谢如何在 Spark/pyspark 中编写它的帮助。

谢谢!

最佳答案

我建议不要以 parquet 格式写入数据,而是采用 Delta 格式,它内部使用 Parquet 格式,但提供其他功能,如 ACID 事务。语法为

df.write.format("delta").save(path) 

关于azure - 将 DataFrame 从 Azure Databricks 笔记本写入 Azure DataLake Gen2 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59769443/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com