gpt4 book ai didi

apache-spark - 如何将 Spark 数据集保存到 Bigquery 表

转载 作者:行者123 更新时间:2023-12-01 04:50:23 24 4
gpt4 key购买 nike

有没有人有将数据集保存到 Bigquery 表的经验?

我正在使用以下 example 加载到 BigQuery成功地。这使用 RDD.saveAsNewAPIHadoopDataset 方法来保存数据。我正在使用 Dataset(或 DataFrame)并寻找 saveAsNewAPIHadoopDataset 方法但找不到它。

任何例子都很棒。

最佳答案

你可以使用spark-bigquery它有一个方法dataframe.saveAsBigQueryTable:

df.saveAsBigQueryTable("my-project:my_dataset.my_table")

关于apache-spark - 如何将 Spark 数据集保存到 Bigquery 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41762040/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com