gpt4 book ai didi

sparklyr 将数据写入 hdfs 或 hive

转载 作者:行者123 更新时间:2023-12-04 14:23:38 26 4
gpt4 key购买 nike

我尝试使用 sparklyr 将数据写入 hdfs 或 hive,但找不到方法。甚至可以使用 sparklyr 将 R 数据帧写入 hdfs 或 hive 吗?请注意,我的 R 和 hadoop 在两个不同的服务器上运行,因此我需要一种从 R 写入远程 hdfs 的方法。

问候
拉胡尔

最佳答案

使用 Sparklyr 将 Spark 表写入配置单元:

iris_spark_table <- copy_to(sc, iris, overwrite = TRUE)
sdf_copy_to(sc, iris_spark_table)
DBI::dbGetQuery(sc, "create table iris_hive as SELECT * FROM iris_spark_table")

关于sparklyr 将数据写入 hdfs 或 hive,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44790625/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com